Все о Цифровых системах - новости, статьи, обзоры, аналитика. Более 1000 компаний, товаров и услуг в каталоге.
Добавить компаниюПредложить публикацию

Edge AI: искусственный интеллект на периферии сети

Рубрики: «Искусственный интеллект (AI)», «Edge AI(AI на периферии)»

Edge AI: искусственный интеллект на периферии сети

Что такое Edge AI

Традиционная модель использования искусственного интеллекта предполагает передачу данных в удалённый дата-центр или облачную платформу, где выполняются вычисления и формируются результаты. Такой подход удобен для масштабных задач, но не всегда подходит приложениям, которым необходима минимальная задержка, локальная обработка информации или независимость от постоянного подключения к сети.

Альтернативой становится Edge AI (Edge Artificial Intelligence) — технология выполнения моделей искусственного интеллекта непосредственно на периферии сети, рядом с источником данных или конечным пользователем.

Вместо того чтобы передавать весь поток информации на удалённые серверы, устройство или локальная вычислительная система самостоятельно анализирует данные и формирует результат.

Edge AI может работать на различных типах оборудования:

  • промышленных компьютерах и контроллерах;

  • IoT-устройствах и интеллектуальных датчиках;

  • видеокамерах с функциями AI-аналитики;

  • мобильных устройствах;

  • автомобильных вычислительных системах;

  • локальных серверах и периферийных шлюзах;

  • специализированных Edge AI-платформах.

В зависимости от задачи на периферийном устройстве может выполняться как небольшая модель классификации или обнаружения объектов, так и более сложная нейросетевая модель.

Главная особенность Edge AI заключается не в конкретном типе оборудования, а в размещении вычислений ближе к источнику данных.

Edge AI и Edge Computing: в чём разница

Понятия Edge AI и Edge Computing тесно связаны, но не являются полностью взаимозаменяемыми.

Edge Computing — архитектурный подход, при котором вычислительные ресурсы размещаются ближе к источникам данных или пользователям. Это позволяет обрабатывать информацию локально, уменьшать задержки и снижать объём передаваемого трафика.

Edge AI — применение моделей искусственного интеллекта в такой распределённой вычислительной среде.

Edge Computing может использоваться для обычной обработки данных, фильтрации, маршрутизации и выполнения прикладных программ без применения машинного обучения.

Edge AI, напротив, предполагает использование нейросетей и других моделей ИИ непосредственно на периферийных устройствах или локальных вычислительных узлах.

Таким образом, Edge Computing формирует архитектуру размещения вычислений, а Edge AI добавляет к ней возможности искусственного интеллекта.

Архитектура Edge AI

Архитектура Edge AI зависит от сложности модели, доступных вычислительных ресурсов, требований к задержкам и характера обрабатываемых данных.

В простейшем случае нейросеть выполняется непосредственно на конечном устройстве. Например, интеллектуальная камера может обнаруживать объекты в видеопотоке, не передавая всё видео на удалённый сервер.

В более сложных системах используются промежуточные вычислительные узлы — Edge Gateway или Edge Server. Они собирают данные от нескольких устройств, выполняют обработку и передают в облако только необходимые результаты.

Типовая архитектура может включать несколько уровней.

Уровень устройств. Датчики, камеры, терминалы, контроллеры и другие источники информации. Некоторые из них способны выполнять модели искусственного интеллекта самостоятельно.

Периферийный уровень. Локальные вычислительные узлы, промышленные компьютеры и шлюзы, которые обрабатывают информацию от группы устройств.

Локальный серверный уровень. Более производительные Edge-системы, обеспечивающие выполнение сложных моделей, хранение локальных данных и взаимодействие с корпоративными информационными системами.

Облачный уровень. Удалённые вычислительные ресурсы, используемые для обучения моделей, централизованного управления, аналитики и хранения больших массивов информации.

Такая многоуровневая архитектура позволяет распределять задачи между устройствами, локальными вычислительными системами и облачными платформами.

Аппаратная инфраструктура Edge AI

Периферийные AI-системы предъявляют особые требования к вычислительному оборудованию. В отличие от серверов дата-центров, устройства Edge AI часто имеют ограничения по размерам, энергопотреблению, стоимости и условиям эксплуатации.

Поэтому для них разрабатываются специализированные процессоры и вычислительные платформы.

CPU — универсальные процессоры

Центральные процессоры используются для выполнения операционной системы, прикладного программного обеспечения, управления устройствами и различных вычислительных задач.

CPU может самостоятельно выполнять небольшие модели искусственного интеллекта, особенно если они оптимизированы для конкретной архитектуры.

Однако для сложных нейросетей и интенсивной обработки мультимодальных данных могут потребоваться дополнительные ускорители.

GPU — графические процессоры

GPU обеспечивают параллельное выполнение большого количества операций и используются в периферийных системах, которым требуется повышенная производительность.

Компактные GPU-платформы позволяют выполнять компьютерное зрение, обработку видео, распознавание речи и другие задачи машинного обучения.

NPU — нейропроцессоры

NPU (Neural Processing Unit) — специализированные процессоры, предназначенные для выполнения операций, характерных для нейронных сетей.

Они оптимизированы для определённых типов вычислений и могут обеспечивать высокую производительность при относительно небольшом энергопотреблении.

NPU всё чаще интегрируются непосредственно в мобильные процессоры, однокристальные системы (SoC), промышленные и встраиваемые платформы.

FPGA и специализированные ускорители

FPGA (Field-Programmable Gate Array) — программируемые логические интегральные схемы, которые позволяют создавать аппаратные конфигурации для выполнения определённых вычислительных операций.

Такие решения применяются в специализированных системах, где важны предсказуемые задержки, гибкость аппаратной конфигурации и возможность адаптации под конкретную задачу.

Кроме FPGA, могут использоваться ASIC и другие специализированные ускорители, рассчитанные на определённые классы AI-вычислений.

Программные платформы и инструменты Edge AI

Для запуска моделей на периферийных устройствах используются специализированные программные среды, позволяющие адаптировать нейросети к ограниченным вычислительным ресурсам.

В отличие от серверных платформ, программное обеспечение Edge AI должно учитывать объём оперативной памяти, производительность процессора, энергопотребление и особенности аппаратного ускорителя.

К известным инструментам относятся:

TensorFlow Lite — инструментарий для выполнения моделей машинного обучения на мобильных и встраиваемых устройствах. В актуальной экосистеме TensorFlow Lite развивается направление LiteRT.

ONNX Runtime — среда выполнения моделей в формате ONNX, поддерживающая различные аппаратные платформы и средства оптимизации.

OpenVINO — инструментарий Intel для оптимизации и развёртывания моделей искусственного интеллекта на поддерживаемых процессорных и ускорительных платформах.

NVIDIA JetPack — программный комплект для разработки и эксплуатации AI-приложений на платформах NVIDIA Jetson.

Qualcomm AI Engine Direct — программный интерфейс и набор инструментов для использования AI-ускорителей в экосистеме Qualcomm.

Arm NN — программная среда для выполнения нейросетевых моделей на поддерживаемых платформах Arm.

Эти инструменты обеспечивают взаимодействие моделей с аппаратными ускорителями, оптимизацию вычислений и адаптацию программного обеспечения к возможностям конкретных устройств.

Оптимизация моделей для периферийных устройств

Одной из основных задач Edge AI является адаптация моделей к ограниченным ресурсам оборудования.

Модель, которая эффективно работает на серверном GPU, не обязательно сможет быть запущена на компактном устройстве с ограниченным объёмом памяти и энергопотреблением.

Для решения этой задачи применяются различные методы оптимизации.

Квантование (Quantization). Снижение точности представления параметров и вычислений модели, например переход от 32-битных значений с плавающей точкой к 8-битным целочисленным представлениям. Это может уменьшить объём памяти и повысить скорость выполнения.

Прунинг (Pruning). Удаление отдельных параметров, связей или структурных элементов нейросети, которые вносят ограниченный вклад в результат работы модели.

Дистилляция знаний (Knowledge Distillation). Обучение более компактной модели на основе результатов работы большой модели-учителя. Такой подход позволяет создавать модели, пригодные для устройств с ограниченными ресурсами.

Оптимизация вычислительного графа. Преобразование структуры модели и объединение отдельных операций для повышения эффективности выполнения.

Аппаратная оптимизация. Использование возможностей конкретного CPU, GPU, NPU или другого ускорителя.

Выбор методов зависит от модели и задачи. Важно учитывать не только скорость выполнения, но и сохранение качества результатов после оптимизации.

Основные сценарии применения Edge AI

Edge AI развивается в тех областях, где необходимо анализировать информацию непосредственно в месте её возникновения.

Промышленность и производство

В промышленности Edge AI используется для анализа данных от датчиков, камер и производственного оборудования.

Системы могут обнаруживать дефекты продукции, контролировать состояние механизмов, анализировать производственные процессы и выявлять отклонения от нормального режима работы.

Локальная обработка позволяет быстрее получать результаты анализа и уменьшает зависимость производственных систем от внешнего сетевого подключения.

В сочетании с промышленным IoT Edge AI становится одним из инструментов построения интеллектуальных производственных систем.

Видеонаблюдение и компьютерное зрение

Интеллектуальные камеры и локальные видеосерверы способны анализировать изображения непосредственно в месте установки.

Примеры применения:

  • обнаружение объектов;

  • подсчёт людей и транспортных средств;

  • анализ загруженности помещений;

  • выявление нестандартных событий;

  • контроль технологических процессов;

  • автоматизация визуальной инспекции.

Вместо передачи непрерывного видеопотока в облако система может отправлять только результаты анализа, события или отдельные фрагменты.

Это позволяет снизить нагрузку на сеть и уменьшить объём передаваемой информации.

Транспорт и логистика

В транспортных системах Edge AI применяется для анализа дорожной обстановки, обработки информации от камер и датчиков, управления локальными устройствами и поддержки интеллектуальных транспортных сервисов.

В логистике периферийные вычисления могут использоваться для анализа движения товаров, распознавания маркировки, контроля складских операций и обработки данных от автоматизированного оборудования.

Розничная торговля

В розничной торговле Edge AI применяется для анализа покупательских потоков, мониторинга товарных полок, автоматизации инвентаризации и поддержки интеллектуальных торговых систем.

Возможность локальной обработки изображений и событий позволяет создавать сервисы, которые работают без постоянной передачи больших объёмов данных в облако.

Умные здания и инфраструктура

В системах управления зданиями Edge AI может анализировать показания датчиков, управлять инженерными системами и выявлять отклонения в работе оборудования.

Такие решения применяются для управления освещением, климатом, энергопотреблением, контроля доступа и мониторинга технического состояния инженерной инфраструктуры.

Мобильные устройства и персональная электроника

Современные смартфоны, планшеты и персональные компьютеры оснащаются процессорами с интегрированными AI-ускорителями.

Это позволяет выполнять локально распознавание речи, обработку изображений, шумоподавление, перевод, интеллектуальный поиск и отдельные функции генеративного ИИ.

Локальная обработка может уменьшать задержки и позволяет выполнять некоторые операции без подключения к интернету.

Edge AI и облако: распределение вычислений

Edge AI не обязательно противопоставляется облачным платформам. На практике наиболее перспективными становятся архитектуры, в которых периферийные устройства и облачные системы дополняют друг друга.

Каждый уровень выполняет задачи, для которых он наиболее подходит.

На периферии обычно выполняются:

  • предварительная обработка информации;

  • фильтрация и анализ потоковых данных;

  • обнаружение объектов и событий;

  • выполнение компактных моделей;

  • локальное принятие решений;

  • обработка информации при нестабильном подключении.

Облачная инфраструктура используется для:

  • обучения крупных моделей;

  • хранения больших массивов данных;

  • централизованного анализа;

  • управления распределёнными устройствами;

  • обновления моделей;

  • выполнения ресурсоёмких вычислений;

  • объединения информации от большого количества источников.

Например, интеллектуальная камера может обнаруживать события локально, передавать в облако только метаданные и отдельные фрагменты видео, а обновлённую модель получать из централизованной платформы.

Такой подход позволяет сочетать оперативность локальной обработки с вычислительными возможностями облака.

Fog Computing и промежуточный уровень обработки

В распределённых архитектурах между конечными устройствами и облаком может существовать дополнительный уровень вычислений — Fog Computing.

Fog Computing предполагает размещение промежуточных вычислительных ресурсов между периферийными устройствами и централизованной облачной инфраструктурой.

В качестве таких ресурсов могут выступать локальные серверы, сетевые шлюзы, промышленные вычислительные системы и региональные узлы обработки данных.

В контексте Edge AI этот уровень позволяет объединять информацию от нескольких устройств, выполнять более сложные модели и управлять локальными группами оборудования.

Границы между Edge Computing и Fog Computing в отраслевой практике могут трактоваться по-разному. Обычно Edge связывают с обработкой непосредственно у источника данных, а Fog — с промежуточным распределённым уровнем между устройствами и облаком.

Преимущества Edge AI

Использование искусственного интеллекта на периферии сети даёт ряд преимуществ.

Низкая задержка. Результаты обработки могут формироваться непосредственно на устройстве или локальном сервере без передачи данных в удалённый дата-центр.

Снижение сетевого трафика. В облако передаются результаты анализа, а не обязательно весь исходный поток информации.

Независимость от постоянного подключения. Некоторые функции могут продолжать работать при временном отсутствии связи.

Контроль над данными. Локальная обработка позволяет в определённых сценариях уменьшить объём информации, передаваемой за пределы организации.

Распределение вычислительной нагрузки. Часть операций выполняется на периферии, снижая нагрузку на центральную инфраструктуру.

Масштабирование распределённых систем. AI-функции могут добавляться непосредственно в устройства и локальные вычислительные узлы.

Ограничения и сложности Edge AI

Несмотря на преимущества, периферийная модель имеет и ограничения.

Ограниченные вычислительные ресурсы. Компактные устройства обычно уступают серверным системам по производительности, объёму памяти и возможностям масштабирования.

Ограничения энергопотребления. Для автономных и встраиваемых устройств необходимо учитывать доступную мощность и тепловыделение.

Обслуживание большого количества устройств. Распределённая инфраструктура требует централизованного управления конфигурациями, обновлениями и состоянием оборудования.

Сложность обновления моделей. Необходимо контролировать совместимость программного обеспечения, версии моделей и доступность ресурсов на каждом устройстве.

Физические условия эксплуатации. Промышленные и уличные устройства могут работать при повышенной температуре, вибрациях, запылённости и других неблагоприятных условиях.

Информационная безопасность. Распределённые устройства увеличивают количество потенциальных точек доступа к инфраструктуре. Необходимы механизмы аутентификации, защищённого обновления, шифрования и контроля целостности программного обеспечения.

Управление качеством моделей. Изменение условий эксплуатации и характеристик входных данных может влиять на точность результатов, поэтому требуется мониторинг качества работы моделей.

Для успешного внедрения Edge AI необходимо учитывать весь жизненный цикл периферийных устройств, а не только производительность отдельного AI-ускорителя.

Безопасность и управление Edge AI

Периферийные системы часто размещаются за пределами защищённой серверной инфраструктуры организации: на производственных площадках, в магазинах, транспортных средствах, зданиях и других объектах.

Поэтому безопасность должна закладываться на уровне архитектуры.

К основным механизмам защиты относятся:

  • идентификация и аутентификация устройств;

  • защищённые каналы связи;

  • шифрование передаваемых данных;

  • безопасная загрузка и проверка целостности программного обеспечения;

  • контроль версий и подписей обновлений;

  • разграничение прав доступа;

  • централизованный мониторинг состояния устройств;

  • регистрация событий и аудит операций.

Для управления крупными группами периферийных устройств применяются платформы Device Management и Edge Management.

Они позволяют учитывать состояние оборудования, управлять конфигурациями, распространять обновления и контролировать доступность вычислительных ресурсов.

При использовании моделей искусственного интеллекта дополнительно необходимо отслеживать версии моделей, качество результатов и соответствие локальных настроек установленным требованиям.

Развитие технологий Edge AI

Развитие Edge AI связано с совершенствованием аппаратных платформ, появлением компактных моделей и расширением возможностей локального инференса.

Можно выделить несколько ключевых направлений.

Рост производительности NPU. Нейропроцессоры становятся частью мобильных и встраиваемых платформ, обеспечивая выполнение AI-задач непосредственно на устройствах.

Компактные языковые модели. Развитие небольших языковых моделей позволяет выполнять отдельные функции генеративного ИИ локально, без постоянного обращения к удалённым сервисам.

Мультимодальные Edge-системы. Периферийные устройства получают возможности анализа изображений, видео, звука и других типов информации.

Интеграция с промышленным IoT. Edge AI становится частью интеллектуальных производственных систем, объединяющих датчики, контроллеры, роботов и аналитические платформы.

Распределённое управление моделями. Развиваются инструменты централизованного обновления, мониторинга и контроля AI-моделей на большом количестве устройств.

Гибридные архитектуры. Всё большее значение приобретает совместная работа периферийных устройств, локальных серверов и облачных платформ.

Энергоэффективные вычисления. Производители оборудования развивают архитектуры, позволяющие выполнять больше AI-операций при ограниченном энергопотреблении.

В результате Edge AI постепенно становится самостоятельным уровнем инфраструктуры искусственного интеллекта, дополняющим облачные вычисления и централизованные дата-центры.

Заключение

Edge AI переносит возможности искусственного интеллекта непосредственно к источникам данных и конечным пользователям. Это позволяет выполнять анализ информации локально, уменьшать задержки, сокращать сетевой трафик и создавать системы, способные работать при ограниченном подключении к облаку.

Для реализации таких решений используются специализированные процессоры, GPU, NPU, FPGA, компактные серверы и программные платформы оптимизации моделей.

При этом Edge AI не заменяет облачную инфраструктуру. Наиболее эффективные архитектуры распределяют задачи между периферийными устройствами, локальными вычислительными узлами и централизованными платформами.

По мере развития IoT, промышленной автоматизации, интеллектуального транспорта и генеративного ИИ периферийные вычисления будут играть всё более важную роль в общей архитектуре инфраструктуры искусственного интеллекта.

В рамках тематической серии

Материал посвящён технологии Edge AI — выполнению алгоритмов искусственного интеллекта непосредственно на периферии сети, рядом с источниками данных и устройствами. Рассматриваются особенности распределённой обработки информации, локального выполнения моделей ИИ, применение периферийных вычислений и их роль в построении современных интеллектуальных систем.

Для общего представления о составе, архитектуре и ключевых компонентах этого направления читайте тематический обзор: «Инфраструктура искусственного интеллекта: технологии, вычислительные системы и платформы».