Edge AI

Периферийный ИИ — это запуск моделей искусственного интеллекта (AI) на устройствах, создающих данные, или рядом с ними: например, на телефонах, камерах, транспортных средствах, роботах и заводских шлюзах, а не отправка этих данных в удаленный центр обработки данных. Обработка кадра с камеры или аудиофрагмента непосредственно в месте их получения исключает сетевой обмен данными, поэтому решения принимаются за миллисекунды. Устройство продолжает работать без подключения к сети, конфиденциальные входные данные остаются локально для защиты данных, а исходное видео не нужно передавать в облако, что экономит пропускную способность. Цена этого — жесткие ограничения по памяти, вычислениям и энергопотреблению, а также необходимость обновлять модели на парке устройств.

Как работает ИИ на периферийных устройствах#

Модели обычно обучают в облаке на GPU, а затем уменьшают и ускоряют для целевого устройства. Модели сжимают с помощью квантования до FP16 или INT8, прунинга и дистилляции знаний, а экспорт преобразует их в формат для движка инференса на устройстве: например, TensorRT для оборудования NVIDIA, LiteRT для Android, Core ML для устройств Apple или NCNN для ARM-процессоров. Затем устройство выполняет инференс локально и отправляет на сервер только важные данные, например оповещение, счетчик или короткий видеоролик. Эти данные также помогают улучшать модели: сложные примеры, собранные в реальных условиях, размечают, модель переобучают, а новую версию передают на устройства по беспроводной сети.

Оборудование для периферийного ИИ#

• Нейронные процессоры (NPUs): специализированные ускорители, встроенные в большинство современных процессоров телефонов и ноутбуков. К ним относятся Neural Engine от Apple и Hexagon NPU от Qualcomm; они запускают квантованные модели в пределах энергопотребления телефона.
• NVIDIA Jetson: встраиваемые модули, сочетающие ARM-процессор с GPU NVIDIA для роботов, дронов и умных камер, которым нужна производительность уровня GPU.
• Raspberry Pi: недорогие одноплатные компьютеры, запускающие небольшие модели на ARM-процессоре или дополнительных платах-ускорителях.
• Микроконтроллеры: устройства начального уровня, на которых модели размером в несколько сотен килобайт работают при энергопотреблении в милливатты.

Развертывание модели на периферийном устройстве#

Каждому классу устройств подходит свой формат экспорта. На Raspberry Pi NCNN — самый быстрый из форматов, которые Ultralytics тестирует для Ultralytics YOLO26; достаточно один раз экспортировать модель и загрузить экспортированную папку, чтобы запустить тот же детектор с помощью этого движка:

from ultralytics import YOLO

# Загрузи самую маленькую модель YOLO26 для детекции
model = YOLO("yolo26n.pt")

# Экспорт в NCNN — платформу инференса, оптимизированную для ARM-процессоров
path = model.export(format="ncnn")  # creates 'yolo26n_ncnn_model/'

# Запуск инференса с экспортированной моделью, как на устройстве
ncnn_model = YOLO(path)
results = ncnn_model("https://ultralytics.com/images/bus.jpg")
results[0].save(filename="bus_ncnn.jpg")

На сохраненном изображении показаны обнаружения, рассчитанные движком NCNN. Приложения для устройств часто упаковывают в контейнеры Docker, чтобы один и тот же образ запускался на парке одинаковых плат.

Периферийный ИИ и смежные понятия#

• Периферийные вычисления: более широкая практика обработки любых данных рядом с источником — от фильтрации показаний датчиков до кэширования контента. Периферийный ИИ — это периферийные вычисления, в которых выполняется модель машинного обучения.
• TinyML: наиболее компактный тип периферийного ИИ, работающий на микроконтроллерах с килобайтами памяти.
• Федеративное обучение: обучение общей модели на множестве устройств путем передачи обновлений весов вместо исходных данных. Периферийный ИИ обычно относится к инференсу, а федеративное обучение переносит обучение на те же устройства.

Применение периферийного ИИ#

• Автономные транспортные средства: автомобили и роботы-доставщики обнаруживают пешеходов, транспорт и дорожную разметку на борту, поскольку задержка или обрыв соединения не должны замедлять торможение.
• Умные камеры: камеры в розничной торговле, на дорогах и в системах безопасности локально обнаруживают объекты и отправляют счетчики или оповещения вместо непрерывного видео.
• Промышленный контроль: камеры на производственных линиях отбраковывают дефектные детали за миллисекунды, а датчики вибрации на станках выявляют аномалии до того, как они приведут к простою.
• Смартфоны: телефоны обрабатывают фотографии, расшифровывают речь и запускают на устройстве небольшие языковые модели, например модель примерно с 3 миллиардами параметров, которую Apple Intelligence запускает на устройствах Apple, а приложения используют через платформу Foundation Models от Apple.