Edge AI

ИИ на периферии означает развертывание алгоритмов и моделей искусственного интеллекта (AI) непосредственно на локальных устройствах — таких как смартфоны, датчики IoT, дроны и подключенные автомобили, — вместо использования централизованных центров облачных вычислений. Такой децентрализованный подход позволяет обрабатывать данные в месте их создания, значительно сокращая задержку, связанную с передачей информации на удаленные серверы и обратно. Выполняя задачи [машинного обучения (ML)](https://ultralytics-translation-2.invalid локально, устройства могут мгновенно принимать решения, надежно работать без подключения к интернету и повышать конфиденциальность данных, сохраняя конфиденциальную информацию непосредственно на устройстве.

Как работает ИИ на периферии#

В основе ИИ на периферии лежит запуск движка инференса на встроенной системе. Поскольку периферийные устройства обычно имеют ограниченный ресурс батареи и вычислительную мощность по сравнению с облачными серверами, модели ИИ должны быть высокоэффективными. Разработчики часто применяют такие методы, как квантизация моделей или прореживание моделей, чтобы сжать крупные нейронные сети без существенной потери точности.

Для эффективной обработки таких нагрузок часто используются специализированные аппаратные ускорители. К ним относятся платформа NVIDIA Jetson для робототехники и Google Coral Edge TPU для энергоэффективного инференса. Программные фреймворки также играют важную роль: такие инструменты, как TensorRT и TFLite, оптимизируют модели специально для этих сред с ограниченными ресурсами, обеспечивая быстрый инференс в реальном времени.

ИИ на периферии и периферийные вычисления#

Хотя эти термины часто используются как взаимозаменяемые, полезно различать их:

• Периферийные вычисления: это более широкая физическая инфраструктура и сетевая топология, в рамках которых обработка данных происходит рядом с источником данных. Это «где» в данном уравнении.
• ИИ на периферии: это конкретно интеллектуальные приложения, работающие на этой инфраструктуре. Это «что». Например, камера видеонаблюдения является устройством периферийных вычислений, но когда она использует компьютерное зрение (CV) для распознавания конкретного человека, она выполняет задачи ИИ на периферии.

Практические применения#

ИИ на периферии преобразует различные отрасли, обеспечивая автономное принятие решений в критически важных сценариях:

• Автономные транспортные средства: беспилотные автомобили ежедневно генерируют терабайты данных. Они не могут полагаться на облако при обнаружении пешеходов или препятствий из-за задержки сигнала. Вместо этого они используют бортовой ИИ на периферии для мгновенного обнаружения объектов, чтобы обеспечить безопасность пассажиров.
• Умное производство: в промышленном IoT (IIoT) датчики на производственных площадках используют ИИ на периферии для предиктивного обслуживания. Анализируя данные о вибрации и температуре локально, система может обнаруживать аномалии и прогнозировать отказ оборудования в реальном времени, предотвращая дорогостоящие простои.
• Здравоохранение: портативные медицинские устройства с ИИ для компьютерного зрения могут анализировать медицинские изображения или жизненные показатели пациентов непосредственно в месте оказания помощи, обеспечивая немедленную диагностическую поддержку в удаленных районах с плохим подключением.

Развёртывание моделей на периферии#

Развертывание модели на периферии обычно включает обучение модели в среде с высокой вычислительной мощностью, а затем ее экспорт в формат, совместимый с периферийными устройствами, например ONNX или OpenVINO. Платформа Ultralytics упрощает этот рабочий процесс, позволяя пользователям обучать модели и автоматически экспортировать их для различных периферийных целевых устройств.

В следующем примере показано, как экспортировать облегчённую модель YOLO26, специально разработанную для эффективной работы, в формат, подходящий для развертывания на мобильных и периферийных устройствах.

from ultralytics import YOLO

# Load the YOLO26 Nano model, which is optimized for speed on edge devices
model = YOLO("yolo26n.pt")

# Export the model to TFLite format for deployment on Android or Raspberry Pi
# This creates a 'yolo26n.tflite' file ready for edge inference
model.export(format="tflite")

Для расширенных периферийных развертываний часто используются технологии контейнеризации, такие как Docker, чтобы упаковывать приложения и обеспечивать их стабильную работу на устройствах с различными архитектурами — от устройств Raspberry Pi до промышленных шлюзов.