Edge AI

Edge AI относится к развертыванию алгоритмов и моделей искусственного интеллекта (ИИ) непосредственно на локальных аппаратных устройствах — таких как смартфоны, IoT-датчики, дроны и подключенные транспортные средства — вместо использования централизованных центров облачных вычислений. Этот децентрализованный подход позволяет обрабатывать данные в источнике их создания, значительно сокращая задержку, связанную с передачей информации на удаленные серверы. Выполняя задачи машинного обучения (ML) локально, устройства могут принимать мгновенные решения, надежно работать без подключения к интернету и повышать конфиденциальность данных, сохраняя чувствительную информацию на самом устройстве.

Link to this sectionКак работает Edge AI#

Суть Edge AI заключается в запуске движка вывода на встроенной системе. Поскольку граничные устройства обычно обладают ограниченным ресурсом батареи и вычислительной мощностью по сравнению с облачными серверами, модели ИИ должны быть высокоэффективными. Разработчики часто применяют такие методы, как квантование модели или прюнинг модели, для сжатия больших нейронных сетей без существенной потери точности.

Для эффективной обработки таких нагрузок часто используются специализированные аппаратные ускорители. Примеры включают платформу NVIDIA Jetson для робототехники и Google Coral Edge TPU для низкоэнергетического вывода. Программные фреймворки также играют жизненно важную роль; такие инструменты, как TensorRT и TFLite, оптимизируют модели специально для этих ограниченных сред, обеспечивая быстрый вывод в реальном времени.

Link to this sectionEdge AI против Edge Computing#

Хотя эти термины часто используются как взаимозаменяемые, полезно различать их:

• Edge Computing: Это описание более широкой физической инфраструктуры и топологии сети, где обработка данных происходит рядом с источником данных. Это ответ на вопрос «где».
• Edge AI: Это относится конкретно к интеллектуальным приложениям, работающим на этой инфраструктуре. Это ответ на вопрос «что». Например, камера безопасности выступает как устройство Edge Computing, но когда она использует компьютерное зрение (CV) для распознавания конкретного человека, она выполняет Edge AI.

Link to this sectionРеальные приложения#

Edge AI трансформирует отрасли, обеспечивая автономное принятие решений в критических сценариях:

• Автономные транспортные средства: Самоуправляемые автомобили генерируют терабайты данных ежедневно. Они не могут полагаться на облако для идентификации пешеходов или препятствий из-за задержки сигнала. Вместо этого они используют встроенный Edge AI для мгновенного обнаружения объектов, чтобы обеспечить безопасность пассажиров.
• Умное производство: В Industrial IoT (IIoT) датчики на заводских площадках используют Edge AI для предиктивного обслуживания. Анализируя данные о вибрации и температуре локально, система может обнаруживать аномалии и предсказывать отказ оборудования в реальном времени, предотвращая дорогостоящие простои.
• Здравоохранение: Портативные медицинские устройства, оснащенные Vision AI, могут анализировать медицинские изображения или жизненно важные показатели пациента непосредственно в месте оказания помощи, предоставляя немедленную диагностическую поддержку в удаленных районах с плохой связью.

Link to this sectionРазвертывание моделей на периферию#

Развертывание модели на периферии обычно включает обучение модели в высокопроизводительной вычислительной среде с последующим экспортом в формат, совместимый с граничными устройствами, такой как ONNX или OpenVINO. Ultralytics Platform упрощает этот рабочий процесс, позволяя тебе обучать и автоматически экспортировать модели для различных целевых устройств.

Следующий пример демонстрирует, как экспортировать легковесную модель YOLO26, специально разработанную для эффективности, в формат, подходящий для мобильного и периферийного развертывания.

from ultralytics import YOLO

# Load the YOLO26 Nano model, which is optimized for speed on edge devices
model = YOLO("yolo26n.pt")

# Export the model to TFLite format for deployment on Android or Raspberry Pi
# This creates a 'yolo26n.tflite' file ready for edge inference
model.export(format="tflite")

Расширенные периферийные развертывания часто используют технологии контейнеризации, такие как Docker, для упаковки приложений, обеспечивая их согласованную работу на различных архитектурах устройств, от блоков Raspberry Pi до промышленных шлюзов.