Edge AI

Edge AI относится к развертыванию алгоритмов и моделей artificial intelligence (AI) непосредственно на локальных аппаратных устройствах — таких как смартфоны, датчики IoT, дроны и подключенные автомобили — а не к опоре на централизованные центры cloud computing. Этот децентрализованный подход позволяет обрабатывать данные у источника их создания, значительно сокращая задержку, связанную с отправкой информации туда и обратно на удаленные серверы. Выполняя задачи machine learning (ML) локально, устройства могут принимать мгновенные решения, надежно работать без подключения к интернету и повышать data privacy, сохраняя конфиденциальную информацию на самом устройстве.

Как работает Edge AI#

Суть Edge AI заключается в запуск inference engine на встроенной системе. Поскольку пограничные устройства обычно имеют ограниченное время автономной работы и вычислительную мощность по сравнению с облачными серверами, модели AI должны быть высокоэффективными. Разработчики часто используют такие методы, как model quantization или model pruning, для сжатия больших neural networks без существенной потери точности.

Specialized hardware accelerators are frequently used to handle these workloads efficiently. Examples include the NVIDIA Jetson platform for robotics and the Google Coral Edge TPU for low-power inference. Software frameworks also play a vital role; tools like TensorRT and TFLite optimize models specifically for these constrained environments, ensuring fast real-time inference.

Edge AI против Edge Computing#

Хотя эти термины часто используются как взаимозаменяемые, полезно различать их:

• Edge Computing: Это описывает более широкую физическую инфраструктуру и топологию сети, где обработка данных происходит рядом с источником данных. Это «где» в уравнении.
• Edge AI: Это относится конкретно к интеллектуальным приложениям, работающим на этой инфраструктуре. Это «что». Например, камера видеонаблюдения действует как устройство edge computing, но когда она использует computer vision (CV) для распознавания конкретного человека, она выполняет Edge AI.

Реальные приложения#

Edge AI трансформирует отрасли, обеспечивая автономное принятие решений в критических сценариях:

• Autonomous Vehicles: Автономные автомобили ежедневно генерируют терабайты данных. Они не могут полагаться на облако для идентификации пешеходов или препятствий из-за задержки сигнала. Вместо этого они используют бортовой Edge AI для мгновенного object detection для обеспечения безопасности пассажиров.
• Smart Manufacturing: В Industrial IoT (IIoT) датчики на заводских цехах используют Edge AI для профилактического обслуживания. Анализируя данные о вибрации и температуре локально, система может обнаруживать аномалии и прогнозировать сбои оборудования в реальном времени, предотвращая дорогостоящие простои.
• Healthcare: Портативные медицинские устройства, оснащенные Vision AI, могут анализировать медицинские изображения или жизненные показатели пациента непосредственно в точке оказания помощи, обеспечивая немедленную диагностическую поддержку в отдаленных районах с плохим подключением.

Развертывание моделей на периферию#

Deploying a model to the edge typically involves training a model in a high-compute environment and then exporting it to a format compatible with edge devices, such as ONNX or OpenVINO. The Ultralytics Platform simplifies this workflow, allowing users to train and automatically export models for various edge targets.

Следующий пример демонстрирует, как экспортировать легкую модель YOLO26, специально разработанную для эффективности, в формат, подходящий для мобильных и периферийных развертываний.

from ultralytics import YOLO

# Load the YOLO26 Nano model, which is optimized for speed on edge devices
model = YOLO("yolo26n.pt")

# Export the model to TFLite format for deployment on Android or Raspberry Pi
# This creates a 'yolo26n.tflite' file ready for edge inference
model.export(format="tflite")

Усовершенствованные периферийные развертывания часто используют технологии containerization, такие как Docker, для упаковки приложений, гарантируя их стабильную работу на различных архитектурах устройств, от блоков Raspberry Pi до промышленных шлюзов.