Нейронный процессор (NPU)

Нейронный процессор (NPU) — это специализированная аппаратная схема, разработанная специально для ускорения выполнения алгоритмов искусственного интеллекта и машинного обучения. В отличие от процессоров общего назначения, NPU построены на архитектуре, которая изначально рассчитана на выполнение сложных параллельных матричных операций, лежащих в основе моделей глубокого обучения. Выполняя эти вычисления с чрезвычайной эффективностью, NPU резко снижает энергопотребление и при этом значительно сокращает задержку инференса. Это делает их незаменимым компонентом современных мобильных телефонов, ноутбуков и специализированных устройств Интернета вещей (IoT), где эффективное развертывание сложных моделей без быстрого разряда батареи имеет решающее значение.

NPU по сравнению с другими процессорами

Чтобы понять ценность NPU, полезно отличать его от других распространенных аппаратных ускорителей в сфере искусственного интеллекта :

• Центральный процессор (CPU): «мозг» компьютера общего назначения. Несмотря на способность выполнять код машинного обучения, процессоры обрабатывают задачи последовательно, что делает их медленными и неэффективными для выполнения сложных операций умножения матриц, необходимых современным моделям компьютерного зрения.
• Графический процессор (GPU): Разработанные для параллельной обработки, графические процессоры отлично справляются с огромными нагрузками при глубоком обучении. Однако они потребляют значительное количество энергии и выделяют много тепла, поэтому лучше подходят для обучения в облаке, чем для периферийных вычислений с питанием от аккумулятора.
• БлокTensor (TPU): Специализированная интегральная схема, разработанная компанией Google машинного обучения. Хотя по своей концепции TPU схожи с NPU, TPU обычно используются в огромных серверных стойках для облачных вычислений, тогда как NPU как правило, встраиваются непосредственно в потребительские системные микросхемы (SoC).

Практическое применение нейронных процессоров

Развитие NPU открыло возможность запуска си стем искусственного интеллекта (ИИ) непосредственно на пользовательских устройствах без необходимости постоянного подключения к облаку.

• Смартфоны и мобильная обработка изображений: Современные мобильные устройства активно используют встроенные нейропроцессоры (NPU), такие как Apple Neural Engine или Qualcomm Hexagon NPU, для обеспечения возможностей вычислительной фотографии, распознавания лиц в реальном времени и локального перевода текста. Обрабатывая данные изображений на самом устройстве, они экономят заряд батареи и обеспечивают конфиденциальность данных.
• Ноутбуки с поддержкой ИИ: Современные процессоры для ПК теперь оснащены встроенными нейропроцессорами (NPU), которые позволяют управлять фоновыми задачами, такими как размытие фона и коррекция взгляда во время видеоконференций, не нагружая основной CPU, что обеспечивает пользователям плавную многозадачность.
• Внедрение периферийного ИИ: Интеллектуальные камеры наблюдения и робототехника используют специализированные нейронные процессоры (NPU), такие как Google Edge TPU встроенное Intel , для мгновенного обнаружения объектов непосредственно у источника. Это устраняет узкие места в пропускной способности и позволяет принимать решения за доли секунды.

Использование NPU с Ultralytics YOLO

Для разработчиков, желающих использовать возможности нейронных процессоров (NPU), развертывание моделей компьютерного зрения стало невероятно простым. С помощью мощной модели Ultralytics вы можете экспортировать обученную сеть в форматы, оптимизированные для различных аппаратных ускорителей. Чтобы оптимизировать весь этот цикл разработки, Ultralytics предоставляет надежные инструменты для управления наборами данных в облаке, автоматической аннотации и развертывания оптимизированных моделей практически в любой среде развертывания моделей.

При локальной работе можно использовать интеграции с фреймворками, такими как ONNX , PyTorch или TensorFlow , для работы с NPU. Ниже приведен краткий Python , демонстрирующий, как экспортировать YOLO в OpenVINO , который беспрепятственно передает вычислительные задачи на Intel для ускоренного выполнения инференции в реальном времени.

from ultralytics import YOLO

# Load the highly recommended Ultralytics YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Export to OpenVINO with int8 quantization for optimal NPU performance
model.export(format="openvino", int8=True)

# Run highly efficient, accelerated inference on the edge device
results = model("path/to/environment_image.jpg")