Neural Processing Unit (NPU)
Узнай, как нейронный процессор (NPU) ускоряет AI. Изучи, как развёртывать Ultralytics YOLO26 на NPU для эффективных периферийных вычислений и инференса с низким энергопотреблением.
Нейронный процессор (NPU) — это специализированная аппаратная схема, предназначенная специально для ускорения выполнения алгоритмов искусственного интеллекта и машинного обучения. В отличие от процессоров общего назначения, NPU разработаны с архитектурой, которая изначально поддерживает сложные параллельные матричные операции, лежащие в основе моделей глубокого обучения. Благодаря исключительно эффективному выполнению этих вычислений NPU значительно снижает энергопотребление и существенно уменьшает задержку инференса. Это делает их важным компонентом современных мобильных телефонов, ноутбуков и специализированных устройств IoT, где критически важно эффективно запускать сложные модели без быстрой разрядки аккумулятора.
NPU и другие процессоры#
Чтобы понять ценность NPU, полезно сравнить его с другими распространёнными аппаратными ускорителями в сфере AI:
- Центральный процессор (CPU): «Мозг» компьютера общего назначения. Хотя CPU способны выполнять код машинного обучения, они обрабатывают задачи последовательно, что делает их медленными и неэффективными для интенсивного матричного умножения, необходимого современным моделям компьютерного зрения.
- Графический процессор (GPU): GPU предназначены для параллельной обработки и превосходно справляются с масштабными рабочими нагрузками глубокого обучения. Однако они потребляют много энергии и выделяют значительное количество тепла, поэтому лучше подходят для обучения в облаке, чем для работающих от аккумулятора решений периферийных вычислений.
- Тензорный процессор (TPU): специализированная интегральная схема, разработанная Google для машинного обучения. Хотя TPU похожи на NPU по концепции, обычно они ассоциируются с массивными стойками серверов для облачных вычислений, тогда как NPU обычно интегрируются непосредственно в потребительские системы на кристалле (SoCs).
Практическое применение NPU#
Распространение NPU сделало возможным запуск искусственного интеллекта (AI) непосредственно на пользовательских устройствах без постоянного подключения к облаку.
- Смартфоны и мобильное компьютерное зрение: современные мобильные устройства активно используют встроенные NPU, такие как Apple Neural Engine или Qualcomm Hexagon NPU, для вычислительной фотографии, распознавания лиц в реальном времени и локального перевода текста. Обрабатывая данные изображений непосредственно на устройстве, они экономят заряд аккумулятора и обеспечивают конфиденциальность данных.
- Ноутбуки с поддержкой AI: современные процессоры для ПК теперь оснащаются встроенными NPU, которые выполняют фоновые задачи, такие как размытие фона и коррекция направления взгляда во время видеоконференций, не нагружая основной CPU и позволяя пользователям плавно работать в многозадачном режиме.
- Развёртывание AI на периферии: интеллектуальные камеры видеонаблюдения и робототехнические системы используют специализированные NPU, такие как Google Coral Edge TPU или встроенное оборудование Intel, чтобы выполнять обнаружение объектов непосредственно на источнике данных. Это устраняет ограничения пропускной способности и обеспечивает принятие решений за доли секунды.
Использование NPU с Ultralytics YOLO#
Для разработчиков, желающих использовать NPU, развёртывание моделей компьютерного зрения стало чрезвычайно простым. С помощью мощной модели Ultralytics YOLO26 ты можешь экспортировать обученную сеть в форматы, оптимизированные для различных аппаратных ускорителей. Для оптимизации всего этого жизненного цикла платформа Ultralytics предоставляет надёжные инструменты для управления наборами данных в облаке, автоматической разметки и развёртывания оптимизированных моделей практически в любой среде развёртывания моделей.
При локальной работе ты можешь использовать интеграции с такими фреймворками, как ONNX Runtime, PyTorch ExecuTorch или TensorFlow Lite, чтобы задействовать NPU. Ниже приведён краткий пример на Python, демонстрирующий экспорт модели YOLO в формат OpenVINO, который легко делегирует вычислительные нагрузки NPU Intel для ускоренного инференса в реальном времени.
from ultralytics import YOLO
# Load the highly recommended Ultralytics YOLO26 Nano model
model = YOLO("yolo26n.pt")
# Export to OpenVINO with int8 quantization for optimal NPU performance
model.export(format="openvino", int8=True)
# Run highly efficient, accelerated inference on the edge device
results = model("path/to/environment_image.jpg")
