Neural Processing Unit (NPU)
Узнай, как нейронный процессор (NPU) ускоряет работу ИИ. Открой для себя, как развертывать Ultralytics YOLO26 на NPU для эффективных и энергосберегающих вычислений на периферии (edge computing) и инференса.
Нейронный процессор (NPU) — это специализированная аппаратная схема, разработанная специально для ускорения выполнения алгоритмов искусственного интеллекта и машинного обучения. В отличие от универсальных процессоров, NPU спроектированы с архитектурой, которая нативно обрабатывает сложные параллельные матричные операции, лежащие в основе моделей deep learning. Выполняя эти вычисления с исключительной эффективностью, NPU радикально снижает энергопотребление, значительно улучшая при этом inference latency. Это делает их важнейшим компонентом современных мобильных телефонов, ноутбуков и специализированных устройств IoT, где критически важно эффективно развертывать сложные модели без быстрой разрядки аккумулятора.
Link to this sectionNPU в сравнении с другими процессорами#
Чтобы понять ценность NPU, полезно отличить его от других распространенных аппаратных ускорителей в сфере ИИ:
- Central Processing Unit (CPU): Универсальный «мозг» компьютера. Хотя CPU способны запускать код машинного обучения, они выполняют задачи последовательно, что делает их медленными и неэффективными для тяжелых операций умножения матриц, необходимых современным моделям компьютерного зрения.
- Graphics Processing Unit (GPU): Разработанные для параллельной обработки, GPU великолепно справляются с массивными рабочими нагрузками глубокого обучения. Однако они потребляют значительную мощность и выделяют много тепла, поэтому лучше подходят для облачного обучения, чем для edge computing на устройствах с питанием от батареи.
- Tensor Processing Unit (TPU): Специализированная интегральная схема, разработанная Google для машинного обучения. Хотя по концепции TPU похожи на NPU, они обычно ассоциируются с массивными серверными стойками cloud computing, тогда как NPU обычно встроены непосредственно в потребительские системы на кристалле (SoC).
Link to this sectionРеальные применения NPU#
Появление NPU открыло возможность запускать artificial intelligence (AI) непосредственно на пользовательских устройствах без постоянной зависимости от облачного соединения.
- Smartphones And Mobile Vision: Современные мобильные устройства активно используют внутренние NPU, такие как Apple Neural Engine или Qualcomm Hexagon NPU, для обеспечения вычислительной фотографии, распознавания лиц в реальном времени и локального перевода текста. Обрабатывая данные изображений на самом устройстве, они сохраняют заряд батареи и обеспечивают data privacy.
- AI-Enabled Laptops: Современные процессоры для ПК теперь оснащены встроенными NPU для управления фоновыми задачами, такими как размытие фона и коррекция взгляда во время video conferencing, не перегружая при этом основной CPU, что позволяет пользователям плавно работать в многозадачном режиме.
- Edge AI Deployments: Умные камеры наблюдения и робототехника используют специализированные NPU, такие как Google Coral Edge TPU или встраиваемое Intel hardware, для выполнения мгновенного object detection непосредственно у источника данных. Это устраняет узкие места в пропускной способности и позволяет принимать решения за доли секунды.
Link to this sectionИспользование NPU с Ultralytics YOLO#
Для разработчиков, стремящихся использовать NPU, развертывание моделей компьютерного зрения стало невероятно простым. Используя мощную модель Ultralytics YOLO26, ты можешь экспортировать обученную нейросеть в форматы, оптимизированные для различных аппаратных ускорителей. Чтобы оптимизировать весь этот жизненный цикл, Ultralytics Platform предоставляет надежные инструменты для облачного управления наборами данных, автоматической разметки и развертывания оптимизированных моделей практически в любую среду model deployment.
При локальной работе ты можешь использовать интеграции фреймворков, такие как ONNX Runtime, PyTorch ExecuTorch или TensorFlow Lite, для работы с NPU. Ниже приведен быстрый пример на Python, демонстрирующий, как экспортировать модель YOLO в OpenVINO format, который легко делегирует вычислительные нагрузки на NPU Intel для ускоренного real-time inference.
from ultralytics import YOLO
# Load the highly recommended Ultralytics YOLO26 Nano model
model = YOLO("yolo26n.pt")
# Export to OpenVINO with int8 quantization for optimal NPU performance
model.export(format="openvino", int8=True)
# Run highly efficient, accelerated inference on the edge device
results = model("path/to/environment_image.jpg")
