Neural Processing Unit (NPU)

Una unidad de procesamiento neuronal (NPU) es un procesador diseñado para ejecutar redes neuronales, basado en grandes matrices de unidades de multiplicación y acumulación alimentadas desde la memoria integrada en el chip. La mayoría de las NPU son bloques de un sistema en chip, junto a la CPU y la GPU, donde ejecutan inferencias para funciones de cámara, voz y visión con una fracción de la energía que consumirían los otros dos procesadores. El Kirin 970 de Huawei y el A11 Bionic de Apple, cuyo Neural Engine alcanzaba los 600.000 millones de operaciones por segundo, incorporaron las NPU a los teléfonos en 2017. Después llegaron la NPU Hexagon de Qualcomm, la NPU de Intel en los procesadores para portátiles Core Ultra desde diciembre de 2023 y los chips Ryzen AI de AMD. Los PC Copilot+ de Microsoft requieren una NPU que ofrezca más de 40 billones de operaciones por segundo (TOPS). El término también abarca los chips para centros de datos: Huawei llama NPU a sus aceleradores Ascend para centros de datos y los utiliza para entrenar modelos grandes.

En qué se diferencian las NPU de las CPU y las GPU#

La inferencia de aprendizaje profundo se basa principalmente en multiplicaciones de matrices y convoluciones sobre datos predecibles, por lo que una NPU prescinde de gran parte de la lógica de control y de la caché que necesita una CPU para ejecutar código general, así como de la flexibilidad que una GPU conserva para los gráficos. Dedica ese silicio a matrices de unidades de cálculo de función fija y mantiene los pesos y las activaciones en la memoria local, porque mover datos consume más energía que calcular con ellos. Las NPU también realizan cálculos con precisión reducida, principalmente en INT8 y FP16, razón por la que los modelos suelen necesitar cuantización antes de ejecutarse en ellas y por la que el rendimiento de las NPU se expresa en TOPS INT8. Por ejemplo, la Edge TPU Coral de Google alcanza 4 TOPS a 2 TOPS por vatio.

• CPU: Ejecuta cualquier código, se encarga de las operaciones que una NPU no admite y es la más lenta de las tres en los cálculos matriciales de gran tamaño.
• GPU: Procesador paralelo programable que entrena y ejecuta modelos en coma flotante con un alto rendimiento, pero consume más energía que una NPU.
• TPU: Familia de aceleradores matriciales de Google. Las TPU de Cloud entrenan y sirven modelos en centros de datos, mientras que la Edge TPU es una NPU en todo salvo en el nombre.
• Chips neuromórficos: Procesan picos de redes neuronales de impulsos y son adecuados para sensores basados en eventos. Su modelo de computación es distinto del cálculo matricial denso de las NPU.

Ejecución de un modelo en una NPU#

Una NPU ejecuta un programa compilado, no un grafo de PyTorch o ONNX. Un compilador del proveedor convierte la red, antes de ejecutarla o al cargarla en el entorno de ejecución, a menudo la cuantiza a INT8 con imágenes de calibración, suele fijar la forma de entrada y asigna cada capa al hardware. Las capas que la NPU no admite se derivan a la CPU o la GPU, y cada derivación copia tensores entre procesadores:

Cada derivación añade transferencias y deja un procesador esperando al otro, por lo que las arquitecturas para dispositivos edge favorecen operadores estándar como las convoluciones, las activaciones de la familia ReLU y el pooling. Entornos de ejecución como ONNX Runtime, Core ML de Apple, LiteRT de Google y OpenVINO de Intel se encargan de esta partición y eligen la NPU cuando está disponible.

Dónde se utilizan las NPU#

Los teléfonos inteligentes utilizan sus NPU para la fotografía computacional, el reconocimiento de voz en el dispositivo, el reconocimiento facial y la traducción en tiempo real. Así, las imágenes y el audio permanecen en el dispositivo, lo que protege la privacidad de los datos. En los PC con IA, Windows Studio Effects ejecuta en la NPU el desenfoque del fondo, la corrección del contacto visual y el encuadre automático de las videollamadas, y deja libres la CPU y la GPU. En la IA en el edge, las NPU de Rockchip, Hailo y DEEPX ejecutan detección de objetos en cámaras de seguridad, drones y robots sin conexión a la red.

Ultralytics YOLO26 se exporta a los formatos compilados que necesitan estas NPU mediante el modo de exportación, incluidos OpenVINO para las NPU de Intel, Core ML para el Neural Engine de Apple, QNN para la NPU Hexagon de Qualcomm, RKNN para Rockchip y el formato .om para Huawei Ascend. También se entrena en las NPU Ascend, seleccionadas con device="npu:0" o device="npu:0,1" para entrenar en varias NPU.