Neural Processing Unit (NPU)

Un'unità di elaborazione neurale (NPU) è un circuito hardware specializzato, progettato specificamente per accelerare l'esecuzione di algoritmi di intelligenza artificiale e machine learning. A differenza dei processori general-purpose, le NPU sono progettate con un'architettura che gestisce nativamente le complesse operazioni matriciali parallele alla base dei modelli di deep learning. Eseguendo questi calcoli con un'efficienza estrema, una NPU riduce drasticamente il consumo energetico migliorando significativamente la latenza dell'inferenza. Questo le rende un componente essenziale degli smartphone, dei laptop e dei dispositivi IoT specializzati moderni, nei quali è fondamentale distribuire modelli complessi in modo efficiente senza esaurire rapidamente la batteria.

NPU a confronto con altri processori#

Per comprendere il valore di una NPU, è utile distinguerla dagli altri comuni acceleratori hardware nel panorama dell'AI:

• Unità centrale di elaborazione (CPU): il "cervello" general-purpose di un computer. Sebbene siano in grado di eseguire codice di machine learning, le CPU gestiscono le attività in sequenza, risultando lente e inefficienti per le pesanti moltiplicazioni di matrici richieste dai moderni modelli di computer vision.
• Unità di elaborazione grafica (GPU): progettate per l'elaborazione parallela, le GPU sono eccezionali nella gestione di carichi di lavoro di deep learning estremamente intensivi. Tuttavia, consumano molta energia e generano una notevole quantità di calore, risultando quindi più adatte al training nel cloud che all'edge computing alimentato a batteria.
• Unità di elaborazione tensoriale (TPU): un circuito integrato specifico per applicazioni sviluppato da Google per il machine learning. Sebbene il concetto sia simile a quello di una NPU, le TPU sono generalmente associate ai grandi rack di server per il cloud computing, mentre le NPU sono solitamente integrate direttamente nei System-on-Chips (SoCs) destinati ai dispositivi consumer.

Applicazioni delle NPU nel mondo reale#

La diffusione delle NPU ha reso possibile eseguire l'intelligenza artificiale (AI) direttamente sui dispositivi degli utenti senza dipendere da una connettività costante al cloud.

• Smartphone e computer vision mobile: i dispositivi mobili moderni sfruttano ampiamente le NPU interne, come l'Apple Neural Engine o la Qualcomm Hexagon NPU, per supportare la fotografia computazionale, il riconoscimento facciale in tempo reale e la traduzione locale dei testi. Elaborando i dati delle immagini direttamente sul dispositivo, preservano la durata della batteria e garantiscono la privacy dei dati.
• Laptop con funzionalità AI: i processori avanzati per PC ora includono NPU integrate per gestire attività in background come la sfocatura dello sfondo e la correzione dello sguardo durante le videoconferenze, senza sovraccaricare la CPU principale e consentendo agli utenti di svolgere più attività contemporaneamente senza problemi.
• Implementazioni di Edge AI: le telecamere di sorveglianza intelligenti e i sistemi robotici utilizzano NPU specializzate, come Google Coral Edge TPU o hardware Intel integrato, per eseguire il rilevamento degli oggetti istantaneamente e direttamente alla fonte. Questo elimina i colli di bottiglia della larghezza di banda e consente di prendere decisioni in frazioni di secondo.

Utilizzare le NPU con Ultralytics YOLO#

Per gli sviluppatori che desiderano sfruttare le NPU, distribuire modelli di computer vision è diventato incredibilmente semplice. Utilizzando il potente modello Ultralytics YOLO26, puoi esportare la tua rete addestrata in formati ottimizzati per diversi acceleratori hardware. Per semplificare l'intero ciclo di vita, la Ultralytics Platform offre strumenti avanzati per la gestione dei dataset nel cloud, l'annotazione automatizzata e la distribuzione di modelli ottimizzati in praticamente qualsiasi ambiente di deployment dei modelli.

Quando lavori localmente, puoi utilizzare integrazioni con framework come ONNX Runtime, PyTorch ExecuTorch o TensorFlow Lite per indirizzare l'NPU. Di seguito è riportato un rapido esempio in Python che mostra come esportare un modello YOLO nel formato OpenVINO, che delega senza problemi i carichi di lavoro di calcolo alle NPU Intel per accelerare l'inferenza in tempo reale.

from ultralytics import YOLO

# Load the highly recommended Ultralytics YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Export to OpenVINO with int8 quantization for optimal NPU performance
model.export(format="openvino", int8=True)

# Run highly efficient, accelerated inference on the edge device
results = model("path/to/environment_image.jpg")