Inference Engine
Scopri come un motore di inferenza ottimizza modelli di machine learning come Ultralytics YOLO26 per il deployment in tempo reale. Esplora oggi i suggerimenti sulle prestazioni per l'Edge AI.
Un motore di inferenza è un componente software specializzato progettato per eseguire modelli di machine learning addestrati e generare previsioni da nuovi dati. A differenza della fase di addestramento, che si concentra sull'apprendimento dei pattern attraverso processi ad alta intensità computazionale come la backpropagation, un motore di inferenza è ottimizzato esclusivamente per la fase operativa nota come distribuzione del modello. Il suo obiettivo principale è eseguire i calcoli nel modo più efficiente possibile, riducendo al minimo la latenza di inferenza e massimizzando il throughput sull'hardware di destinazione, che si tratti di un server cloud scalabile o di un dispositivo Edge AI alimentato a batteria. Eliminando il sovraccarico necessario per l'addestramento, questi motori consentono alle complesse reti neurali di funzionare in applicazioni in tempo reale.
Come i motori di inferenza ottimizzano le prestazioni#
Il passaggio da un ambiente di addestramento a un motore di inferenza comporta in genere diversi passaggi di ottimizzazione per semplificare la struttura del modello. Poiché il modello non deve più apprendere, il motore può eliminare i dati necessari per gli aggiornamenti del gradiente, congelando di fatto i pesi del modello. Le tecniche comuni utilizzate dai motori di inferenza includono la fusione dei layer, in cui più operazioni vengono combinate in un singolo passaggio per ridurre gli accessi alla memoria, e la quantizzazione del modello, che converte i pesi da formati floating-point ad alta precisione a interi a precisione inferiore (ad esempio, INT8).
Queste ottimizzazioni consentono ad architetture avanzate come Ultralytics YOLO26 di funzionare a velocità elevatissime senza perdite significative in termini di accuratezza. I diversi motori sono spesso adattati a specifici ecosistemi hardware per sbloccare le massime prestazioni:
- NVIDIA TensorRT: offre inferenza ad alte prestazioni sulle GPU NVIDIA utilizzando kernel specifici per l'hardware e ottimizzando il grafo della rete.
- Intel OpenVINO: ottimizza le prestazioni del deep learning sulle architetture Intel, incluse le CPU e la grafica integrata, risultando ideale per l'edge computing.
- ONNX Runtime: un acceleratore multipiattaforma che supporta i modelli nel formato ONNX, fornendo un ponte tra diversi framework e backend hardware.
Applicazioni nel mondo reale#
I motori di inferenza sono i componenti invisibili alla base di molte delle moderne funzionalità basate sull'AI, consentendo ai sistemi di computer vision di reagire istantaneamente all'ambiente circostante.
-
Veicoli autonomi: nelle auto a guida autonoma, i modelli di rilevamento degli oggetti devono identificare pedoni, segnali stradali e altri veicoli in pochi millisecondi. Un motore di inferenza eseguito localmente sull'hardware dell'auto garantisce che questa elaborazione avvenga a velocità di inferenza in tempo reale, poiché fare affidamento su una connessione cloud introdurrebbe ritardi pericolosi.
-
Produzione intelligente: le fabbriche utilizzano telecamere per l'IoT industriale per ispezionare i prodotti sulle linee di assemblaggio. Un motore di inferenza elabora i flussi video per eseguire il rilevamento delle anomalie, segnalando immediatamente i difetti. Questa automazione riduce gli sprechi e garantisce un rigoroso controllo della qualità senza rallentare la produzione.
Motore di inferenza vs. framework di addestramento#
È utile distinguere tra il software utilizzato per creare il modello e il motore utilizzato per eseguirlo. Un framework di addestramento (come PyTorch o TensorFlow) fornisce gli strumenti per progettare architetture, calcolare la loss e aggiornare i parametri tramite l'apprendimento supervisionato. Dà priorità alla flessibilità e alle funzionalità di debug.
Al contrario, il motore di inferenza prende l'artefatto finale dal framework di addestramento e dà priorità alla velocità di esecuzione e all'efficienza della memoria. Sebbene sia possibile eseguire l'inferenza all'interno di un framework di addestramento, raramente è efficiente quanto utilizzare un motore dedicato, soprattutto per la distribuzione su telefoni cellulari o dispositivi embedded tramite strumenti come TensorFlow Lite o Apple Core ML.
Utilizzo di un motore di inferenza con Ultralytics YOLO26#
Il pacchetto ultralytics astrae gran parte della complessità dei motori di inferenza, consentendo agli utenti di eseguire le previsioni senza difficoltà. In background, gestisce la pre-elaborazione delle immagini e l'esecuzione del modello. Per gli utenti che desiderano scalare, la Piattaforma Ultralytics semplifica il processo di addestramento ed esportazione dei modelli in formati ottimizzati compatibili con diversi motori di inferenza.
L'esempio seguente mostra come caricare un modello YOLO26 preaddestrato ed eseguire l'inferenza su un'immagine:
from ultralytics import YOLO
# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")
# Run inference on an image from a URL
# The 'predict' method acts as the interface to the inference process
results = model.predict("https://ultralytics.com/images/bus.jpg")
# Display the results
results[0].show()
