Le inferenze in tempo reale nelle soluzioni di Vision AI stanno avendo un impatto concreto

Prima o poi, tutti abbiamo dovuto fare i conti con i disagi causati da una connessione Internet lenta. Immagina però un ritardo simile in una situazione critica, come un'auto a guida autonoma che reagisce a un ostacolo o un medico che analizza una scansione essenziale. Anche solo qualche secondo in più può avere conseguenze gravi.

È qui che l'inferenza AI in tempo reale può fare la differenza. L'elaborazione rapida e le previsioni in tempo reale consentono alle soluzioni di visione artificiale di elaborare i dati visivi e reagire all'istante. Queste decisioni prese in una frazione di secondo possono migliorare la sicurezza, l'efficienza e la praticità quotidiana.

Prendiamo per esempio un chirurgo che esegue una procedura delicata con l'aiuto di un assistente robotico. Ogni movimento viene controllato tramite una connessione ad alta velocità e il sistema di visione del robot elabora il campo operatorio in tempo reale, fornendo al chirurgo un riscontro visivo immediato. Anche il minimo ritardo in questo ciclo di feedback potrebbe causare errori gravi e mettere a rischio il paziente. È un esempio perfetto del perché le inferenze in tempo reale siano fondamentali: non c'è spazio per la latenza.

Le inferenze AI nelle applicazioni del mondo reale si basano su tre concetti chiave: motori di inferenza (software o hardware che esegue in modo efficiente i modelli AI), latenza di inferenza (il ritardo tra input e output) e inferenza in tempo reale (la capacità del sistema AI di elaborare e reagire con un ritardo minimo).

In questo articolo esploreremo questi concetti fondamentali e vedremo come i modelli di visione artificiale come Ultralytics YOLO11 rendono possibili applicazioni basate su previsioni istantanee.

Che cos'è un'inferenza AI?#

Eseguire un'inferenza significa analizzare nuovi dati con un modello AI addestrato per formulare una previsione o svolgere un'attività. A differenza dell'addestramento, che insegna al modello elaborando grandi quantità di dati etichettati, l'inferenza si concentra sulla produzione di risultati rapidi e precisi con un modello già addestrato.

Fig. 1. Capire che cosa sono le inferenze.

Per esempio, nella conservazione della fauna selvatica, le fototrappole AI usano modelli di visione artificiale per identificare e classificare gli animali in tempo reale. Quando una fotocamera rileva un movimento, il modello AI riconosce immediatamente se si tratta di un cervo, un predatore o persino un bracconiere, aiutando i ricercatori a monitorare le popolazioni animali e proteggere le specie in pericolo senza intervento umano. Questa identificazione rapida rende possibile il monitoraggio in tempo reale e permette di reagire più velocemente alle potenziali minacce.

Capire i motori di inferenza#

Un modello di machine learning addestrato non è sempre pronto per la distribuzione così com'è. Un motore di inferenza è uno strumento software o hardware specializzato, progettato per eseguire in modo efficiente i modelli di machine learning e ottimizzarli per l'impiego nel mondo reale. Usa tecniche di ottimizzazione come la compressione dei modelli, la quantizzazione e le trasformazioni dei grafi per migliorare le prestazioni e ridurre il consumo di risorse, consentendo di distribuire il modello in diversi ambienti.

In sostanza, un motore di inferenza mira a ridurre il carico computazionale, minimizzare la latenza e migliorare l'efficienza per consentire previsioni rapide e precise. Una volta ottimizzato, il motore esegue il modello sui nuovi dati, generando inferenze in tempo reale in modo efficiente. Questa ottimizzazione permette ai modelli AI di funzionare senza problemi sia su server cloud ad alte prestazioni sia su dispositivi edge con risorse limitate, come smartphone, dispositivi IoT e sistemi embedded.

Problemi causati dalla latenza di inferenza#

La latenza di inferenza è il ritardo tra il momento in cui un sistema AI riceve i dati di input, come un'immagine acquisita da una fotocamera, e quello in cui produce un risultato, per esempio rilevando gli oggetti nell'immagine. Anche un ritardo minimo può incidere in modo significativo sulle prestazioni e sulla facilità d'uso delle applicazioni AI in tempo reale.

La latenza di inferenza si verifica in tre fasi principali:

• Tempo di preelaborazione: il tempo necessario per preparare i dati di input prima di passarli al modello. Comprende il ridimensionamento delle immagini per adattarle alle dimensioni di input del modello, la normalizzazione dei valori dei pixel per migliorare la precisione e la conversione dei formati, per esempio da RGB a scala di grigi o da video a sequenze di fotogrammi.
• Tempo di calcolo: il tempo effettivamente impiegato dal modello per eseguire l'inferenza. Comprende operazioni come i calcoli a livello di layer nelle reti profonde, le moltiplicazioni di matrici, le convoluzioni e il trasferimento di dati tra memoria e unità di elaborazione.
• Tempo di post-elaborazione: il tempo necessario per convertire gli output grezzi del modello in risultati significativi. Può includere il disegno di riquadri di delimitazione nel rilevamento degli oggetti, il filtraggio dei falsi positivi nel riconoscimento delle immagini o l'applicazione di soglie nel rilevamento delle anomalie. Alcuni rilevatori, come Ultralytics YOLO26, eliminano la fase di soppressione dei non massimi (NMS) per abbreviare questa fase.

La latenza di inferenza è fondamentale nelle applicazioni in tempo reale. Per esempio, nel rilevamento automatico dei difetti su una linea di assemblaggio, la visione artificiale può essere usata per ispezionare i prodotti mentre scorrono sul nastro trasportatore.

Il sistema deve identificare e segnalare rapidamente i difetti, prima che i prodotti passino alla fase successiva. Se il modello impiega troppo tempo per elaborare le immagini, gli articoli difettosi potrebbero non essere individuati in tempo, causando sprechi di materiali, costose rilavorazioni o la consegna di prodotti difettosi ai clienti. Riducendo la latenza, i produttori possono migliorare il controllo della qualità, aumentare l'efficienza e ridurre le perdite.

Come ridurre la latenza di inferenza#

Ridurre al minimo la latenza di inferenza è essenziale in molte applicazioni di visione artificiale. Per riuscirci, si possono usare diverse tecniche. Vediamo alcune delle più comuni per ridurre la latenza di inferenza.

Potatura dei modelli#

La potatura dei modelli semplifica una rete neurale rimuovendo le connessioni non necessarie (i pesi), rendendola più piccola e veloce. Questo processo riduce il carico computazionale del modello e ne aumenta la velocità senza compromettere troppo la precisione.

Mantenendo solo le connessioni più importanti, la potatura garantisce inferenze efficienti e prestazioni migliori, soprattutto sui dispositivi con capacità di elaborazione limitate. È ampiamente usata in applicazioni in tempo reale come l'AI mobile, la robotica e l'edge computing per migliorare l'efficienza senza sacrificare l'affidabilità.

Fig. 2. Rimozione delle connessioni meno efficaci tramite la potatura dei modelli.

Quantizzazione dei modelli#

La quantizzazione dei modelli è una tecnica che velocizza l'esecuzione dei modelli AI e riduce la memoria necessaria semplificando i numeri usati nei calcoli. Normalmente questi modelli lavorano con numeri in virgola mobile a 32 bit, molto precisi ma che richiedono molta potenza di calcolo. La quantizzazione riduce questi numeri a interi a 8 bit, più facili da elaborare e meno ingombranti.

Fig. 3. Uso della quantizzazione dei modelli per convertire i valori in virgola mobile in rappresentazioni intere.

Uso di modelli efficienti#

La progettazione di un modello AI ha un impatto notevole sulla velocità con cui può formulare previsioni. Modelli come Ultralytics YOLO11, progettati per eseguire inferenze in modo efficiente, sono ideali per le applicazioni in cui la velocità di elaborazione è fondamentale.

Quando sviluppi una soluzione AI, è importante scegliere il modello giusto in base alle risorse disponibili e ai requisiti prestazionali. Se parti da un modello troppo pesante, è più probabile che si verifichino problemi come tempi di elaborazione lenti, consumi energetici elevati e difficoltà di distribuzione sui dispositivi con risorse limitate. Un modello leggero garantisce prestazioni fluide, soprattutto nelle applicazioni in tempo reale e edge.

Velocità e precisione: ottimizzare le inferenze in tempo reale#

Esistono diverse tecniche per ridurre la latenza, ma un aspetto fondamentale delle inferenze in tempo reale è trovare il giusto equilibrio tra velocità e precisione. Non basta rendere i modelli più veloci: occorre ottimizzare la velocità di inferenza senza compromettere la precisione. Un sistema che produce previsioni rapide ma errate è inefficace. Per questo è fondamentale eseguire test approfonditi e assicurarsi che i modelli funzionino bene nelle situazioni reali. Un sistema che sembra veloce durante i test ma non funziona nelle condizioni effettive non è davvero ottimizzato.

Applicazioni di IA per la visione che sfruttano inferenze in tempo reale#

Ora esaminiamo alcune applicazioni concrete in cui l'inferenza in tempo reale sta trasformando i settori industriali, consentendo risposte immediate agli input visivi.

Sistemi di pagamento automatico nei negozi#

I modelli di visione artificiale come Ultralytics YOLO11 possono contribuire a migliorare i sistemi di pagamento automatico rendendo il riconoscimento degli articoli più rapido e preciso. Il supporto di YOLO11 a varie attività di visione artificiale, come il rilevamento degli oggetti e la segmentazione delle istanze, consente di identificare i prodotti anche quando i codici a barre sono mancanti o danneggiati. L'IA per la visione può ridurre la necessità di inserimenti manuali e velocizzare il processo di pagamento.

Oltre a identificare i prodotti, la visione artificiale può essere integrata nei sistemi di pagamento automatico anche per verificare i prezzi, prevenire le frodi e rendere l'esperienza più comoda per i clienti. Le telecamere basate sull'IA possono distinguere automaticamente prodotti simili e rilevare comportamenti sospetti al momento del pagamento. Ciò include l'individuazione delle «mancate scansioni», quando un cliente o un cassiere salta involontariamente un articolo, e dei tentativi di frode più intenzionali, come la «sostituzione del prodotto», in cui un codice a barre più economico viene applicato su un articolo più costoso.

Fig. 4 L'IA può migliorare le casse automatiche.

Un ottimo esempio è Kroger, una grande catena di negozi statunitense che ha integrato la visione artificiale e l'IA nei propri sistemi di pagamento automatico. Grazie all'analisi video in tempo reale, Kroger è riuscita a correggere automaticamente oltre il 75% degli errori di pagamento, migliorando sia l'esperienza dei clienti sia le operazioni nei negozi.

Controllo qualità con la visione artificiale#

Ispezionare i prodotti manualmente per il controllo qualità può essere lento e non sempre accurato. Per questo sempre più produttori adottano flussi di lavoro di ispezione visiva che utilizzano la visione artificiale per individuare i difetti nelle prime fasi del processo produttivo.

Le telecamere ad alta risoluzione e l'IA per la visione possono rilevare piccoli difetti che potrebbero sfuggire alle persone, mentre modelli come Ultralytics YOLO11 possono supportare i controlli di qualità in tempo reale, lo smistamento e il conteggio, assicurando che ai clienti arrivino solo prodotti perfetti. Automatizzare questo processo fa risparmiare tempo, riduce i costi e limita gli sprechi, rendendo la produzione più fluida ed efficiente.

Fig. 5 Un esempio di conteggio dei prodotti su una catena di montaggio con Ultralytics YOLO11.

Punti chiave#

L'inferenza in tempo reale consente ai modelli di IA di prendere decisioni immediate, un aspetto fondamentale in molti settori. Che si tratti di un'auto a guida autonoma che evita un incidente, di un medico che analizza rapidamente esami diagnostici o di una fabbrica che rileva difetti nei prodotti, risposte dell'IA rapide e precise fanno una grande differenza.

Migliorando la velocità e l'efficienza dei modelli AI, possiamo creare sistemi più intelligenti e affidabili, che funzionano con sicurezza in situazioni reali. Con il progresso della tecnologia, le soluzioni AI in tempo reale continueranno a plasmare il futuro, rendendo i processi quotidiani più rapidi, sicuri ed efficienti.

Per saperne di più, visita il nostro repository GitHub e partecipa alla nostra community. Scopri le innovazioni in settori come l'IA nelle auto a guida autonoma e la visione artificiale in agricoltura nelle pagine dedicate alle nostre soluzioni. Dai un'occhiata alle nostre opzioni di licenza e dai vita ai tuoi progetti di IA per la visione.