Le inferenze in tempo reale nelle soluzioni di vision AI stanno facendo la differenza

Prima o poi abbiamo tutti dovuto affrontare i problemi causati da una connessione Internet lenta. Tuttavia, immagina questo ritardo in una situazione ad alto rischio, come un'auto a guida autonoma che reagisce a un ostacolo o un medico che analizza una scansione critica. Anche solo qualche secondo in più può avere conseguenze gravi.

È qui che l'inferenza IA in tempo reale può fare la differenza. L'elaborazione rapida e le predizioni in tempo reale consentono alle soluzioni di visione artificiale di elaborare e reagire istantaneamente ai dati visivi. Queste decisioni prese in una frazione di secondo possono aumentare la sicurezza, l'efficienza e la praticità quotidiana.

Considera, ad esempio, un chirurgo che esegue una procedura delicata con l'aiuto di un assistente robotico. Ogni movimento è controllato tramite una connessione ad alta velocità e il sistema di visione del robot elabora il campo operatorio in tempo reale, fornendo al chirurgo un feedback visivo istantaneo. Anche il minimo ritardo in questo ciclo di feedback potrebbe causare gravi errori, mettendo a rischio il paziente. Questo è un esempio perfetto del motivo per cui le inferenze in tempo reale sono fondamentali: non c'è spazio per la latenza.

Le inferenze IA nelle applicazioni del mondo reale dipendono da tre concetti chiave: motori di inferenza (il software o l'hardware che esegue in modo efficiente i modelli IA), latenza di inferenza (il ritardo tra input e output) e inferenza in tempo reale (la capacità del sistema IA di elaborare e reagire con un ritardo minimo).

In questo articolo analizzeremo questi concetti fondamentali e vedremo come i modelli di visione artificiale, come Ultralytics YOLO11, consentano di realizzare applicazioni basate su predizioni istantanee.

Che cos'è un'inferenza IA?#

Eseguire un'inferenza è il processo di analisi di nuovi dati mediante un modello IA addestrato per effettuare una predizione o risolvere un'attività. A differenza dell'addestramento, che consiste nell'insegnare a un modello elaborando grandi quantità di dati etichettati, l'inferenza si concentra sulla produzione rapida e accurata di risultati utilizzando un modello già addestrato.

Fig. 1 Capire che cosa sono le inferenze.

Ad esempio, nella conservazione della fauna selvatica, le fotocamere IA per il monitoraggio utilizzano modelli di visione artificiale per identificare e classificare gli animali in tempo reale. Quando una fotocamera rileva un movimento, il modello IA riconosce istantaneamente se si tratta di un cervo, di un predatore o persino di un bracconiere, aiutando i ricercatori a monitorare le popolazioni animali e a proteggere le specie a rischio senza intervento umano. Questa rapida identificazione rende possibile il monitoraggio in tempo reale e consente di reagire più velocemente alle potenziali minacce.

Capire i motori di inferenza#

Un modello di machine learning addestrato non è sempre pronto per la distribuzione nella sua forma grezza. Un motore di inferenza è uno strumento software o hardware specializzato, progettato per eseguire in modo efficiente i modelli di machine learning e ottimizzarli per la distribuzione nel mondo reale. Utilizza tecniche di ottimizzazione, come la compressione dei modelli, la quantizzazione e le trasformazioni dei grafi, per migliorare le prestazioni e ridurre il consumo di risorse, rendendo il modello distribuibile in diversi ambienti.

Il motore di inferenza si concentra principalmente sulla riduzione del sovraccarico computazionale e della latenza e sul miglioramento dell'efficienza, per consentire predizioni rapide e accurate. Una volta ottimizzato, il motore esegue il modello su nuovi dati, permettendogli di generare inferenze in tempo reale in modo efficiente. Questa ottimizzazione garantisce che i modelli IA possano funzionare senza problemi sia su server cloud ad alte prestazioni sia su dispositivi edge con risorse limitate, come smartphone, dispositivi IoT e sistemi embedded.

Problemi causati dalla latenza di inferenza#

La latenza di inferenza è il ritardo tra il momento in cui un sistema IA riceve i dati di input, come un'immagine proveniente da una fotocamera, e quello in cui produce un output, come il rilevamento di oggetti nell'immagine. Anche un piccolo ritardo può influire significativamente sulle prestazioni e sull'usabilità delle applicazioni IA in tempo reale.

La latenza di inferenza si verifica in tre fasi principali:

• Tempo di pre-elaborazione: il tempo necessario per preparare i dati di input prima di passarli al modello. Include il ridimensionamento delle immagini per adattarle alle dimensioni di input del modello, la normalizzazione dei valori dei pixel per una maggiore accuratezza e la conversione dei formati (ad esempio, da RGB a scala di grigi o da video a sequenze di fotogrammi).
• Tempo di calcolo: il tempo effettivo impiegato dal modello per eseguire l'inferenza. Include operazioni come i calcoli strato per strato nelle reti profonde, le moltiplicazioni di matrici, le convoluzioni e il trasferimento dei dati tra memoria e unità di elaborazione.
• Tempo di post-elaborazione: il tempo necessario per convertire gli output grezzi del modello in risultati significativi. Può includere il disegno dei riquadri di delimitazione nel rilevamento degli oggetti, il filtraggio dei falsi positivi nel riconoscimento delle immagini o l'applicazione di soglie nel rilevamento delle anomalie.

La latenza di inferenza è fondamentale nelle applicazioni in tempo reale. Ad esempio, nel rilevamento automatizzato dei difetti su una linea di assemblaggio, la visione artificiale può essere utilizzata per ispezionare i prodotti mentre avanzano sul nastro trasportatore.

Il sistema deve identificare e segnalare rapidamente i difetti prima che i prodotti passino alla fase successiva. Se il modello impiega troppo tempo per elaborare le immagini, gli articoli difettosi potrebbero non essere individuati in tempo, causando spreco di materiali, costose rilavorazioni o la consegna di prodotti difettosi ai clienti. Riducendo la latenza, i produttori possono migliorare il controllo qualità, aumentare l'efficienza e ridurre le perdite.

Come ridurre la latenza di inferenza#

Mantenere al minimo la latenza di inferenza è essenziale in molte applicazioni di visione artificiale. Per riuscirci si possono utilizzare diverse tecniche. Vediamo alcune delle tecniche più comuni per ridurre la latenza di inferenza.

Potatura del modello#

La potatura del modello semplifica una rete neurale rimuovendo le connessioni non necessarie (pesi), rendendola più piccola e veloce. Questo processo riduce il carico computazionale del modello e migliora la velocità senza compromettere eccessivamente l'accuratezza.

Mantenendo solo le connessioni più importanti, la potatura garantisce un'inferenza efficiente e prestazioni migliori, soprattutto sui dispositivi con potenza di elaborazione limitata. È ampiamente utilizzata in applicazioni in tempo reale come l'IA mobile, la robotica e l'edge computing per migliorare l'efficienza mantenendo l'affidabilità.

Fig. 2 Eliminazione delle connessioni meno efficaci mediante la potatura del modello.

Quantizzazione del modello#

La quantizzazione del modello è una tecnica che consente ai modelli IA di funzionare più velocemente e utilizzare meno memoria semplificando i numeri impiegati nei calcoli. Normalmente, questi modelli utilizzano numeri in virgola mobile a 32 bit, molto precisi ma bisognosi di una notevole potenza di elaborazione. La quantizzazione riduce questi numeri a interi a 8 bit, più facili da elaborare e meno ingombranti.

Fig. 3 Utilizzo della quantizzazione del modello per convertire i valori in virgola mobile in rappresentazioni intere.

Utilizzo di modelli efficienti#

La progettazione di un modello IA influisce notevolmente sulla rapidità con cui può effettuare predizioni. Modelli come Ultralytics YOLO11, progettati per un'inferenza efficiente, sono ideali per le applicazioni in cui la velocità di elaborazione è fondamentale.

Quando sviluppi una soluzione IA, è importante scegliere il modello giusto in base alle risorse disponibili e ai requisiti prestazionali. Se inizi con un modello troppo pesante, è più probabile che tu debba affrontare problemi come tempi di elaborazione lunghi, maggiore consumo energetico e difficoltà di distribuzione su dispositivi con risorse limitate. Un modello leggero garantisce prestazioni fluide, soprattutto nelle applicazioni in tempo reale ed edge.

Velocità e accuratezza: ottimizzare le inferenze in tempo reale#

Sebbene esistano diverse tecniche per ridurre la latenza, un aspetto fondamentale delle inferenze in tempo reale è trovare un equilibrio tra velocità e accuratezza. Rendere i modelli più veloci non è sufficiente: la velocità di inferenza deve essere ottimizzata senza compromettere l'accuratezza. Un sistema che produce predizioni rapide ma errate è inefficace. Per questo è essenziale eseguire test approfonditi, così da assicurarsi che i modelli funzionino bene nelle situazioni del mondo reale. Un sistema che sembra veloce durante i test ma fallisce nelle condizioni effettive non è davvero ottimizzato.

Applicazioni di IA per la visione che sfruttano le inferenze in tempo reale#

Vediamo ora alcune applicazioni del mondo reale in cui l'inferenza in tempo reale sta trasformando diversi settori, consentendo risposte istantanee agli input visivi.

Sistemi di casse automatiche nei negozi al dettaglio#

I modelli di visione artificiale come Ultralytics YOLO11 possono contribuire a migliorare i sistemi di casse automatiche, rendendo il riconoscimento degli articoli più rapido e accurato. Il supporto di YOLO11 per diverse attività di visione artificiale, come il rilevamento degli oggetti e la segmentazione delle istanze, consente di identificare i prodotti anche quando i codici a barre sono assenti o danneggiati. L'IA per la visione può ridurre la necessità di inserimenti manuali e velocizzare il processo di pagamento.

Oltre all'identificazione dei prodotti, la visione artificiale può essere integrata nei sistemi di casse automatiche per verificare i prezzi, prevenire le frodi e migliorare la comodità per i clienti. Le fotocamere basate sull'IA possono distinguere automaticamente tra prodotti simili e rilevare comportamenti sospetti alla cassa. Questo include l'identificazione delle "mancate scansioni", quando un cliente o un cassiere salta involontariamente un articolo, e dei tentativi di frode più deliberati, come la "sostituzione del prodotto", in cui un codice a barre più economico viene applicato su un articolo più costoso.

Fig. 4 L'IA può migliorare le casse automatiche.

Un ottimo esempio è Kroger, una grande catena di vendita al dettaglio statunitense che ha integrato la visione artificiale e l'IA nei propri sistemi di casse automatiche. Utilizzando l'analisi video in tempo reale, Kroger è riuscita a correggere automaticamente oltre il 75% degli errori alle casse, migliorando sia l'esperienza dei clienti sia le operazioni dei negozi.

Controllo qualità mediante la visione artificiale#

Ispezionare manualmente i prodotti per il controllo qualità può essere lento e non sempre accurato. Per questo sempre più produttori stanno passando a flussi di lavoro per l'ispezione visiva che utilizzano la visione artificiale per individuare prima i difetti nel processo produttivo.

Le fotocamere ad alta risoluzione e l'IA per la visione possono individuare piccoli difetti che gli esseri umani potrebbero non notare, mentre modelli come Ultralytics YOLO11 possono contribuire ai controlli qualità, allo smistamento e al conteggio in tempo reale, assicurando che solo i prodotti perfetti arrivino ai clienti. Automatizzare questo processo fa risparmiare tempo, riduce i costi e limita gli sprechi, rendendo la produzione più fluida ed efficiente.

Fig. 5 Un esempio di utilizzo di Ultralytics YOLO11 per contare i prodotti su una linea di assemblaggio.

Punti chiave#

L'inferenza in tempo reale aiuta i modelli IA a prendere decisioni istantanee, un aspetto fondamentale in molti settori. Che si tratti di un'auto a guida autonoma che evita un incidente, di un medico che analizza rapidamente scansioni mediche o di una fabbrica che rileva difetti nei prodotti, risposte IA rapide e accurate fanno una grande differenza.

Migliorando la velocità e l'efficienza dei modelli IA, possiamo creare sistemi più intelligenti e affidabili, capaci di funzionare senza problemi nelle situazioni del mondo reale. Con il progresso della tecnologia, le soluzioni IA in tempo reale continueranno a plasmare il futuro, rendendo i processi quotidiani più rapidi, sicuri ed efficienti.

Per saperne di più, visita il nostro repository GitHub e partecipa alla nostra community. Esplora le innovazioni in settori come l'IA nelle auto a guida autonoma e la visione artificiale nell'agricoltura nelle nostre pagine dedicate alle soluzioni. Scopri le nostre opzioni di licenza e dai vita ai tuoi progetti di IA per la visione.