Le inferenze in tempo reale nelle soluzioni di Vision AI stanno avendo un impatto

Tutti abbiamo dovuto fare i conti, prima o poi, con le frustrazioni causate da una connessione internet lenta. Immagina però quel ritardo in una situazione ad alto rischio, come un'auto a guida autonoma che deve reagire a un ostacolo o un medico che analizza un esame critico. Pochi secondi in più possono avere conseguenze gravi.

È qui che l'inferenza AI in tempo reale può fare la differenza. Elaborazione rapida e predizioni in tempo reale consentono alle soluzioni di computer vision di elaborare e reagire ai dati visivi all'istante. Queste decisioni in frazioni di secondo possono migliorare sicurezza, efficienza e comodità quotidiana.

Pensa, ad esempio, a un chirurgo che esegue un intervento delicato con l'aiuto di un robot. Ogni movimento è controllato tramite una connessione ad alta velocità e il sistema di visione del robot elabora il campo operatorio in tempo reale, fornendo al chirurgo un feedback visivo immediato. Anche il più piccolo ritardo in questo ciclo di feedback potrebbe portare a gravi errori, mettendo a rischio il paziente. Questo è un esempio perfetto del perché le inferenze in tempo reale sono cruciali; non c'è spazio per il ritardo.

Le inferenze AI nelle applicazioni del mondo reale dipendono da tre concetti chiave: motori di inferenza (il software o l'hardware che esegue in modo efficiente i modelli AI), latenza di inferenza (il ritardo tra input e output) e inferenza in tempo reale (la capacità del sistema AI di elaborare e reagire con un ritardo minimo).

In questo articolo esploreremo questi concetti fondamentali e come i modelli di computer vision come Ultralytics YOLO11 abilitino applicazioni che si affidano a predizioni istantanee.

Cos'è un'inferenza AI?#

Eseguire un'inferenza è il processo di analisi di nuovi dati utilizzando un modello AI addestrato per effettuare una previsione o risolvere un compito. A differenza dell'addestramento, che comporta l'istruzione di un modello elaborando enormi quantità di dati etichettati, l'inferenza si concentra sulla produzione di risultati rapidi e accurati utilizzando un modello già addestrato.

Fig 1. Comprensione di cosa siano le inferenze.

Ad esempio, nella conservazione della fauna selvatica, le fototrappole con AI camera utilizzano modelli di computer vision per identificare e classificare gli animali in tempo reale. Quando una fotocamera rileva un movimento, il modello AI riconosce istantaneamente se si tratta di un cervo, di un predatore o persino di un bracconiere, aiutando i ricercatori a tracciare le popolazioni animali e a proteggere le specie in via di estinzione senza intervento umano. Questa rapida identificazione rende possibili il monitoraggio in tempo reale e risposte più rapide a potenziali minacce.

Comprendere i motori di inferenza#

Un modello di machine learning addestrato non è sempre pronto per il deployment nella sua forma grezza. Un inference engine è uno strumento software o hardware specializzato progettato per eseguire in modo efficiente i modelli di machine learning e ottimizzarli per il deployment nel mondo reale. Esso utilizza optimization techniques come la compressione del modello, la quantizzazione e le trasformazioni di grafo per migliorare le prestazioni e ridurre il consumo di risorse, rendendo il modello distribuibile in vari ambienti.

Fondamentalmente, un motore di inferenza si concentra sulla riduzione del sovraccarico computazionale, sulla minimizzazione della latenza e sul miglioramento dell'efficienza per consentire previsioni rapide e accurate. Una volta ottimizzato, il motore esegue il modello su nuovi dati, consentendogli di generare inferenze in tempo reale in modo efficiente. Questa ottimizzazione garantisce che i modelli AI possano funzionare senza intoppi sia su server cloud ad alte prestazioni che su dispositivi edge con risorse limitate come smartphone, dispositivi IoT e sistemi integrati.

Problemi causati dalla latenza di inferenza#

Inference latency è il ritardo temporale tra il momento in cui un sistema AI riceve dati di input (come un'immagine da una fotocamera) e il momento in cui produce un output (come il rilevamento di oggetti nell'immagine). Anche un piccolo ritardo può influire significativamente sulle prestazioni e sull'usabilità delle applicazioni AI in tempo reale.

La latenza di inferenza si verifica in tre fasi chiave:

• Tempo di pre-elaborazione: Il tempo necessario per preparare i dati in input prima che vengano inseriti nel modello. Ciò include il ridimensionamento delle immagini per adattarle alle dimensioni di input del modello, la normalizzazione dei valori dei pixel per una maggiore precisione e la conversione dei formati (ad es. da RGB a scala di grigi o da video a sequenze di frame).
• Tempo di calcolo: Il tempo effettivo impiegato dal modello per eseguire l'inferenza. Ciò coinvolge operazioni come calcoli a livello di layer in reti profonde, moltiplicazioni di matrici, convoluzioni e trasferimento di dati tra memoria e unità di elaborazione.
• Tempo di post-elaborazione: Il tempo richiesto per convertire gli output grezzi del modello in risultati significativi. Ciò può includere il disegno di bounding box nel rilevamento di oggetti, il filtraggio di falsi positivi nel riconoscimento delle immagini o l'applicazione di soglie nel rilevamento di anomalie.

La latenza di inferenza è critica nelle applicazioni in tempo reale. Ad esempio, nel rilevamento automatizzato dei difetti su una linea di assemblaggio, la computer vision può essere utilizzata per ispezionare i prodotti mentre si muovono lungo il nastro trasportatore.

Il sistema deve identificare e segnalare rapidamente i difetti prima che i prodotti passino alla fase successiva. Se il modello impiega troppo tempo per elaborare le immagini, gli articoli difettosi potrebbero non essere rilevati in tempo, portando a sprechi di materiali, costose rilavorazioni o prodotti difettosi che raggiungono i clienti. Riducendo la latenza, i produttori possono migliorare il controllo qualità, aumentare l'efficienza e ridurre le perdite.

Come ridurre la latenza di inferenza#

Mantenere la latenza di inferenza al minimo è essenziale in molte applicazioni di computer vision. Possono essere utilizzate varie tecniche per raggiungere questo obiettivo. Discutiamo alcune delle tecniche più comuni utilizzate per ridurre la latenza di inferenza.

Potatura del modello (Model pruning)#

Model pruning semplifica una rete neurale rimuovendo connessioni non necessarie (pesi), rendendola più piccola e veloce. Questo processo riduce il carico computazionale del modello, migliorando la velocità senza compromettere troppo l'accuratezza.

Mantenendo solo le connessioni più importanti, la potatura garantisce un'inferenza efficiente e prestazioni migliori, specialmente su dispositivi con potenza di elaborazione limitata. È ampiamente utilizzata in applicazioni in tempo reale come AI mobile, robotica ed edge computing per migliorare l'efficienza mantenendo l'affidabilità.

Fig 2. Eliminazione delle connessioni meno efficaci tramite model pruning.

Quantizzazione del modello#

Model quantization è una tecnica che fa girare i modelli AI più velocemente e consumare meno memoria semplificando i numeri che usano per i calcoli. Normalmente, questi modelli lavorano con numeri in virgola mobile a 32-bit, che sono molto precisi ma richiedono molta potenza di calcolo. La quantizzazione riduce questi numeri a interi a 8-bit, che sono più facili da elaborare e occupano meno spazio.

Fig 3. Uso del model quantization per convertire i valori in virgola mobile in rappresentazioni intere.

Utilizzo di modelli efficienti#

Il design di un modello di IA ha un impatto notevole sulla velocità con cui riesce a fare previsioni. Modelli come Ultralytics YOLO11, progettati per un'inferenza efficiente, sono ideali per le applicazioni in cui la velocità di elaborazione è fondamentale.

Quando stai costruendo una soluzione AI, è importante scegliere il modello giusto in base alle risorse disponibili e alle esigenze di prestazioni. Se inizi con un modello troppo pesante, avrai maggiori probabilità di riscontrare problemi come tempi di elaborazione lenti, maggiore consumo energetico e difficoltà di distribuzione su dispositivi con risorse limitate. Un modello leggero garantisce prestazioni fluide, specialmente per applicazioni in tempo reale ed edge.

Velocità contro precisione: ottimizzazione delle inferenze in tempo reale#

Sebbene esistano varie tecniche per ridurre la latenza, una parte fondamentale delle real-time inferences è bilanciare velocità e accuratezza. Rendere i modelli più veloci non basta: la velocità di inferenza deve essere ottimizzata senza compromettere l'accuratezza. Un sistema che produce predizioni rapide ma errate è inefficace. Ecco perché un test approfondito è vitale per assicurarsi che i modelli funzionino bene in situazioni reali. Un sistema che sembra veloce durante i test ma fallisce in condizioni reali non è veramente ottimizzato.

Applicazioni di Vision AI che sfruttano le inferenze in tempo reale#

Successivamente, esaminiamo alcune applicazioni reali in cui l'inferenza in tempo reale sta trasformando i settori abilitando risposte istantanee agli input visivi.

Sistemi di cassa automatica nei punti vendita#

I modelli di computer vision come Ultralytics YOLO11 possono aiutare a migliorare i sistemi di self-checkout rendendo il riconoscimento degli articoli più rapido e accurato. Il supporto di YOLO11 per vari computer vision tasks come il rilevamento di oggetti e la segmentazione delle istanze consente di identificare i prodotti anche se i codici a barre sono mancanti o danneggiati. La Vision AI può ridurre la necessità di inserimento manuale e accelerare il processo di cassa.

Oltre all'identificazione del prodotto, la computer vision può essere integrata nei sistemi di cassa automatica per verificare i prezzi, prevenire le frodi e migliorare la comodità del cliente. Le fotocamere basate su AI possono distinguere automaticamente tra prodotti simili e rilevare comportamenti sospetti al momento del pagamento. Ciò include l'identificazione di "mancate scansioni", dove un cliente o un cassiere salta inavvertitamente un articolo, e tentativi di frode più deliberati, come lo "scambio di prodotto", dove un codice a barre più economico viene posizionato sopra un articolo più costoso.

Fig 4. L'AI può migliorare le casse automatiche.

Un ottimo esempio di ciò è Kroger, un importante rivenditore statunitense, che ha integrato computer vision e AI nei suoi sistemi di cassa automatica. Utilizzando l'analisi video in tempo reale, Kroger è stata in grado di correggere automaticamente oltre il 75% degli errori di cassa, migliorando sia l'esperienza del cliente che le operazioni in negozio.

Controllo qualità tramite computer vision#

Ispezionare manualmente i prodotti per il controllo qualità può essere lento e non sempre accurato. Ecco perché un numero maggiore di produttori sta passando a flussi di lavoro di ispezione visiva che utilizzano la computer vision per intercettare i difetti prima nel processo di produzione.

Telecamere ad alta risoluzione e Vision AI possono individuare piccoli difetti che le persone potrebbero non notare, e modelli come Ultralytics YOLO11 possono aiutare con controlli di qualità in tempo reale, smistamento e conteggio per assicurarsi che solo i prodotti perfetti arrivino ai clienti. Automatizzare questo processo fa risparmiare tempo, riduce i costi e diminuisce gli sprechi, rendendo la produzione più fluida ed efficiente.

Fig 5. Un esempio di utilizzo di Ultralytics YOLO11 per contare i prodotti su una catena di montaggio.

Punti chiave#

L'inferenza in tempo reale aiuta i modelli AI a prendere decisioni istantanee, il che è fondamentale in molti settori. Che si tratti di un'auto a guida autonoma che evita un incidente, di un medico che analizza rapidamente esami medici o di una fabbrica che rileva difetti nei prodotti, risposte AI rapide e precise fanno una grande differenza.

Migliorando la velocità e l'efficienza dei modelli AI, possiamo creare sistemi più intelligenti e affidabili che funzionano perfettamente in situazioni reali. Con l'avanzamento della tecnologia, le soluzioni AI in tempo reale continueranno a plasmare il futuro, rendendo i processi quotidiani più veloci, sicuri ed efficienti.

Per saperne di più, visita il nostro GitHub repository e interagisci con la nostra community. Esplora le innovazioni in settori come AI in self-driving cars e computer vision in agriculture nelle nostre pagine delle soluzioni. Scopri le nostre opzioni di licensing e dai vita ai tuoi progetti di vision AI.