Le inferenze in tempo reale nelle soluzioni di Vision AI stanno avendo un impatto
Scopri perché le inferenze in tempo reale nella computer vision sono importanti per una serie di applicazioni ed esplora il loro ruolo nel consentire un processo decisionale immediato.
Tutti abbiamo dovuto fare i conti, prima o poi, con le frustrazioni causate da una connessione internet lenta. Immagina però quel ritardo in una situazione ad alto rischio, come un'auto a guida autonoma che deve reagire a un ostacolo o un medico che analizza un esame critico. Pochi secondi in più possono avere conseguenze gravi.
È qui che l'inferenza AI in tempo reale può fare la differenza. L'elaborazione rapida e le previsioni in tempo reale permettono alle soluzioni di computer vision di elaborare e reagire ai dati visivi istantaneamente. Queste decisioni prese in una frazione di secondo possono migliorare la sicurezza, l'efficienza e la comodità quotidiana.
Pensa, ad esempio, a un chirurgo che esegue un intervento delicato con l'aiuto di un robot. Ogni movimento è controllato tramite una connessione ad alta velocità e il sistema di visione del robot elabora il campo operatorio in tempo reale, fornendo al chirurgo un feedback visivo immediato. Anche il più piccolo ritardo in questo ciclo di feedback potrebbe portare a gravi errori, mettendo a rischio il paziente. Questo è un esempio perfetto del perché le inferenze in tempo reale sono cruciali; non c'è spazio per il ritardo.
Le inferenze AI nelle applicazioni del mondo reale dipendono da tre concetti chiave: motori di inferenza (il software o l'hardware che esegue in modo efficiente i modelli AI), latenza di inferenza (il ritardo tra input e output) e inferenza in tempo reale (la capacità del sistema AI di elaborare e reagire con un ritardo minimo).
In questo articolo, esploreremo questi concetti fondamentali e come i modelli di computer vision come Ultralytics YOLO11 abilitino applicazioni che si basano su previsioni istantanee.
Link to this sectionCos'è un'inferenza AI?#
Eseguire un'inferenza è il processo di analisi di nuovi dati utilizzando un modello AI addestrato per effettuare una previsione o risolvere un compito. A differenza dell'addestramento, che comporta l'istruzione di un modello elaborando enormi quantità di dati etichettati, l'inferenza si concentra sulla produzione di risultati rapidi e accurati utilizzando un modello già addestrato.
Fig 1. Comprendere cosa sono le inferenze.
Ad esempio, nella conservazione della fauna selvatica, le AI camera utilizzano modelli di computer vision per identificare e classificare gli animali in tempo reale. Quando una fotocamera rileva un movimento, il modello AI riconosce istantaneamente se si tratta di un cervo, un predatore o persino un bracconiere, aiutando i ricercatori a monitorare le popolazioni animali e proteggere le specie in via di estinzione senza intervento umano. Questa rapida identificazione rende possibile il monitoraggio in tempo reale e risposte più veloci a potenziali minacce.
Link to this sectionComprendere i motori di inferenza#
Un modello di machine learning addestrato non è sempre pronto per la distribuzione nella sua forma grezza. Un inference engine è uno strumento software o hardware specializzato progettato per eseguire in modo efficiente modelli di machine learning e ottimizzarli per l'implementazione nel mondo reale. Utilizza tecniche di ottimizzazione come la compressione del modello, la quantizzazione e le trasformazioni del grafo per migliorare le prestazioni e ridurre il consumo di risorse, rendendo il modello distribuibile in vari ambienti.
Fondamentalmente, un motore di inferenza si concentra sulla riduzione del sovraccarico computazionale, sulla minimizzazione della latenza e sul miglioramento dell'efficienza per consentire previsioni rapide e accurate. Una volta ottimizzato, il motore esegue il modello su nuovi dati, consentendogli di generare inferenze in tempo reale in modo efficiente. Questa ottimizzazione garantisce che i modelli AI possano funzionare senza intoppi sia su server cloud ad alte prestazioni che su dispositivi edge con risorse limitate come smartphone, dispositivi IoT e sistemi integrati.
Link to this sectionProblemi causati dalla latenza di inferenza#
La Inference latency è il ritardo temporale tra il momento in cui un sistema AI riceve dati in input (come un'immagine da una fotocamera) e quello in cui produce un output (come il rilevamento di oggetti nell'immagine). Anche un piccolo ritardo può influire significativamente sulle prestazioni e sull'usabilità delle applicazioni AI in tempo reale.
La latenza di inferenza si verifica in tre fasi chiave:
- Tempo di pre-elaborazione: Il tempo necessario per preparare i dati in input prima che vengano inseriti nel modello. Ciò include il ridimensionamento delle immagini per adattarle alle dimensioni di input del modello, la normalizzazione dei valori dei pixel per una maggiore precisione e la conversione dei formati (ad es. da RGB a scala di grigi o da video a sequenze di frame).
- Tempo di calcolo: Il tempo effettivo impiegato dal modello per eseguire l'inferenza. Ciò coinvolge operazioni come calcoli a livello di layer in reti profonde, moltiplicazioni di matrici, convoluzioni e trasferimento di dati tra memoria e unità di elaborazione.
- Tempo di post-elaborazione: Il tempo richiesto per convertire gli output grezzi del modello in risultati significativi. Ciò può includere il disegno di bounding box nel rilevamento di oggetti, il filtraggio di falsi positivi nel riconoscimento delle immagini o l'applicazione di soglie nel rilevamento di anomalie.
La latenza di inferenza è critica nelle applicazioni in tempo reale. Ad esempio, nel rilevamento automatizzato dei difetti su una linea di assemblaggio, la computer vision può essere utilizzata per ispezionare i prodotti mentre si muovono lungo il nastro trasportatore.
Il sistema deve identificare e segnalare rapidamente i difetti prima che i prodotti passino alla fase successiva. Se il modello impiega troppo tempo per elaborare le immagini, gli articoli difettosi potrebbero non essere rilevati in tempo, portando a sprechi di materiali, costose rilavorazioni o prodotti difettosi che raggiungono i clienti. Riducendo la latenza, i produttori possono migliorare il controllo qualità, aumentare l'efficienza e ridurre le perdite.
Link to this sectionCome ridurre la latenza di inferenza#
Mantenere la latenza di inferenza al minimo è essenziale in molte applicazioni di computer vision. Possono essere utilizzate varie tecniche per raggiungere questo obiettivo. Discutiamo alcune delle tecniche più comuni utilizzate per ridurre la latenza di inferenza.
Link to this sectionPotatura del modello (Model pruning)#
Il Model pruning semplifica una rete neurale rimuovendo connessioni (pesi) non necessarie, rendendola più piccola e veloce. Questo processo riduce il carico computazionale del modello, migliorando la velocità senza influire eccessivamente sulla precisione.
Mantenendo solo le connessioni più importanti, la potatura garantisce un'inferenza efficiente e prestazioni migliori, specialmente su dispositivi con potenza di elaborazione limitata. È ampiamente utilizzata in applicazioni in tempo reale come AI mobile, robotica ed edge computing per migliorare l'efficienza mantenendo l'affidabilità.
Fig 2. Eliminazione delle connessioni meno efficaci tramite potatura del modello.
Link to this sectionQuantizzazione del modello#
La Model quantization è una tecnica che rende i modelli AI più veloci e meno avidi di memoria semplificando i numeri utilizzati per i calcoli. Normalmente, questi modelli funzionano con numeri in virgola mobile a 32 bit, che sono molto precisi ma richiedono molta potenza di elaborazione. La quantizzazione riduce questi numeri a interi a 8 bit, che sono più facili da elaborare e occupano meno spazio.
Fig 3. Utilizzo della quantizzazione del modello per convertire i valori in virgola mobile in rappresentazioni intere.
Link to this sectionUtilizzo di modelli efficienti#
Il design di un modello AI ha un impatto notevole sulla velocità con cui può effettuare previsioni. Modelli come YOLO11, costruiti per un'inferenza efficiente, sono ideali per le applicazioni in cui la velocità di elaborazione è fondamentale.
Quando stai costruendo una soluzione AI, è importante scegliere il modello giusto in base alle risorse disponibili e alle esigenze di prestazioni. Se inizi con un modello troppo pesante, avrai maggiori probabilità di riscontrare problemi come tempi di elaborazione lenti, maggiore consumo energetico e difficoltà di distribuzione su dispositivi con risorse limitate. Un modello leggero garantisce prestazioni fluide, specialmente per applicazioni in tempo reale ed edge.
Link to this sectionVelocità contro precisione: ottimizzazione delle inferenze in tempo reale#
Sebbene esistano varie tecniche per ridurre la latenza, una parte fondamentale delle real-time inferences è bilanciare velocità e precisione. Rendere i modelli più veloci non basta: la velocità di inferenza deve essere ottimizzata senza compromettere la precisione. Un sistema che produce previsioni rapide ma errate è inefficace. Ecco perché test approfonditi sono vitali per assicurarsi che i modelli funzionino bene in situazioni reali. Un sistema che sembra veloce durante i test ma fallisce in condizioni reali non è realmente ottimizzato.
Link to this sectionApplicazioni di Vision AI che sfruttano le inferenze in tempo reale#
Successivamente, esaminiamo alcune applicazioni reali in cui l'inferenza in tempo reale sta trasformando i settori abilitando risposte istantanee agli input visivi.
Link to this sectionSistemi di cassa automatica nei punti vendita#
Modelli di computer vision come YOLO11 possono aiutare a migliorare i sistemi di cassa automatica rendendo il riconoscimento degli articoli più veloce e preciso. Il supporto di YOLO11 per vari computer vision tasks come il rilevamento di oggetti e la segmentazione di istanze rende possibile identificare i prodotti anche se i codici a barre mancano o sono danneggiati. La Vision AI può ridurre la necessità di input manuale e velocizzare il processo di pagamento.
Oltre all'identificazione del prodotto, la computer vision può essere integrata nei sistemi di cassa automatica per verificare i prezzi, prevenire le frodi e migliorare la comodità del cliente. Le fotocamere basate su AI possono distinguere automaticamente tra prodotti simili e rilevare comportamenti sospetti al momento del pagamento. Ciò include l'identificazione di "mancate scansioni", dove un cliente o un cassiere salta inavvertitamente un articolo, e tentativi di frode più deliberati, come lo "scambio di prodotto", dove un codice a barre più economico viene posizionato sopra un articolo più costoso.
Fig 4. L'AI può potenziare le casse automatiche.
Un ottimo esempio di questo è Kroger, un importante rivenditore statunitense, che ha integrato computer vision e AI nei suoi sistemi di cassa automatica. Utilizzando l'analisi video in tempo reale, Kroger è stata in grado di correggere automaticamente oltre il 75% degli errori di cassa, migliorando sia l'esperienza del cliente che le operazioni del negozio.
Link to this sectionControllo qualità tramite computer vision#
Ispezionare i prodotti manualmente per il controllo qualità può essere lento e non sempre accurato. Ecco perché sempre più produttori stanno passando a flussi di lavoro di ispezione visiva che utilizzano la computer vision per rilevare i difetti più precocemente nel processo produttivo.
Fotocamere ad alta risoluzione e Vision AI possono individuare piccoli difetti che l'occhio umano potrebbe perdere, e modelli come YOLO11 possono aiutare con controlli di qualità in tempo reale, smistamento e conteggio per assicurarsi che solo prodotti perfetti raggiungano i clienti. Automatizzare questo processo fa risparmiare tempo, riduce i costi e diminuisce gli sprechi, rendendo la produzione più fluida ed efficiente.
Fig 5. Un esempio di utilizzo di YOLO11 per contare i prodotti su una linea di assemblaggio.
Link to this sectionPunti chiave#
L'inferenza in tempo reale aiuta i modelli AI a prendere decisioni istantanee, il che è fondamentale in molti settori. Che si tratti di un'auto a guida autonoma che evita un incidente, di un medico che analizza rapidamente esami medici o di una fabbrica che rileva difetti nei prodotti, risposte AI rapide e precise fanno una grande differenza.
Migliorando la velocità e l'efficienza dei modelli AI, possiamo creare sistemi più intelligenti e affidabili che funzionano perfettamente in situazioni reali. Con l'avanzamento della tecnologia, le soluzioni AI in tempo reale continueranno a plasmare il futuro, rendendo i processi quotidiani più veloci, sicuri ed efficienti.
Per saperne di più, visita il nostro GitHub repository e interagisci con la nostra community. Esplora le innovazioni in settori come AI in self-driving cars e computer vision in agriculture nelle nostre pagine delle soluzioni. Dai un'occhiata alle nostre opzioni di licenza e dai vita ai tuoi progetti di vision AI.
