L’AI generativa sta cambiando il futuro della computer vision

L’AI generativa è un ramo dell’intelligenza artificiale (AI) che crea nuovi contenuti, come immagini, testi o audio, apprendendo schemi dai dati esistenti. Grazie ai recenti progressi, ora può essere utilizzata per produrre contenuti estremamente realistici, che spesso imitano la creatività umana.

Tuttavia, l'impatto dell'AI generativa va oltre la semplice creazione di contenuti. Con la continua evoluzione dei modelli di computer vision in tempo reale, come i modelli Ultralytics YOLO, l'AI generativa sta ridefinendo anche il modo in cui i dati visivi vengono elaborati e arricchiti, aprendo la strada ad applicazioni innovative in scenari reali.

Questo nuovo cambiamento tecnologico è stato un interessante argomento di discussione a YOLO Vision 2024 (YV24), l’evento annuale ibrido organizzato da Ultralytics. YV24 ha riunito appassionati di AI e leader del settore per discutere gli ultimi progressi nella visione artificiale. L’evento si è concentrato su innovazione, efficienza e futuro delle soluzioni AI in tempo reale.

Uno dei momenti salienti dell'evento è stata una tavola rotonda su YOLO nell'era dell'AI generativa. Tra i partecipanti c'erano Glenn Jocher, fondatore e CEO di Ultralytics, Jing Qiu, Senior Machine Learning Engineer presso Ultralytics, e Ao Wang della Tsinghua University. Hanno esplorato l'influenza dell'AI generativa sulla computer vision e le sfide legate alla creazione di modelli di AI pratici.

In questo articolo ripercorreremo i principali spunti della loro discussione e analizzeremo più da vicino come l'AI generativa stia trasformando la Vision AI.

Sviluppo dei modelli Ultralytics YOLO#

Oltre a Glenn Jocher, molti ingegneri competenti hanno svolto un ruolo fondamentale nello sviluppo dei modelli Ultralytics YOLO. Uno di loro, Jing Qiu, ha raccontato il suo inaspettato esordio con YOLO. Ha spiegato che la sua passione per l'AI è nata durante gli anni universitari. Ha dedicato molto tempo a esplorare e imparare in questo campo. Jing Qiu ha ricordato come è entrato in contatto con Glenn Jocher su GitHub e ha iniziato a partecipare a diversi progetti di AI.

Riprendendo quanto detto da Jing Qiu, Glenn Jocher ha descritto GitHub come "un modo incredibile per condividere: persone che non si sono mai incontrate si uniscono per aiutarsi a vicenda e contribuire al lavoro degli altri. È una community fantastica e un modo davvero ottimo per iniziare a occuparsi di AI".

Fig. 1. Glenn Jocher e Jing Qiu parlano sul palco di YV24.

L'interesse di Jing Qiu per l'AI e il suo lavoro su Ultralytics YOLOv5 hanno contribuito a perfezionare il modello. In seguito, ha svolto un ruolo chiave nello sviluppo di Ultralytics YOLOv8, che ha introdotto ulteriori miglioramenti. Ha descritto il percorso come un'avventura incredibile. Oggi Jing Qiu continua a migliorare e sviluppare modelli come Ultralytics YOLO11.

YOLOv10: ottimizzato per le prestazioni nel mondo reale#

Collegato da remoto dalla Cina alla tavola rotonda, Ao Wang si è presentato come dottorando. Inizialmente ha studiato ingegneria del software, ma la passione per l'AI lo ha portato a orientarsi verso la computer vision e il deep learning.

Ha incontrato per la prima volta il famoso modello YOLO mentre sperimentava diverse tecniche e modelli di AI. È rimasto colpito dalla velocità e dall’accuratezza del modello, che lo hanno spinto ad approfondire le attività di visione artificiale, come il rilevamento degli oggetti. Di recente, Ao Wang ha contribuito a YOLOv10, una versione recente del modello YOLO. La sua ricerca si è concentrata sull’ottimizzazione del modello per renderlo più veloce e accurato.

La differenza fondamentale tra AI generativa e Vision AI#

La tavola rotonda è poi passata all'AI generativa e Jing Qiu ha fatto notare che l'AI generativa e la Vision AI hanno scopi molto diversi. L'AI generativa crea o genera elementi come testo, immagini e video, mentre la Vision AI analizza ciò che già esiste, principalmente immagini.

Glenn Jocher ha sottolineato che anche le dimensioni costituiscono una differenza importante. I modelli di AI generativa sono enormi e spesso contengono miliardi di parametri, cioè impostazioni interne che aiutano il modello ad apprendere dai dati. I modelli di computer vision sono molto più piccoli. Ha detto: “Il modello YOLO più piccolo che abbiamo è circa mille volte più piccolo del modello LLM [Large Language Model] più piccolo. Parliamo di 3 milioni di parametri contro tre miliardi”.

Fig. 2. La tavola rotonda sull'AI generativa e la Vision AI a YV24.

Jing Qiu ha aggiunto che anche i processi di addestramento e distribuzione dell'AI generativa e della computer vision sono molto diversi. L'AI generativa richiede server potenti e di grandi dimensioni per funzionare. I modelli come YOLO, invece, sono progettati per essere efficienti e possono essere addestrati e distribuiti su hardware standard. Questo rende i modelli Ultralytics YOLO più pratici per l'uso nel mondo reale.

Nonostante le differenze, questi due campi stanno iniziando a intrecciarsi. Glenn Jocher ha spiegato che l'AI generativa sta apportando nuovi progressi alla Vision AI, rendendo i modelli più intelligenti ed efficienti.

L'impatto dell'AI generativa sulla computer vision#

L'AI generativa ha fatto rapidi progressi e queste scoperte stanno influenzando molti altri ambiti dell'intelligenza artificiale, tra cui la computer vision. Vediamo ora alcuni spunti interessanti emersi dalla tavola rotonda su questo tema.

I progressi hardware rendono possibili le innovazioni nell'AI#

All’inizio del panel, Glenn Jocher ha spiegato che le idee alla base del machine learning esistono da molto tempo, ma i computer non erano abbastanza potenti per renderle operative. Per trasformare in realtà le idee di AI serviva un hardware più potente.

La diffusione delle GPU (unità di elaborazione grafica) negli ultimi 20 anni, con le loro capacità di elaborazione parallela, ha cambiato tutto. Ha reso l'addestramento dei modelli di AI molto più rapido ed efficiente, consentendo al deep learning di evolversi a ritmo sostenuto.

Oggi, i chip per l'AI come le TPU (unità di elaborazione tensoriale) e le GPU ottimizzate consumano meno energia pur gestendo modelli più grandi e complessi. Questo ha reso l'AI più accessibile e utile nelle applicazioni del mondo reale.

Con ogni nuovo miglioramento hardware, le applicazioni di AI generativa e computer vision diventano più potenti. Questi progressi rendono l'AI in tempo reale più veloce ed efficiente, pronta per essere usata in un numero maggiore di settori.

Come l'AI generativa sta influenzando i modelli di rilevamento degli oggetti#

Alla domanda su come l'AI generativa stia influenzando la computer vision, Jing Qiu ha detto che i Transformer, modelli che aiutano l'AI a concentrarsi sulle parti più importanti di un'immagine, hanno cambiato il modo in cui l'AI comprende ed elabora le immagini. Il primo grande passo è stato DETR (Detection Transformer), che ha applicato questo nuovo approccio al rilevamento degli oggetti. Ha migliorato l'accuratezza, ma presentava problemi di prestazioni che in alcuni casi lo rendevano più lento.

Per risolvere il problema, i ricercatori hanno creato modelli ibridi come RT-DETR. Questi modelli combinano reti neurali convoluzionali (CNN, modelli di deep learning che apprendono ed estraggono automaticamente le caratteristiche dalle immagini) e Transformer, bilanciando velocità e accuratezza. Questo approccio sfrutta i vantaggi dei Transformer e, al contempo, accelera il rilevamento degli oggetti.

È interessante notare che YOLOv10 utilizza livelli di attenzione basati sui Transformer (componenti del modello che funzionano come un riflettore, mettendo in evidenza le aree più importanti di un’immagine e ignorando i dettagli meno rilevanti) per migliorare le proprie prestazioni.

Ao Wang ha parlato anche di come l'AI generativa stia cambiando il modo in cui vengono addestrati i modelli. Tecniche come il masked image modeling aiutano l'AI ad apprendere dalle immagini in modo più efficiente, riducendo la necessità di dataset di grandi dimensioni etichettati manualmente. Questo rende l'addestramento dei modelli di computer vision più rapido e meno dispendioso in termini di risorse.

Il futuro dell'AI generativa e della Vision AI#

Un'altra idea chiave discussa durante la tavola rotonda riguardava la possibile integrazione tra AI generativa e Vision AI per creare modelli più capaci. Glenn Jocher ha spiegato che, sebbene questi due approcci abbiano punti di forza diversi, combinarli potrebbe aprire nuove possibilità.

Ad esempio, i modelli di AI visiva come YOLO spesso suddividono un’immagine in una griglia per identificare gli oggetti. Questo metodo basato su griglie potrebbe aiutare i modelli linguistici a migliorare sia la capacità di individuare i dettagli sia quella di descriverli: una sfida che molti modelli linguistici affrontano ancora oggi. In sostanza, combinare queste tecniche potrebbe portare a sistemi in grado di rilevare con precisione e spiegare chiaramente ciò che vedono. Alcuni modelli visione-linguaggio sono già in grado di fare entrambe le cose e la classifica VLM monitora la loro capacità di rilevare gli oggetti.

Fig. 3. Il futuro dell'AI generativa e della Vision AI. Immagine dell'autore.

Punti chiave#

L’AI generativa e la visione artificiale progrediscono insieme. Oltre a creare immagini e video, l’AI generativa migliora anche l’analisi di immagini e video, apportando nuove idee che potrebbero rendere i modelli di AI visiva più accurati ed efficienti.

Durante questo intervento del panel YV24, Glenn Jocher, Jing Qiu e Ao Wang hanno condiviso le loro idee su come queste tecnologie stiano plasmando il futuro. Grazie a un hardware AI migliore, l’AI generativa e l’AI visiva continueranno a evolversi, dando vita a innovazioni ancora più significative. Questi due campi collaborano per creare un’AI più intelligente, veloce e utile nella vita di tutti i giorni.

Unisciti alla nostra community ed esplora il nostro repository GitHub per saperne di più sulla Vision AI. Scopri le nostre opzioni di licenza per dare il via ai tuoi progetti di computer vision. Ti interessano innovazioni come l'AI nella produzione o la computer vision nella guida autonoma? Visita le nostre pagine dedicate alle soluzioni per saperne di più.