Promuovere la visione artificiale open source con i Transformer di Hugging Face

Continuiamo a esplorare i momenti salienti dell'evento YOLO VISION 2023 (YV23) e conosciamo Merve Noyan, Developer Advocacy Engineer presso Hugging Face, la principale piattaforma NLP con modelli preaddestrati per sviluppare in modo efficiente applicazioni linguistiche. Nel suo intervento, Merve ha condiviso alcune riflessioni sul mondo della visione artificiale open source.

Ecco un riepilogo del suo intervento sul transfer learning, sui Transformer e sull'ecosistema open source della visione artificiale.

Il transfer learning spiegato: un breve riepilogo#

Merve ha esordito con una breve introduzione al transfer learning, una tecnica che trasferisce conoscenze da una rete neurale a un'altra. Immagina di addestrare un modello sulle caratteristiche universali dei primi livelli, come bordi e angoli, e poi di perfezionarlo per attività specifiche. Questa è l'essenza del transfer learning, che riduce la dipendenza dai dati e migliora l'accuratezza.

Merve ha illustrato le classiche architetture di convoluzione, come ResNet e Inception, introducendo così i modelli Transformer presentati in seguito.

Ecco i Transformer: un enigma svelato#

Cosa rende speciali i Transformer? Merve li ha paragonati a un indovinello, mostrando in cosa si differenziano dai modelli tradizionali basati sulle convoluzioni. Uno dei loro punti di forza è la capacità di apprendere con supervisione autonoma, acquisendo caratteristiche senza bisogno di dati etichettati. Tra i modelli basati su Transformer che ha presentato c'erano Vision Transformer, Image Transformer efficiente in termini di dati (DeiT), CLIP e Swin Transformer.

Ultralytics supporta anche un modello Transformer progettato per il rilevamento degli oggetti, RT-DETR. Questo modello è dotato di un efficace encoder ibrido, della selezione delle query basata su IoU e di una velocità di inferenza regolabile. In particolare, segue lo schema già noto degli altri modelli Ultralytics YOLOv8, offrendo opzioni per la predizione, l'addestramento, la validazione e l'esportazione.

Tutto ciò che ti serve, in un unico posto#

Merve ha poi illustrato le offerte di Hugging Face, con oltre 8.000 modelli per le attività classiche di visione artificiale e 10.000 modelli per le applicazioni multimodali. Hugging Face Hub ospita più di 3.000 dataset, rivelandosi una risorsa utile sia per gli sviluppatori sia per gli appassionati. Merve ha sottolineato la semplicità d'uso, resa possibile dall'API coerente di Hugging Face, che offre modelli pronti all'uso per diversi casi d'uso.

Sperimentare con Hugging Face#

L'intervento è proseguito con dimostrazioni pratiche che mostravano quanto sia facile lavorare con i modelli. Dalla creazione di istanze di modelli e processori al perfezionamento con l'API Trainer, Merve ha chiarito che la libreria Hugging Face Transformers è progettata pensando agli sviluppatori. Ha anche presentato l'API Pipeline, una delle sue preferite, che semplifica il flusso di lavoro per gli utenti.

Fig. 1. Merve Noyan presenta il suo intervento a YV23 presso il Google for Startups Campus di Madrid.

Uno sguardo alle applicazioni#

Merve ha concluso l'intervento mostrando alcune applicazioni, tra cui un modello per rispondere a domande visive, BLIP per generare didascalie per le immagini e il Segment Anything Model per la segmentazione delle immagini. L'API Pipeline dell'ecosistema Hugging Face è stata protagonista, rendendo semplicissimo usare i modelli senza addentrarsi negli aspetti tecnici.

La ciliegina sulla torta è stata la dimostrazione di Merve su come creare illusioni ottiche con un modello di diffusione: un'esperienza affascinante che aggiunge un tocco divertente al mondo dell'IA.

In breve!#

In conclusione, l'intervento di Merve ci ha ispirato a esplorare le possibilità della visione artificiale open source. Hugging Face ha reso l'AI più accessibile e divertente, aiutando gli sviluppatori a mettere in pratica le proprie idee. Brindiamo al futuro della community open source e alle innovazioni che porterà!

Guarda l'intero intervento di Hugging Face sulla computer vision!