Potenziare i progetti di CV con gli strumenti open-source di Hugging Face

Scegliere gli algoritmi giusti è solo una parte della costruzione di soluzioni di computer vision di grande impatto. Gli ingegneri AI lavorano spesso con grandi dataset, ottimizzano i modelli per compiti specifici e affinano i sistemi AI per le prestazioni nel mondo reale. Man mano che le applicazioni AI vengono adottate più rapidamente, cresce anche il bisogno di strumenti che semplifichino questi processi.

A YOLO Vision 2024 (YV24), l'evento ibrido annuale organizzato da Ultralytics, esperti di intelligenza artificiale e appassionati di tecnologia si sono riuniti per esplorare le ultime innovazioni nella computer vision. L'evento ha stimolato discussioni su vari argomenti, come i modi per accelerare lo sviluppo di applicazioni di intelligenza artificiale.

Un momento chiave dell'evento è stato il keynote su Hugging Face, una piattaforma di intelligenza artificiale open-source che semplifica l'addestramento, l'ottimizzazione e il deployment dei modelli. Pavel Iakubovskii, Machine Learning Engineer presso Hugging Face, ha condiviso come i suoi strumenti migliorino i flussi di lavoro per le attività di computer vision come il rilevamento di oggetti nelle immagini, la categorizzazione delle immagini in diversi gruppi e l'effettuazione di previsioni senza un addestramento preliminare su esempi specifici (zero-shot learning).

Hugging Face Hub ospita e fornisce accesso a vari modelli di intelligenza artificiale e di computer vision come Ultralytics YOLO11. In questo articolo, riepilogheremo i punti chiave del intervento di Pavel e vedremo come gli sviluppatori possono utilizzare gli strumenti open-source di Hugging Face per creare e distribuire modelli di intelligenza artificiale rapidamente.

Fig 1. Pavel sul palco allo YV24.

Hugging Face Hub supporta uno sviluppo AI più rapido#

Pavel ha iniziato il suo discorso introducendo Hugging Face come una piattaforma AI open-source che offre modelli pre-addestrati per una varietà di applicazioni. Questi modelli sono progettati per vari rami dell'AI, inclusi l'elaborazione del linguaggio naturale (NLP), la computer vision e l'AI multimodale, consentendo ai sistemi di elaborare diversi tipi di dati, come testo, immagini e audio.

Pavel ha menzionato che Hugging Face Hub ha ormai ospitato oltre 1 milione di modelli e che gli sviluppatori possono trovare facilmente i modelli adatti ai loro progetti specifici. Hugging Face mira a semplificare lo sviluppo AI offrendo strumenti per l'addestramento, l'ottimizzazione e il deployment dei modelli. Quando gli sviluppatori possono sperimentare con modelli diversi, si semplifica il processo di integrazione dell'AI nelle applicazioni del mondo reale.

Sebbene Hugging Face fosse inizialmente nota per l'NLP, da allora si è espansa nella computer vision e nell'intelligenza artificiale multimodale, consentendo agli sviluppatori di affrontare una gamma più ampia di attività di intelligenza artificiale. Ha anche una forte community in cui gli sviluppatori possono collaborare, condividere approfondimenti e ottenere supporto tramite forum, Discord e GitHub.

Esplorare i modelli Hugging Face per applicazioni di computer vision#

Entrando più nel dettaglio, Pavel ha spiegato come gli strumenti di Hugging Face rendano più facile costruire applicazioni di computer vision. Gli sviluppatori possono usarli per compiti come la classificazione delle immagini, il rilevamento di oggetti e le applicazioni di visione-linguaggio.

Ha anche sottolineato che molte di queste attività di computer vision possono essere gestite con modelli pre-addestrati disponibili su Hugging Face Hub, risparmiando tempo riducendo la necessità di partire da zero con l'addestramento. In effetti, Hugging Face offre oltre 13.000 modelli pre-addestrati per attività di classificazione di immagini, inclusi quelli per la classificazione di cibi, animali domestici e il rilevamento delle emozioni.

Sottolineando l'accessibilità di questi modelli, ha affermato: "Probabilmente non hai nemmeno bisogno di addestrare un modello per il tuo progetto; potresti trovarne uno sull'Hub che è già stato addestrato da qualcuno della community."

Modelli Hugging Face per il rilevamento di oggetti#

Giving another example, Pavel elaborated on how Hugging Face can help with object detection, a key function in computer vision that is used to identify and locate objects within images. Even with limited labeled data, pre-trained models available on the Hugging Face Hub can make object detection more efficient.

Ha anche fornito una rapida panoramica di diversi modelli costruiti per questo compito che puoi trovare su Hugging Face:

• Modelli di rilevamento oggetti in tempo reale: Per ambienti dinamici in cui la velocità è fondamentale, modelli come Detection Transformer (DETR) offrono capacità di rilevamento oggetti in tempo reale. DETR è addestrato sul dataset COCO ed è progettato per elaborare le caratteristiche multiscala in modo efficiente, rendendolo adatto per applicazioni sensibili al fattore tempo.
• Vision-language models: questi modelli combinano l'elaborazione di immagini e testo, consentendo ai sistemi di intelligenza artificiale di associare immagini a descrizioni o riconoscere oggetti al di là dei loro dati di addestramento. Esempi includono CLIP e SigLIP, che migliorano la ricerca di immagini collegando il testo agli elementi visivi e consentono alle soluzioni di intelligenza artificiale di identificare nuovi oggetti comprendendone il contesto.
• Modelli di zero-shot object detection: possono identificare oggetti che non hanno mai visto prima comprendendo la relazione tra immagini e testo. Esempi includono OwlVit, GroundingDINO e OmDet, che utilizzano il zero-shot learning per rilevare nuovi oggetti senza bisogno di dati di addestramento etichettati.

Come utilizzare i modelli Hugging Face#

Pavel ha poi spostato l'attenzione sul lato pratico dei modelli Hugging Face, spiegando tre modi in cui gli sviluppatori possono sfruttarli: esplorare i modelli, testarli rapidamente e personalizzarli ulteriormente.

Ha dimostrato come gli sviluppatori possano navigare tra i modelli direttamente su Hugging Face Hub senza scrivere alcun codice, rendendo facile testare i modelli istantaneamente tramite un'interfaccia interattiva. "Puoi provarlo senza scrivere nemmeno una riga di codice o scaricare il modello sul tuo computer", ha aggiunto Pavel. Dato che alcuni modelli sono grandi, eseguirli sull'Hub aiuta a evitare limitazioni di archiviazione ed elaborazione.

Fig 2. Come utilizzare i modelli Hugging Face.

Inoltre, l'Inference API di Hugging Face consente agli sviluppatori di eseguire modelli AI con semplici chiamate API. È ideale per test rapidi, progetti proof-of-concept e prototipazione veloce senza la necessità di una configurazione complessa.

Per casi d'uso più avanzati, gli sviluppatori possono utilizzare il framework Transformers di Hugging Face, uno strumento open-source che fornisce modelli pre-addestrati per compiti di testo, visione e audio, supportando sia PyTorch che TensorFlow. Pavel ha spiegato che con sole due righe di codice, gli sviluppatori possono recuperare un modello da Hugging Face Hub e collegarlo a uno strumento di pre-elaborazione, come un processore di immagini, per analizzare i dati visivi per applicazioni di Vision AI.

Ottimizzare i flussi di lavoro AI con Hugging Face#

Successivamente, Pavel ha spiegato come Hugging Face possa snellire i flussi di lavoro AI. Uno dei temi principali trattati è stato l'ottimizzazione del meccanismo di attenzione nei Transformer, una caratteristica centrale dei modelli di deep learning che aiuta a concentrarsi sulle parti più rilevanti dei dati in input. Ciò migliora l'accuratezza dei compiti che coinvolgono l'elaborazione del linguaggio e la computer vision. Tuttavia, può richiedere molte risorse.

Ottimizzare il meccanismo di attenzione può ridurre significativamente l'utilizzo della memoria migliorando al contempo la velocità. Pavel ha sottolineato: "Ad esempio, passando a un'implementazione dell'attenzione più efficiente, potresti ottenere prestazioni fino a 1,8 volte più veloci."

Hugging Face fornisce un supporto integrato per implementazioni dell'attenzione più efficienti all'interno del framework Transformers. Gli sviluppatori possono abilitare queste ottimizzazioni semplicemente specificando un'implementazione dell'attenzione alternativa durante il caricamento di un modello.

Optimum e Torch Compile#

Ha anche parlato della quantizzazione, una tecnica che rende i modelli AI più piccoli riducendo la precisione dei numeri utilizzati senza compromettere troppo le prestazioni. Ciò aiuta i modelli a utilizzare meno memoria e a funzionare più velocemente, rendendoli più adatti per dispositivi con potenza di elaborazione limitata, come smartphone e sistemi embedded.

Per migliorare ulteriormente l'efficienza, Pavel ha introdotto la libreria Hugging Face Optimum, un set di strumenti progettati per ottimizzare e distribuire i modelli. Con poche righe di codice, gli sviluppatori possono applicare tecniche di quantizzazione e convertire i modelli in formati efficienti come ONNX (Open Neural Network Exchange), consentendo loro di funzionare senza problemi su diversi tipi di hardware, inclusi server cloud e dispositivi edge.

Fig 3. Pavel ha parlato della libreria Optimum e delle sue caratteristiche.

Infine, Pavel ha menzionato i vantaggi di Torch Compile, una funzionalità di PyTorch che ottimizza il modo in cui i modelli AI elaborano i dati, rendendoli più veloci ed efficienti. Hugging Face integra Torch Compile all'interno delle sue librerie Transformers e Optimum, consentendo agli sviluppatori di sfruttare questi miglioramenti delle prestazioni con modifiche minime al codice.

Ottimizzando la struttura di calcolo del modello, Torch Compile può accelerare i tempi di inferenza e aumentare il frame rate da 29 a 150 fotogrammi al secondo senza compromettere l'accuratezza o la qualità.

Distribuire modelli con gli strumenti Hugging Face#

Andando avanti, Pavel ha brevemente accennato a come gli sviluppatori possano estendere e distribuire modelli di Vision AI utilizzando gli strumenti Hugging Face dopo aver selezionato il modello giusto e scelto l'approccio migliore per lo sviluppo.

Ad esempio, gli sviluppatori possono distribuire applicazioni AI interattive utilizzando Gradio e Streamlit. Gradio consente agli sviluppatori di creare interfacce web per modelli di machine learning, mentre Streamlit aiuta a costruire applicazioni di dati interattive con semplici script Python.

Pavel ha anche sottolineato: "Non devi iniziare a scrivere tutto da zero", riferendosi alle guide, ai notebook di addestramento e agli script di esempio forniti da Hugging Face. Queste risorse aiutano gli sviluppatori a iniziare rapidamente senza dover costruire tutto dalle fondamenta.

Fig 4. Pavel discute le capacità di Hugging Face allo YV24.

Vantaggi di Hugging Face Hub#

Concludendo il suo keynote, Pavel ha riassunto i vantaggi dell'utilizzo di Hugging Face Hub. Ha enfatizzato come semplifichi la gestione dei modelli e la collaborazione. Ha inoltre richiamato l'attenzione sulla disponibilità di guide, notebook e tutorial, che possono aiutare sia i principianti che gli esperti a comprendere e implementare i modelli AI.

"Ci sono già molti spazi interessanti sull'Hub. Puoi trovarne di simili, clonare il codice condiviso, modificare alcune righe, sostituire il modello con il tuo e caricarlo di nuovo", ha spiegato, incoraggiando gli sviluppatori a sfruttare la flessibilità della piattaforma.

Punti chiave#

Durante il suo discorso allo YV24, Pavel ha condiviso come Hugging Face fornisca strumenti che supportano l'addestramento, l'ottimizzazione e il deployment dei modelli AI. Ad esempio, innovazioni come Transformers, Optimum e Torch Compile possono aiutare gli sviluppatori a migliorare le prestazioni dei modelli.

Man mano che i modelli AI diventano più efficienti, i progressi nella quantizzazione e nel deployment edge rendono più facile eseguirli su dispositivi con risorse limitate. Questi miglioramenti, combinati con strumenti come Hugging Face e modelli di computer vision avanzati come Ultralytics YOLO11, sono fondamentali per costruire applicazioni di Vision AI scalabili e ad alte prestazioni.

Unisciti alla nostra community in crescita! Esplora il nostro repository GitHub per saperne di più sull'intelligenza artificiale e dai un'occhiata alle nostre licenze YOLO per iniziare i tuoi progetti di Vision AI. Ti interessano innovazioni come la computer vision nella sanità o la computer vision nell'agricoltura? Visita le nostre pagine delle soluzioni per scoprire di più!