Zero-Shot Learning

L'apprendimento zero-shot (ZSL) è un paradigma di apprendimento automatico che consente ai modelli di intelligenza artificiale di riconoscere, classificare o rilevare oggetti che non hanno mai incontrato durante la fase di addestramento. Nell'apprendimento supervisionato tradizionale, un modello richiede migliaia di esempi annotati per ogni categoria specifica che deve identificare. ZSL elimina questa rigida dipendenza sfruttando informazioni ausiliarie, in genere descrizioni testuali, attributi semantici o embedding, per colmare il divario tra classi osservate e non osservate. Questa capacità consente ai sistemi di intelligenza artificiale (AI) di essere significativamente più flessibili e scalabili e di gestire ambienti dinamici in cui raccogliere dati esaustivi per ogni possibile oggetto non è pratico.

Come funziona l'apprendimento zero-shot#

Il meccanismo fondamentale di ZSL consiste nel trasferire la conoscenza da concetti familiari a concetti non familiari utilizzando uno spazio semantico condiviso. Invece di imparare a riconoscere una "zebra" esclusivamente memorizzando i pattern di pixel delle strisce bianche e nere, il modello apprende la relazione tra caratteristiche visive e attributi semantici (ad es. "forma simile a quella di un cavallo", "motivo a strisce", "quattro zampe") derivati dall'elaborazione del linguaggio naturale (NLP).

Questo processo si basa spesso su modelli multimodali che allineano le rappresentazioni delle immagini e del testo. Ad esempio, ricerche fondamentali come CLIP di OpenAI dimostrano come i modelli possano apprendere concetti visivi dalla supervisione del linguaggio naturale. Quando un modello ZSL incontra un oggetto non osservato, estrae le caratteristiche visive e le confronta con un dizionario di vettori semantici. Se le caratteristiche visive corrispondono alla descrizione semantica della nuova classe, il modello può classificarla correttamente, eseguendo di fatto una previsione "zero-shot". Questo approccio è fondamentale per i moderni modelli fondazionali, che generalizzano su un'ampia gamma di attività.

Applicazioni nel mondo reale#

L'apprendimento zero-shot promuove l'innovazione in vari settori consentendo ai sistemi di generalizzare oltre i dati iniziali di addestramento.

1. Rilevamento di oggetti a vocabolario aperto: le architetture moderne come YOLO-World utilizzano ZSL per rilevare oggetti sulla base di prompt testuali definiti dall'utente. Ciò consente il rilevamento di oggetti in scenari in cui è impossibile definire in anticipo un elenco fisso di classi, come la ricerca di elementi specifici in vasti archivi video. I ricercatori di Google Research continuano a spingersi oltre i limiti di queste capacità a vocabolario aperto.

2. Diagnostica medica: nell'AI in ambito sanitario, ottenere dati annotati per le malattie rare è spesso difficile e costoso. I modelli ZSL possono essere addestrati su patologie comuni e descrizioni di sintomi rari tratte dalla letteratura medica disponibile in database come PubMed, consentendo al sistema di segnalare potenziali anomalie rare nelle immagini mediche senza richiedere un enorme dataset di casi positivi.

3. Conservazione della fauna selvatica: per l'AI in agricoltura e l'ecologia, identificare specie in pericolo che vengono fotografate raramente è fondamentale. ZSL consente ai professionisti della conservazione di rilevare questi animali utilizzando descrizioni basate sugli attributi definite in database biologici come l'Encyclopedia of Life.

Rilevamento zero-shot con Ultralytics#

Il modello Ultralytics YOLO-World è un esempio concreto di apprendimento zero-shot. Consente agli utenti di definire dinamicamente classi personalizzate durante l'esecuzione, senza riaddestrare il modello. Questo risultato si ottiene collegando un solido backbone di rilevamento a un encoder testuale in grado di comprendere il linguaggio naturale.

Il seguente esempio in Python mostra come utilizzare YOLO-World per rilevare oggetti che non facevano esplicitamente parte di un set di addestramento standard utilizzando il pacchetto ultralytics.

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model capable of Zero-Shot Learning
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes via text prompts (e.g., specific accessories)
# The model adjusts to detect these new classes without retraining
model.set_classes(["blue backpack", "red apple", "sunglasses"])

# Run inference on an image to detect the new zero-shot classes
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()

Distinzione dai concetti correlati#

Per comprendere appieno ZSL, è utile distinguerlo da strategie di apprendimento simili utilizzate nella visione artificiale (CV):

• Apprendimento con pochi esempi (FSL): mentre ZSL non richiede alcun esempio della classe target, FSL fornisce al modello un set di supporto molto ridotto (in genere da 1 a 5 esempi) per l'adattamento. ZSL è generalmente considerato più difficile perché si basa interamente sull'inferenza semantica anziché su esempi visivi.
• Apprendimento one-shot: un sottoinsieme di FSL in cui il modello apprende da un singolo esempio annotato. ZSL differisce fondamentalmente perché opera senza nemmeno una singola immagine della nuova categoria.
• Apprendimento per trasferimento: questo termine generale indica il trasferimento di conoscenze da un'attività a un'altra. ZSL è un tipo specifico di apprendimento per trasferimento che utilizza attributi semantici per trasferire la conoscenza a classi non osservate, senza dover eseguire il tradizionale fine-tuning su nuovi dati.

Sfide e prospettive future#

Sebbene ZSL offra un potenziale enorme, presenta sfide come il problema dello shift di dominio, in cui gli attributi semantici appresi durante l'addestramento non corrispondono perfettamente all'aspetto visivo delle classi non osservate. Inoltre, i modelli ZSL possono soffrire di bias, con un'accuratezza delle previsioni significativamente maggiore per le classi osservate rispetto a quelle non osservate.

La ricerca condotta da organizzazioni come l'AI Lab della Stanford University e la IEEE Computer Society continua ad affrontare queste limitazioni. Man mano che gli strumenti di visione artificiale diventano più solidi, si prevede che ZSL diventi una funzionalità standard, riducendo la dipendenza da enormi attività di annotazione dei dati. Per i team che desiderano gestire i dataset in modo efficiente prima di implementare modelli avanzati, la Ultralytics Platform offre strumenti completi per l'annotazione e la gestione dei dataset.