Zero-Shot Learning

Zero-Shot Learning (ZSL) è un paradigma di machine learning che permette ai modelli di intelligenza artificiale di riconoscere, classificare o rilevare oggetti mai incontrati durante la fase di addestramento. Nel tradizionale supervised learning, un modello richiede migliaia di esempi etichettati per ogni specifica categoria che deve identificare. ZSL elimina questa rigida dipendenza sfruttando informazioni ausiliarie — tipicamente descrizioni testuali, attributi semantici o embeddings — per colmare il divario tra classi note e non note. Questa capacità permette ai sistemi di artificial intelligence (AI) di essere significativamente più flessibili, scalabili e in grado di gestire ambienti dinamici in cui raccogliere dati esaustivi per ogni possibile oggetto risulta impraticabile.

Link to this sectionCome funziona il Zero-Shot Learning#

Il meccanismo principale dello ZSL comporta il trasferimento di conoscenze da concetti familiari a quelli non familiari utilizzando uno spazio semantico condiviso. Invece di imparare a riconoscere una "zebra" solo memorizzando i pattern di pixel delle strisce bianche e nere, il modello apprende la relazione tra le caratteristiche visive e gli attributi semantici (es. "forma simile a un cavallo", "pattern a strisce", "quattro zampe") derivati dal natural language processing (NLP).

Questo processo si basa spesso su multi-modal models che allineano le rappresentazioni di immagini e testo. Ad esempio, la ricerca fondamentale come OpenAI's CLIP dimostra come i modelli possano apprendere concetti visivi dalla supervisione del linguaggio naturale. Quando un modello ZSL incontra un oggetto non noto, ne estrae le caratteristiche visive e le confronta con un dizionario di vettori semantici. Se le caratteristiche visive si allineano con la descrizione semantica della nuova classe, il modello può classificarla correttamente, effettuando efficacemente una previsione "zero-shot". Questo approccio è fondamentale per i moderni foundation models che generalizzano su vaste serie di compiti.

Link to this sectionApplicazioni nel mondo reale#

Il Zero-Shot Learning sta guidando l'innovazione in diversi settori permettendo ai sistemi di generalizzare oltre i loro dati di addestramento iniziali.

1. Open-Vocabulary Object Detection: Modern architectures like YOLO-World utilize ZSL to detect objects based on user-defined text prompts. This allows for object detection in scenarios where defining a fixed list of classes beforehand is impossible, such as searching for specific items in vast video archives. Researchers at Google Research continue to push the boundaries of these open-vocabulary capabilities.

2. Diagnostica medica: Nel campo dell'AI in healthcare, ottenere dati etichettati per malattie rare è spesso difficile e costoso. I modelli ZSL possono essere addestrati su condizioni comuni e descrizioni di sintomi rari presenti nella letteratura medica contenuta in database come PubMed, consentendo al sistema di segnalare potenziali anomalie rare nell'imaging medico senza richiedere un enorme dataset di casi positivi.

3. Conservazione della fauna selvatica: Per l' AI in agriculture e l'ecologia, identificare specie in via di estinzione raramente fotografate è fondamentale. Lo ZSL permette ai conservazionisti di rilevare questi animali utilizzando descrizioni basate sugli attributi definite in database biologici come l'Encyclopedia of Life.

Link to this sectionZero-Shot Detection con Ultralytics#

Il modello Ultralytics YOLO-World esemplifica il Zero-Shot Learning in azione. Permette agli utenti di definire classi personalizzate dinamicamente a runtime senza dover riaddestrare il modello. Questo risultato è ottenuto collegando un robusto backbone di rilevamento a un codificatore di testo che comprende il linguaggio naturale.

Il seguente esempio in Python dimostra come utilizzare YOLO-World per rilevare oggetti che non facevano esplicitamente parte di un set di addestramento standard utilizzando il pacchetto ultralytics.

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model capable of Zero-Shot Learning
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes via text prompts (e.g., specific accessories)
# The model adjusts to detect these new classes without retraining
model.set_classes(["blue backpack", "red apple", "sunglasses"])

# Run inference on an image to detect the new zero-shot classes
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()

Link to this sectionDistinzione da concetti correlati#

Per comprendere appieno lo ZSL, è utile distinguerlo da strategie di apprendimento simili utilizzate nella computer vision (CV):

• Few-Shot Learning (FSL): Mentre lo ZSL non richiede alcun esempio della classe target, il FSL fornisce al modello un insieme di supporto molto piccolo (tipicamente da 1 a 5 esempi) per adattarsi. Lo ZSL è generalmente considerato più impegnativo poiché si affida interamente all'inferenza semantica anziché a esempi visivi.
• One-Shot Learning: Un sottoinsieme del FSL in cui il modello apprende da esattamente un esempio etichettato. Lo ZSL differisce fondamentalmente perché opera senza nemmeno una singola immagine della nuova categoria.
• Transfer Learning: Questo termine ampio si riferisce al trasferimento di conoscenze da un compito all'altro. Lo ZSL è un tipo specifico di transfer learning che utilizza attributi semantici per trasferire conoscenze a classi non note senza la necessità di un tradizionale fine-tuning su nuovi dati.

Link to this sectionSfide e prospettive future#

Sebbene lo ZSL offra un potenziale immenso, affronta sfide come il problema dello spostamento di dominio (domain shift problem), dove gli attributi semantici appresi durante l'addestramento non si mappano perfettamente sull'aspetto visivo delle classi non note. Inoltre, i modelli ZSL possono soffrire di bias, dove la precisione di previsione è significativamente più alta per le classi note rispetto a quelle non note.

La ricerca da parte di organizzazioni come lo Stanford University's AI Lab e l'IEEE Computer Society continua ad affrontare queste limitazioni. Man mano che i computer vision tools diventano più robusti, si prevede che lo ZSL diventerà una funzionalità standard, riducendo la dipendenza da massicci sforzi di data labeling. Per i team che cercano di gestire i dataset in modo efficiente prima di distribuire modelli avanzati, la Ultralytics Platform offre strumenti completi per l'annotazione e la gestione dei dataset.