Zero-Shot Learning

L'apprentissage Zéro-Shot (ZSL) est un paradigme d'apprentissage automatique qui permet aux modèles d'intelligence artificielle de reconnaître, de classer ou de détecter des objets qu'ils n'ont jamais rencontrés lors de leur phase d'entraînement. Dans l'apprentissage supervisé traditionnel, un modèle nécessite des milliers d'exemples étiquetés pour chaque catégorie spécifique qu'il doit identifier. Le ZSL élimine cette dépendance stricte en exploitant des informations auxiliaires — généralement des descriptions textuelles, des attributs sémantiques ou des embeddings — pour combler le fossé entre les classes vues et non vues. Cette capacité permet aux systèmes d'intelligence artificielle (IA) d'être nettement plus flexibles, évolutifs et capables de gérer des environnements dynamiques où la collecte de données exhaustives pour chaque objet possible est impraticable.

Link to this sectionComment fonctionne l'apprentissage Zéro-Shot#

Le mécanisme central du ZSL implique le transfert de connaissances de concepts familiers vers des concepts inconnus en utilisant un espace sémantique partagé. Au lieu d'apprendre à reconnaître un « zèbre » uniquement en mémorisant les motifs de pixels des rayures noires et blanches, le modèle apprend la relation entre les caractéristiques visuelles et les attributs sémantiques (par exemple, « forme de cheval », « motif rayé », « quatre pattes ») dérivés du traitement du langage naturel (NLP).

Ce processus repose souvent sur des modèles multi-modaux qui alignent les représentations d'images et de textes. Par exemple, des recherches fondamentales comme le CLIP d'OpenAI démontrent comment les modèles peuvent apprendre des concepts visuels à partir d'une supervision en langage naturel. Lorsqu'un modèle ZSL rencontre un objet inconnu, il extrait les caractéristiques visuelles et les compare à un dictionnaire de vecteurs sémantiques. Si les caractéristiques visuelles correspondent à la description sémantique de la nouvelle classe, le modèle peut la classer correctement, effectuant ainsi une prédiction « zéro-shot ». Cette approche est fondamentale pour les modèles de fondation modernes qui généralisent à travers un large éventail de tâches.

Link to this sectionApplications concrètes#

L'apprentissage Zéro-Shot stimule l'innovation dans divers secteurs en permettant aux systèmes de généraliser au-delà de leurs données d'entraînement initiales.

1. Détection d'objets à vocabulaire ouvert : Les architectures modernes comme YOLO-World utilisent le ZSL pour détecter des objets basés sur des requêtes textuelles définies par l'utilisateur. Cela permet la détection d'objets dans des scénarios où définir une liste fixe de classes à l'avance est impossible, comme la recherche d'éléments spécifiques dans de vastes archives vidéo. Les chercheurs de Google Research continuent de repousser les limites de ces capacités à vocabulaire ouvert.

2. Diagnostics médicaux : Dans l'IA en santé, obtenir des données étiquetées pour les maladies rares est souvent difficile et coûteux. Les modèles ZSL peuvent être entraînés sur des conditions courantes et des descriptions de symptômes rares provenant de la littérature médicale trouvée dans des bases de données comme PubMed, permettant au système de signaler d'éventuelles anomalies rares dans l'imagerie médicale sans nécessiter un jeu de données massif de cas positifs.

3. Conservation de la faune : Pour l'IA en agriculture et en écologie, l'identification d'espèces menacées rarement photographiées est cruciale. Le ZSL permet aux défenseurs de la nature de détecter ces animaux en utilisant des descriptions basées sur des attributs définis dans des bases de données biologiques comme l'Encyclopedia of Life.

Link to this sectionDétection Zéro-Shot avec Ultralytics#

Le modèle Ultralytics YOLO-World illustre parfaitement l'apprentissage Zéro-Shot en action. Il permet aux utilisateurs de définir dynamiquement des classes personnalisées lors de l'exécution sans réentraîner le modèle. Cela est possible en connectant une base de détection robuste à un encodeur de texte qui comprend le langage naturel.

L'exemple Python suivant démontre comment utiliser YOLO-World pour détecter des objets qui ne faisaient pas explicitement partie d'un ensemble d'entraînement standard en utilisant le package ultralytics.

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model capable of Zero-Shot Learning
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes via text prompts (e.g., specific accessories)
# The model adjusts to detect these new classes without retraining
model.set_classes(["blue backpack", "red apple", "sunglasses"])

# Run inference on an image to detect the new zero-shot classes
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()

Link to this sectionDistinction avec des concepts connexes#

Pour bien comprendre le ZSL, il est utile de le distinguer d'autres stratégies d'apprentissage utilisées en vision par ordinateur (CV) :

• Apprentissage Few-Shot (FSL) : Alors que le ZSL ne nécessite aucun exemple de la classe cible, le FSL fournit au modèle un très petit ensemble de support (généralement 1 à 5 exemples) pour s'adapter. Le ZSL est généralement considéré comme plus difficile car il repose entièrement sur l'inférence sémantique plutôt que sur des exemples visuels.
• Apprentissage One-Shot : Un sous-ensemble du FSL où le modèle apprend à partir d'un seul exemple étiqueté. Le ZSL diffère fondamentalement car il fonctionne sans même une seule image de la nouvelle catégorie.
• Apprentissage par transfert : Ce terme large fait référence au transfert de connaissances d'une tâche à une autre. Le ZSL est un type spécifique d'apprentissage par transfert qui utilise des attributs sémantiques pour transférer des connaissances vers des classes non vues sans avoir besoin d'un fine-tuning traditionnel sur de nouvelles données.

Link to this sectionDéfis et perspectives d'avenir#

Bien que le ZSL offre un immense potentiel, il fait face à des défis tels que le problème de décalage de domaine, où les attributs sémantiques appris pendant l'entraînement ne correspondent pas parfaitement à l'apparence visuelle des classes non vues. De plus, les modèles ZSL peuvent souffrir d'un biais, où la précision de la prédiction est significativement plus élevée pour les classes vues par rapport aux classes non vues.

La recherche d'organisations comme le AI Lab de l'Université de Stanford et l'IEEE Computer Society continue de traiter ces limitations. À mesure que les outils de vision par ordinateur deviennent plus robustes, le ZSL devrait devenir une fonctionnalité standard, réduisant la dépendance aux efforts massifs d'étiquetage de données. Pour les équipes cherchant à gérer efficacement les jeux de données avant de déployer des modèles avancés, la plateforme Ultralytics propose des outils complets pour l'annotation et la gestion des données.