Few-Shot Learning

L’apprentissage avec peu d’exemples (FSL) consiste à apprendre une nouvelle tâche, le plus souvent la reconnaissance de nouvelles classes, à partir de seulement quelques exemples étiquetés par classe, généralement entre 1 et 10. L’apprentissage supervisé standard nécessite des centaines ou des milliers d’images étiquetées par classe, difficiles ou impossibles à collecter pour les défauts rares, les maladies rares ou un produit lancé la veille. Les méthodes d’apprentissage avec peu d’exemples comblent cet écart grâce aux connaissances préalables : un modèle préentraîné sur de grandes quantités de données apparentées produit déjà des caractéristiques qui séparent bien les nouvelles classes ; quelques exemples suffisent donc à les définir. On retrouve la même idée dans les modèles de langage, où quelques exemples résolus dans l’invite orientent le modèle vers une nouvelle tâche sans entraînement.

Tâches N-way K-shot#

Les problèmes d’apprentissage avec peu d’exemples sont décrits selon le format N-way K-shot : N nouvelles classes, chacune avec K exemples étiquetés. Ces exemples étiquetés forment l’ensemble de support, et le modèle est évalué selon sa capacité à étiqueter un ensemble de requêtes distinct, constitué d’exemples des mêmes N classes. Une tâche 5-way 1-shot fournit donc au modèle un exemple de chacune des cinq classes qu’il n’a jamais vues et lui demande de répartir de nouvelles images entre ces classes. L’apprentissage one-shot correspond au cas K = 1, et l’apprentissage zero-shot au cas K = 0, où les classes sont décrites par du texte ou des attributs plutôt que par des exemples. Les benchmarks de recherche évaluent le modèle sur des classes exclues de l’entraînement, comme Omniglot, qui contient 1,623 caractères manuscrits issus de 50 alphabets, et miniImageNet, qui contient 100 classes d’ImageNet de 600 images chacune.

Approches de l’apprentissage avec peu d’exemples#

Les méthodes d’apprentissage métrique entraînent un réseau à projeter les images dans des plongements où les exemples d’une même classe sont proches les uns des autres ; une requête reçoit ainsi l’étiquette des exemples de support les plus similaires. Les réseaux prototypiques calculent la moyenne des plongements de support de chaque classe pour former un prototype, puis attribuent la requête au prototype le plus proche ; aucun réentraînement n’est nécessaire lorsqu’une nouvelle classe apparaît.

D’autres approches adaptent les poids du modèle ou ses entrées :

• Méta-apprentissage : entraîne le modèle sur des milliers de petites tâches simulées issues de classes de base, afin qu’il apprenne à s’adapter. Le méta-apprentissage agnostique au modèle (MAML) apprend une initialisation à partir de laquelle quelques étapes de gradient sur l’ensemble de support d’une nouvelle tâche donnent de bons poids.
• Transfert et réglage fin : préentraîne un backbone sur un grand jeu de données, puis entraîne uniquement une nouvelle tête de classification, ou tout le réseau avec un faible taux d’apprentissage, sur l’ensemble de support. Cette base simple rivalise avec les méthodes de méta-apprentissage spécialisées sur les benchmarks few-shot classiques, et le sondage linéaire de grands modèles préentraînés reste une solide base few-shot.
• Amorçage des modèles de fondation : les grands modèles de langage réalisent de nouvelles tâches à partir de quelques exemples inclus dans l’invite, sans mise à jour des poids ; GPT-3 a démontré cette capacité sur plus de deux douzaines de benchmarks linguistiques. Les modèles de vision utilisent de la même façon des invites visuelles, comme des boîtes d’exemple.

Détection d’objets avec peu d’exemples et invites visuelles#

La détection ajoute la localisation au problème de l’apprentissage avec peu d’exemples : le modèle doit trouver chaque instance d’une classe sur laquelle il n’a pas été entraîné. YOLO26 alimente également YOLOE-26, une variante à vocabulaire ouvert dont l’encodeur de prompts visuels transforme les boîtes d’exemple en une représentation vectorielle de classe, puis détecte et segmente les objets correspondants dans de nouvelles images, sans entraînement. Les boîtes qui partagent un même ID de classe sont fusionnées en un seul prompt, de sorte que deux exemples d’une classe constituent un ensemble de support à 2 exemples. Cet exemple utilise deux personnes dans une image comme ensemble de support et recherche dans une autre image :

import numpy as np
from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

# Point de contrôle YOLOE-26 qui accepte les invites visuelles
model = YOLOE("yoloe-26s-seg.pt")

# Ensemble de support : deux boîtes d’exemple d’une même classe (personnes) dans l’image de référence
boxes = np.array([[221.52, 405.8, 344.98, 857.54], [669.47, 392.19, 809.72, 877.04]])
support = {"bboxes": boxes, "cls": np.array([0, 0])}

# Requête : trouver des objets semblables aux exemples dans une autre image, sans entraînement
results = model.predict(
    "https://ultralytics.com/images/zidane.jpg",
    refer_image="https://ultralytics.com/images/bus.jpg",
    visual_prompts=support,
    predictor=YOLOEVPSegPredictor,
)
result = results[0]
result.save(filename="few_shot_result.jpg")

Les invites visuelles regroupent les exemples sans les nommer ; les correspondances des résultats sont donc étiquetées object0, object1, etc., avec un nom par ID de classe.

Applications concrètes#

• Inspection industrielle : un nouveau type de défaut, comme une fissure sur une pièce récemment introduite, peut n’apparaître que quelques fois avant que les inspecteurs veuillent le signaler ; la détection avec peu d’exemples ou la détection d’anomalies permet de l’ajouter sans grand nouveau jeu de données.
• Imagerie médicale : les maladies rares disposent de peu d’examens annotés ; les modèles d’analyse d’images médicales adaptent donc les caractéristiques préentraînées aux nouvelles observations à partir d’un petit ensemble de cas étiquetés par des experts.
• Commerce de détail et robotique : les magasins ajoutent constamment de nouveaux produits et les robots rencontrent sans cesse de nouveaux objets ; quelques photos de référence permettent à un système de reconnaître chacun d’eux sur les étagères ou dans la pince.

Apprentissage avec peu d’exemples et concepts associés#

• Apprentissage par transfert : pratique générale consistant à réutiliser les connaissances d’une tâche pour en réaliser une autre. L’apprentissage avec peu d’exemples correspond au cas extrême où les données sont rares, et le transfert en est l’outil le plus courant.
• Méta-apprentissage : stratégie d’entraînement qui consiste à apprendre à apprendre, et l’une des diverses façons de résoudre les problèmes d’apprentissage avec peu d’exemples. L’apprentissage avec peu d’exemples désigne le cadre du problème lui-même.
• Amorçage avec peu d’exemples : adapte un modèle gelé à l’aide d’exemples fournis en entrée au moment de l’inférence, tandis que l’ajustement fin avec peu d’exemples modifie les poids du modèle à partir du même petit nombre d’exemples.