Apprentissage « Few-Shot »

L'apprentissage avec peu d'exemples (FSL) est un sous-domaine de l'apprentissage automatique qui se concentre sur la construction de modèles capables de se généraliser à de nouveaux concepts à partir de quelques exemples seulement. Les modèles d'apprentissage profond traditionnels, en particulier dans le domaine de la vision par ordinateur, nécessitent souvent de grandes quantités de données d'entraînement étiquetées pour atteindre des performances élevées. Le FSL relève le défi de la rareté des données en créant des modèles capables d'apprendre efficacement dans des situations de faible volume de données, imitant la capacité humaine à apprendre de nouveaux objets ou catégories à partir de très peu d'instances. Cela le rend inestimable pour les applications où la collecte et l'étiquetage des données sont coûteux, prennent du temps, ou sont tout simplement impossibles.

Comment fonctionne l'apprentissage Few-Shot

L'idée centrale du FSL est de tirer parti des connaissances antérieures d'un ensemble de données vaste et diversifié pour apprendre rapidement de nouvelles tâches connexes. Au lieu d'apprendre à classer directement des catégories spécifiques, le modèle apprend une représentation plus générale des données ou apprend à comparer des points de données. Les approches courantes comprennent :

• Apprentissage basé sur les métriques : Ces méthodes apprennent une fonction de distance ou une métrique de similarité pour comparer quelques images "support" étiquetées avec des images "requête" non étiquetées. L'image requête se voit ensuite attribuer la classe de l'image support la plus similaire. Les réseaux siamois sont des exemples populaires de cette approche. Ils apprennent à déterminer si deux images appartiennent à la même classe, tout comme les réseaux prototypiques, qui apprennent une représentation prototypique pour chaque classe dans l'espace métrique.
• Apprentissage basé sur l'optimisation : Souvent associé à la méta-apprentissage (ou « apprendre à apprendre »), cette approche entraîne le processus d'optimisation d'un modèle lui-même. L'objectif est de développer un modèle qui peut rapidement adapter ses paramètres à une nouvelle tâche avec seulement quelques étapes de descente de gradient. Un algorithme influent dans ce domaine est le méta-apprentissage indépendant du modèle (MAML).
• Apprentissage basé sur la mémoire : Ces modèles utilisent une composante de mémoire externe pour stocker les informations provenant des quelques exemples disponibles. Lorsqu'un nouvel exemple est présenté, le modèle récupère les informations pertinentes de sa mémoire pour faire une prédiction. Ceci est conceptuellement similaire au fonctionnement des algorithmes des k-plus proches voisins (k-NN).

Apprentissage "few-shot" vs. Concepts connexes

Il est important de distinguer l'apprentissage avec peu d'exemples (FSL) des autres paradigmes d'apprentissage qui traitent des données limitées :

• Apprentissage zéro-shot (ZSL) : ZSL est plus extrême que FSL, car il exige qu'un modèle reconnaisse des classes qu'il n'a jamais vues pendant l'entraînement, en utilisant uniquement des descriptions ou des attributs sémantiques de haut niveau. FSL nécessite au moins un exemple, tandis que ZSL n'en nécessite aucun.
• Apprentissage "One-Shot" (OSL) : L'OSL est une variante spécifique du FSL où le modèle reçoit exactement un exemple étiqueté pour chaque nouvelle classe. Il représente le scénario le plus difficile dans le cadre de l'apprentissage "few-shot".
• Apprentissage par transfert : Le FSL est une forme d'apprentissage par transfert, mais les deux ne sont pas identiques. L'apprentissage par transfert traditionnel consiste souvent à prendre un modèle pré-entraîné sur un grand ensemble de données comme ImageNet et à l'affiner sur un nouvel ensemble de données plus petit. Le FSL est spécifiquement conçu pour les scénarios où le nouvel ensemble de données est extrêmement petit (par exemple, moins de 10 exemples par classe). Vous pouvez explorer comment les modèles tels que Ultralytics YOLO11 utilisent des poids pré-entraînés pour l'apprentissage par transfert dans notre documentation sur l'entraînement des modèles.

Applications concrètes

L’apprentissage FSL est particulièrement utile dans les domaines spécialisés où les données sont rares.

1. Diagnostic des Maladies Rares en Imagerie Médicale : Pour les maladies rares, la collecte de milliers de scans de patients pour l'entraînement du modèle n'est souvent pas réalisable. Avec le FSL, un modèle pré-entraîné sur un grand ensemble de données d'images médicales courantes peut être adapté pour identifier les signes d'une maladie rare en utilisant seulement une poignée de cas confirmés. Cela accélère le développement d'outils de diagnostic pour l'analyse d'images médicales.
2. Détection de défauts industriels : Dans le secteur de la fabrication, une nouvelle ligne de produits peut présenter des défauts uniques et peu fréquents. Au lieu d'interrompre la production pour collecter des milliers d'exemples de défauts, un modèle FSL pour la détection d'objets peut être rapidement entraîné avec quelques échantillons pour automatiser le contrôle qualité, améliorer l'efficacité et réduire les déchets. Des plateformes comme Ultralytics HUB peuvent aider à gérer ces jeux de données spécialisés et à accélérer le déploiement du modèle.

Défis et orientations futures

Malgré sa promesse, le FSL est confronté à des défis importants. Le principal obstacle est d'empêcher le surapprentissage, car le modèle peut facilement mémoriser les quelques exemples au lieu d'apprendre à généraliser. Les performances du modèle peuvent également être très sensibles à la qualité et à la représentativité des exemples de support fournis.

La recherche en cours, menée par des institutions comme l'Université de Stanford, Google AI et Meta AI, se concentre sur la création d'algorithmes de méta-apprentissage plus robustes et sur une meilleure utilisation des techniques d'apprentissage non supervisé ou d'apprentissage auto-supervisé pour le pré-entraînement. La combinaison de ces approches vise à construire des systèmes d'IA plus flexibles et plus efficaces en termes de données, repoussant les limites de ce qui est possible dans les environnements à données limitées. Les cadres avancés comme PyTorch et TensorFlow fournissent les outils nécessaires aux chercheurs pour explorer ces méthodes de pointe.