Transfer Learning

L'apprentissage par transfert est une technique puissante en machine learning (ML) où un modèle développé pour une tâche spécifique est réutilisé comme point de départ pour un modèle sur une seconde tâche connexe. Au lieu d'entraîner un réseau de neurones à partir de zéro — ce qui nécessite des jeux de données massifs et une puissance de calcul importante — les développeurs exploitent les connaissances qu'une IA a déjà acquises. Cette approche imite la façon dont les humains apprennent ; par exemple, savoir jouer du piano rend l'apprentissage de l'orgue beaucoup plus facile, car la compréhension fondamentale de la théorie musicale et la dextérité des doigts sont transférées. Dans le contexte du deep learning, cela signifie qu'un modèle peut atteindre une grande précision sur un nouveau problème avec beaucoup moins de données et de temps.

Link to this sectionComment fonctionne l'apprentissage par transfert#

L'efficacité de l'apprentissage par transfert réside dans la nature hiérarchique de l'extraction de caractéristiques. Les modèles de deep learning, en particulier ceux utilisés en computer vision, apprennent à reconnaître des motifs par couches. Les couches initiales du backbone détectent des caractéristiques simples et universelles comme les bords, les courbes et les textures. Ces caractéristiques de bas niveau sont applicables à presque n'importe quelle tâche visuelle.

Le processus implique généralement deux phases principales :

1. Pré-entraînement : Un modèle est entraîné sur un benchmark dataset à grande échelle, comme ImageNet, pour apprendre des représentations visuelles générales. Cela aboutit à un ensemble de poids du modèle qui comprennent déjà la structure visuelle.

2. Adaptation : Le modèle pré-entraîné est ensuite adapté à une tâche de niche spécifique. Cela se fait souvent en « gelant » les premières couches (en gardant leurs poids fixes) et en réentraînant uniquement les dernières couches, ou la tête de détection, sur un jeu de données plus petit et personnalisé.

Link to this sectionApplications concrètes#

L'apprentissage par transfert a démocratisé l'IA en permettant de créer des solutions spécialisées sans avoir besoin des ressources des Big Tech.

• IA dans la santé : Il est difficile de rassembler des millions d'images médicales annotées pour chaque maladie spécifique. Cependant, les chercheurs peuvent prendre un modèle pré-entraîné sur des objets du quotidien et l'appliquer à l'analyse d'images médicales. Le modèle transfère sa capacité à détecter les formes et les anomalies pour identifier des tumeurs dans des radiographies ou des IRM avec une grande précision.
• IA dans la fabrication : Dans les environnements industriels, les systèmes d'inspection visuelle doivent s'adapter rapidement aux nouvelles lignes de produits. Un modèle généralisé de détection de défauts peut être rapidement mis à jour pour repérer des imperfections sur un nouveau composant spécifique, comme une puce électronique, en utilisant des flux de travail de fabrication intelligente pour minimiser les temps d'arrêt.

Link to this sectionRelation avec d'autres concepts#

Il est utile de distinguer l'apprentissage par transfert de termes étroitement liés :

• vs. Fine-Tuning : Le fine-tuning est une méthode spécifique pour mettre en œuvre l'apprentissage par transfert. Alors que l'apprentissage par transfert est le concept global de réutilisation des connaissances, le fine-tuning désigne le processus mécanique consistant à décongeler des parties du modèle et à les entraîner sur de nouvelles données avec un taux d'apprentissage plus faible.
• vs. Zero-Shot Learning : L'apprentissage par transfert nécessite une phase d'entraînement avec certaines données étiquetées pour la nouvelle tâche. En revanche, le zero-shot learning tente de classifier des objets que le modèle n'a jamais vus auparavant, en s'appuyant souvent sur des descriptions sémantiques plutôt que sur des exemples visuels.

Link to this sectionExemple pratique#

L'extrait Python suivant démontre l'apprentissage par transfert en utilisant la bibliothèque ultralytics. Nous chargeons le modèle YOLO26, qui est fourni avec des poids pré-entraînés dérivés du dataset COCO. Lorsque nous lançons l'entraînement sur un nouveau dataset, le modèle transfère automatiquement ses caractéristiques pré-apprises vers la nouvelle tâche.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (transferring weights from COCO)
model = YOLO("yolo26n.pt")

# Train the model on a new, smaller dataset to adapt its knowledge
# This leverages the pre-learned backbone for faster convergence
results = model.train(data="coco8.yaml", epochs=5)

Pour la gestion des datasets et l'exécution de ces entraînements dans le cloud, des outils comme la plateforme Ultralytics rationalisent le processus, permettant aux équipes de collaborer efficacement sur l'annotation des données et le déploiement de modèles issus de l'apprentissage par transfert.

Pour approfondir la théorie académique, les notes du cours CS231n de Stanford offrent un excellent aperçu, tandis que le tutoriel sur l'apprentissage par transfert de PyTorch fournit des détails techniques exhaustifs pour la mise en œuvre.