Apprentissage par transfert

L'apprentissage par transfert est une technique d'apprentissage automatique (ML) où un modèle développé pour une tâche est réutilisé comme point de départ pour un modèle sur une deuxième tâche connexe. Au lieu de construire un modèle à partir de zéro, ce qui nécessite une grande quantité de données et de ressources de calcul, l'apprentissage par transfert exploite les connaissances—telles que les caractéristiques, les poids et les modèles—acquises à partir d'une tâche source. Cette approche est très efficace et est devenue la pierre angulaire de l'apprentissage profond moderne, en particulier dans la vision par ordinateur (CV). En utilisant un modèle pré-entraîné, les développeurs peuvent obtenir des performances plus élevées avec beaucoup moins de données et des temps d'entraînement plus courts.

Fonctionnement de l'apprentissage par transfert

L'idée centrale du transfert d'apprentissage est qu'un modèle entraîné sur un jeu de données vaste et général, tel que ImageNet pour la classification d'images, a déjà appris à reconnaître des caractéristiques universelles telles que les bords, les textures et les formes. Ces connaissances fondamentales sont stockées dans les couches initiales du modèle, souvent appelées backbone.

Le processus implique généralement deux étapes principales :

1. Commencer avec un modèle pré-entraîné : Un modèle qui a été précédemment entraîné sur un grand ensemble de données de référence est sélectionné. Par exemple, la plupart des modèles Ultralytics YOLO sont livrés avec des poids pré-entraînés sur l'ensemble de données COCO. Ces modèles possèdent déjà une compréhension robuste des caractéristiques générales des objets.
2. Affinage : Le modèle pré-entraîné est ensuite adapté à une nouvelle tâche spécifique. Cette adaptation, appelée affinage, implique un entraînement plus poussé du modèle sur un ensemble de données plus petit et spécifique à la tâche. Au cours de cette phase, le taux d'apprentissage est généralement maintenu bas afin d'apporter des ajustements mineurs aux poids du modèle sans perdre les précieuses caractéristiques pré-apprises. Pour un guide détaillé, vous pouvez consulter le tutoriel PyTorch sur l'apprentissage par transfert.

Applications concrètes

L'apprentissage par transfert n'est pas seulement un concept théorique ; il a des applications pratiques dans de nombreux secteurs.

• Analyse d'images médicales : Un modèle peut être pré-entraîné sur l'ensemble de données général ImageNet, puis affiné pour détecter des anomalies spécifiques comme les tumeurs cérébrales à partir d'images IRM. Étant donné que les données médicales étiquetées sont souvent rares et coûteuses à obtenir, l'apprentissage par transfert permet de créer des outils de diagnostic précis sans avoir besoin de millions d'images médicales. Pour plus d'informations à ce sujet, découvrez comment l'IA crée une nouvelle ère de précision en radiologie.
• Véhicules autonomes : Un modèle de détection d'objets peut être pré-entraîné sur un ensemble de données massif d'images de routes, puis affiné par un constructeur automobile spécifique pour reconnaître des modèles de véhicules uniques ou fonctionner dans des conditions météorologiques spécifiques. Cela exploite les connaissances existantes des voitures, des piétons et des panneaux, ce qui accélère le développement et améliore la sécurité.

Apprentissage par transfert vs. Concepts connexes

Il est important de différencier l'apprentissage par transfert des autres techniques de ML :

• Modèles de fondation: Ce sont des modèles à grande échelle pré-entraînés sur de vastes quantités de données, conçus spécifiquement pour être adaptés à diverses tâches en aval. L'apprentissage par transfert est le processus d'adaptation de ces modèles de fondation.
• Apprentissage zéro-shot : Cette technique permet à un modèle de reconnaître des classes qu'il n'a pas vues pendant l'entraînement. Alors que l'apprentissage par transfert adapte un modèle à une nouvelle tâche avec de nouvelles données, l'apprentissage zéro-shot vise à la généralisation sans aucun exemple des nouvelles classes. Notre guide sur l'apprentissage Few-Shot, Zero-Shot et par transfert explique ces différences plus en détail.
• Distillation des connaissances: Ceci implique l'entraînement d'un plus petit modèle "étudiant" pour imiter le comportement d'un plus grand modèle "enseignant" afin d'atteindre l'efficacité. L'apprentissage par transfert se concentre sur l'adaptation des connaissances d'une tâche à une autre, tandis que la distillation se concentre sur la compression des connaissances au sein de la même tâche.

Outils et frameworks

L'application de l'apprentissage par transfert est rendue accessible grâce à divers outils et plateformes. Des frameworks tels que PyTorch et TensorFlow fournissent une documentation complète et des modèles pré-entraînés. Des plateformes comme Ultralytics HUB rationalisent l'ensemble du flux de travail, permettant aux utilisateurs de charger facilement des modèles pré-entraînés comme YOLOv8 et YOLO11, d'effectuer un entraînement personnalisé sur de nouveaux ensembles de données et de gérer le déploiement de modèles. Pour une compréhension théorique plus approfondie, des ressources telles que la présentation de Stanford CS231n sur l'apprentissage par transfert sont inestimables.