Réglage fin efficace des paramètres (PEFT)

Le Parameter-Efficient Fine-Tuning (PEFT) décrit un ensemble de techniques utilisées dans l'apprentissage automatique (ML) pour adapter de grands modèles pré-entraînés (comme les modèles de fondation) à des tâches spécifiques en aval sans avoir besoin de mettre à jour tous les paramètres du modèle. Au lieu de cela, les méthodes PEFT se concentrent sur la modification d'un petit sous-ensemble de paramètres ou sur l'ajout d'un petit nombre de nouveaux paramètres. Cette approche réduit considérablement les coûts de calcul et de stockage associés à la mise au point de modèles massifs, tels que les grands modèles de langage (LLM) ou les modèles de vision à grande échelle utilisés dans la vision par ordinateur (CV), ce qui rend la personnalisation plus accessible et plus efficace.

Pertinence et avantages

L'essor de modèles préformés extrêmement volumineux, contenant souvent des milliards de paramètres, a rendu les méthodes traditionnelles de réglage fin gourmandes en ressources. La mise au point complète de ces modèles nécessite une puissance de calcul importante (souvent plusieurs GPU haut de gamme), de grandes quantités de mémoire et un espace de stockage considérable pour chaque modèle adapté. PEFT relève ces défis en offrant plusieurs avantages clés :

• Coût informatique réduit : L'entraînement d'une petite fraction seulement de paramètres nécessite beaucoup moins de puissance de calcul et de temps, ce qui permet une itération et une expérimentation plus rapides, potentiellement en utilisant des plateformes comme Ultralytics HUB Cloud Training.
• Besoins en mémoire réduits : Moins de paramètres actifs signifie que moins de mémoire est nécessaire pendant la formation et l'inférence, ce qui permet d'affiner les grands modèles sur du matériel grand public ou des appareils périphériques.
• Empreinte de stockage réduite : Au lieu d'enregistrer une copie complète du modèle affiné pour chaque tâche, PEFT ne nécessite souvent que l'enregistrement d'un petit ensemble de paramètres modifiés ou ajoutés, ce qui permet de réaliser des économies substantielles en termes de stockage.
• Atténuation du surajustement : En limitant le nombre de paramètres entraînables, PEFT peut réduire le risque de surajustement, en particulier lors de la mise au point sur des ensembles de données plus petits.
• Prévention de l'oubli catastrophique : Les méthodes PEFT, en gelant la plupart des paramètres du modèle de base, permettent de conserver les connaissances générales apprises lors de la préformation, ce qui permet de surmonter l'oubli catastrophique où un modèle perd ses capacités antérieures lors de l'apprentissage de nouvelles tâches.
• Déploiement efficace du modèle : La taille réduite des paramètres spécifiques à la tâche rend le déploiement du modèle plus simple, en particulier dans les environnements à ressources limitées comme l'IA périphérique.

Concepts et techniques clés

PEFT s'appuie sur le concept de l'apprentissage par transfert, où les connaissances d'un modèle de base sont appliquées à une nouvelle tâche. Alors que le réglage fin standard ajuste de nombreuses couches (ou toutes les couches), le PEFT utilise des méthodes spécialisées. Parmi les techniques PEFT les plus populaires, on peut citer :

• Adaptateurs: Petits modules de réseaux neuronaux insérés entre les couches d'un modèle pré-entraîné. Seuls les paramètres de ces modules adaptateurs sont entraînés lors de la mise au point, tandis que les poids du modèle original restent figés.
• LoRA (Low-Rank Adaptation): Cette technique injecte des matrices de faible rang entraînables dans les couches (souvent des couches de transformation ) d'un grand modèle. Elle part de l'hypothèse que le changement nécessaire pour adapter le modèle a un faible "rang intrinsèque" et peut être représenté efficacement. Lis l'article de recherche LoRA original pour plus de détails.
• Réglage par préfixe: Ajoute une séquence de vecteurs continus et spécifiques à la tâche (préfixes) à l'entrée, en gardant les paramètres LLM de base gelés. Seuls les paramètres des préfixes sont appris.
• Réglage de l'invite: Semblable au réglage des préfixes, mais il le simplifie en ajoutant à la séquence d'entrée des "invites douces" (embeddings) pouvant être entraînées, qui sont optimisées directement par la rétropropagation.

Les bibliothèques telles que la bibliothèqueHugging Face PEFT fournissent des implémentations de diverses méthodes PEFT, ce qui permet de les intégrer plus facilement dans les flux de travail ML courants.

Distinction par rapport aux concepts apparentés

Il est important de distinguer PEFT des autres techniques d'adaptation et d'optimisation des modèles :

• Mise au point: Le réglage fin standard met généralement à jour tous les paramètres du modèle pré-entraîné ou une partie importante d'entre eux sur un nouvel ensemble de données. PEFT, en revanche, ne modifie qu'une très petite partie des paramètres ou en ajoute quelques nouveaux.
• Élagage du modèle: Cette technique consiste à supprimer les paramètres redondants ou sans importance (poids ou connexions) d'un modèle entraîné afin de réduire sa taille et son coût de calcul, souvent après l' entraînement ou l'ajustement complet. PEFT se concentre sur une adaptation efficace en limitant ce qui est formé au départ.
• Distillation des connaissances: Implique la formation d'un modèle "étudiant" plus petit pour imiter le comportement d'un modèle "enseignant" plus grand et préformé. PEFT adapte directement le grand modèle lui-même, mais de manière efficace.
• Réglage des hyperparamètres: Ce processus se concentre sur la recherche des paramètres de configuration optimaux pour le processus de formation (par ex, taux d'apprentissage, taille du lot) plutôt que d'adapter les paramètres appris du modèle à une nouvelle tâche. Des outils comme le Ultralytics Tuner classe faciliter cela.

Applications dans le monde réel

PEFT permet l'application pratique de grands modèles dans divers domaines :

• Traitement du langage naturel (NLP) : Adaptation de modèles tels que BERT ou GPT-4 pour des tâches spécialisées telles que l'analyse des sentiments dans la littérature médicale, le résumé de documents juridiques ou la création de chatbots spécifiques à un domaine. Une entreprise pourrait utiliser PEFT pour affiner un LLM général de service à la clientèle sur sa base de connaissances interne afin d'obtenir des réponses plus précises sans le coût d'un réentraînement complet. Des groupes de recherche comme le Stanford NLP Group explorent ces applications.
• Vision par ordinateur (CV) : Personnaliser les grands modèles de vision comme les transformateurs de vision (ViT) ou les modèles d'analyse de l'environnement ( Ultralytics ). Ultralytics YOLO pour des tâches spécifiques de reconnaissance visuelle. Par exemple, l'adaptation d'un modèle pré-entraîné sur le vaste ensemble de données COCO pour la détection précise d'objets de défauts uniques dans le contrôle de la qualité de fabrication, la réalisation d'une segmentation d'image spécialisée pour l'analyse d'images médicales, ou l'identification d'espèces animales spécifiques dans les pièges photographiques de conservation de la faune et de la flore. Des outils comme Ultralytics HUB peuvent aider à gérer ces modèles adaptés.

Essentiellement, le Parameter-Efficient Fine-Tuning rend les modèles d 'IA de pointe tels que les modèlesYOLO 'Ultralytics plus polyvalents et plus rentables à adapter à un large éventail d'applications spécifiques, démocratisant ainsi l'accès à de puissantes capacités d'IA.