LoRA (Low-Rank Adaptation)

LoRA, ou Low-Rank Adaptation, est une technique très efficace utilisée pour adapter de grands modèles d'apprentissage machine (ML) pré-entraînés à des tâches spécifiques sans qu'il soit nécessaire de réentraîner l'ensemble du modèle. Détaillée à l'origine dans un article rédigé par des chercheurs de Microsoft, la LoRA est devenue la pierre angulaire du Parameter-Efficient Fine-Tuning (PEFT). Il réduit considérablement les coûts de calcul et les besoins de stockage associés à la personnalisation de modèles massifs, tels que les grands modèles de langage (LLM) et d'autres modèles de base.

Fonctionnement de la LoRA

Au lieu de mettre à jour les milliards de poids d' un modèle pré-entraîné, LoRA les gèle tous. Elle injecte ensuite une paire de petites matrices entraînables, appelées adaptateurs de rang faible, dans des couches spécifiques du modèle, souvent dans le mécanisme d'attention d'une architecture Transformer. Au cours du processus de formation, seuls les paramètres de ces nouvelles matrices, beaucoup plus petites, sont mis à jour. L'idée de base est que les changements nécessaires pour adapter le modèle à une nouvelle tâche peuvent être représentés avec beaucoup moins de paramètres que le modèle original n'en contient. Cela permet de tirer parti de principes similaires à la réduction de la dimensionnalité pour capturer les informations essentielles à l'adaptation sous une forme compacte. Une fois la formation terminée, le petit adaptateur peut être fusionné avec les poids d'origine ou conservé séparément pour un changement de tâche modulaire.

Applications dans le monde réel

L'efficacité de LoRA en fait un outil idéal pour un large éventail d'applications, en particulier lorsque plusieurs modèles personnalisés sont nécessaires.

• Personnalisation des chatbots : Une entreprise peut prendre un LLM puissant et polyvalent et utiliser LoRA pour le former à sa base de connaissances interne. Cela permet de créer un chatbot de service à la clientèle spécialisé qui comprend la terminologie propre à l'entreprise sans avoir à supporter le coût considérable d'une mise au point complète.
• Art de l'IA et transfert de style : Les artistes et les concepteurs utilisent LoRA pour adapter des modèles d'IA générative tels que Stable Diffusion à un style artistique spécifique. En entraînant un adaptateur sur un petit ensemble de leurs propres images, ils peuvent générer de nouvelles œuvres d'art qui imitent leur esthétique unique, une pratique populaire sur des plateformes comme Hugging Face.

LoRA et concepts connexes

Il est utile de distinguer la LoRA des autres techniques d'adaptation des modèles :

• Ajustement complet : Cette méthode met à jour tous les poids d'un modèle pré-entraîné sur un nouvel ensemble de données. Bien qu'elle soit souvent efficace, elle nécessite des ressources de calcul(GPU) et de stockage importantes pour chaque modèle adapté. LoRA, en revanche, gèle les poids originaux et n'entraîne que les petites matrices d'adaptation injectées. Pour plus de détails, consultez notre glossaire sur le réglage fin et la présentation du réglage fin de NVIDIA.
• Réglage des invites : Cette technique maintient les poids du modèle complètement gelés et apprend à la place des "invites douces" continues (vecteurs ajoutés aux encastrements d'entrée) pour orienter le comportement du modèle pour des tâches spécifiques. Contrairement à LoRA, elle ne modifie pas les poids du modèle mais se concentre uniquement sur l'adaptation de la représentation de l'entrée. Pour en savoir plus sur le réglage des invites et l'ingénierie des invites.
• Autres méthodes PEFT : LoRA n'est qu'une technique parmi d'autres dans le domaine plus large du Parameter-Efficient Fine-Tuning (PEFT). Les autres méthodes comprennent Adapter Tuning (similaire mais avec des structures d'adaptateur légèrement différentes), Prefix Tuning, et IA³, chacune offrant des compromis différents en matière d'efficacité des paramètres et de performance. Ces méthodes sont couramment disponibles dans des frameworks tels que la bibliothèque Hugging Face PEFT.

En résumé, LoRA offre un moyen puissant et économe en ressources de personnaliser de grands modèles de base pré-entraînés pour un large éventail de tâches spécifiques dans les domaines du traitement du langage naturel (NLP) et de la vision par ordinateur, rendant ainsi l'IA avancée plus pratique et plus accessible. Cette approche permet de gérer et de déployer facilement de nombreux modèles spécialisés, un processus rationalisé par des plateformes comme Ultralytics HUB pour la gestion des cycles de vie des modèles.