Réglage d'invite

Le réglage d'invite est une technique puissante et efficace pour adapter de grands modèles pré-entraînés, tels que les grands modèles linguistiques (LLM), à de nouvelles tâches sans modifier les poids du modèle original. C'est une forme de réglage fin efficace en termes de paramètres (PEFT) qui maintient figés les milliards de paramètres du modèle de base et apprend à la place un petit ensemble d'"invites douces" spécifiques à la tâche. Ces invites douces ne sont pas du texte lisible par l'homme, mais des incorporations apprenables ajoutées à l'entrée, qui guident le modèle figé pour produire la sortie souhaitée pour une tâche en aval spécifique. Cette approche réduit considérablement le coût de calcul et le stockage nécessaires à l'adaptation spécifique à la tâche, comme documenté dans le document de recherche original de Google AI.

L'idée centrale est d'entraîner seulement quelques milliers ou millions de paramètres supplémentaires (le soft prompt) par tâche, plutôt que de réentraîner ou d'affiner l'ensemble du modèle, qui pourrait avoir des milliards de paramètres. Cela permet de créer de nombreux « modules de prompt » spécialisés pour un seul modèle pré-entraîné, chacun étant adapté à une tâche différente, sans créer de copies complètes du modèle. Cette méthode permet également d'atténuer l'oubli catastrophique, où un modèle oublie les informations apprises précédemment lorsqu'il est entraîné sur une nouvelle tâche.

Applications concrètes

Le réglage d'invite permet la personnalisation de modèles de fondation puissants pour un large éventail d'applications spécialisées.

• Analyse de sentiment personnalisée : Une entreprise souhaite analyser les commentaires des clients sur ses produits spécifiques. Un modèle d'analyse de sentiment à usage général pourrait ne pas comprendre le jargon spécifique à l'industrie. En utilisant le réglage des prompts, l'entreprise peut adapter un grand modèle comme BERT en entraînant un petit ensemble de prompts souples sur ses propres avis clients étiquetés. Le modèle résultant peut classer avec précision les commentaires sans avoir besoin d'un entraînement complet du modèle, fournissant ainsi des informations plus nuancées.
• Chatbots médicaux spécialisés : Un organisme de soins de santé vise à créer un chatbot qui répond aux questions des patients sur des conditions médicales spécifiques. L'entraînement complet d'un grand LLM médical est gourmand en ressources. Au lieu de cela, ils peuvent utiliser le réglage d'invite sur un modèle pré-entraîné comme GPT-4. En entraînant une invite spécifique à une tâche sur un ensemble de données médicales organisé, le chatbot apprend à fournir des réponses précises et contextuelles pour ce domaine, rendant l'IA dans les soins de santé plus puissante et plus accessible.

Prompt Tuning vs. Concepts Connexes

Il est important de distinguer le Prompt Tuning des techniques similaires :

• Affinage : Cette méthode met à jour une grande partie, voire la totalité, des paramètres d'un modèle pré-entraîné sur un nouveau jeu de données. Elle est plus gourmande en calcul, mais peut parfois atteindre des performances plus élevées en adaptant en profondeur les représentations internes du modèle. Les conseils d'entraînement du modèle couvrent souvent les aspects de l'affinage.
• Ingénierie de prompts : Cela se concentre sur la conception manuelle de prompts textuels efficaces (prompts "durs") pour guider un modèle pré-entraîné figé. Cela implique de créer des instructions et des exemples dans le texte d'entrée lui-même et n'implique pas l'entraînement de nouveaux paramètres. Des techniques comme le prompting chain-of-thought entrent dans cette catégorie.
• Enrichissement de prompt : Cette technique améliore automatiquement le prompt d'un utilisateur en ajoutant du contexte, par exemple, en utilisant la génération augmentée par récupération (RAG), avant qu'il ne soit envoyé au modèle d'IA. Contrairement au réglage de prompt, il affine la requête d'entrée sans entraîner de nouveaux paramètres.
• LoRA (Adaptation à faible rang): Une autre technique PEFT qui injecte de petites matrices de faible rang entraînables dans les couches existantes (comme le mécanisme d'attention) du modèle pré-entraîné. Elle met à jour différentes parties du modèle par rapport au Prompt Tuning, qui se concentre uniquement sur les incorporations d'entrée. Les deux se trouvent souvent dans des bibliothèques comme la bibliothèque Hugging Face PEFT.

Bien que le Prompt Tuning soit principalement appliqué aux LLM dans le domaine du traitement du langage naturel (NLP), le principe fondamental de l'adaptation efficace est pertinent dans l'ensemble de l'intelligence artificielle (IA). Dans le domaine de la vision par ordinateur (CV), bien que le fine-tuning complet de modèles tels que Ultralytics YOLO sur des jeux de données personnalisés soit courant pour des tâches telles que la détection d'objets, les méthodes PEFT gagnent du terrain, en particulier pour les grands modèles multimodaux. Des plateformes comme Ultralytics HUB rationalisent le processus d'entraînement et de déploiement de divers modèles d'IA, intégrant potentiellement ces techniques efficaces à l'avenir.