Prompt Tuning

L'ajustement des prompts est une technique économe en ressources utilisée pour adapter des modèles fondamentaux pré-entraînés à des tâches spécifiques en aval, sans supporter le coût computationnel du réentraînement de l'ensemble du réseau. Contrairement à l'ajustement fin traditionnel, qui met à jour tout ou partie des paramètres d'un modèle, l'ajustement des prompts gèle les poids du modèle pré-entraîné et optimise uniquement un petit ensemble de vecteurs apprenables — appelés « prompts souples » — qui sont ajoutés au début des données d'entrée. Cette approche permet à un unique backbone massif de prendre en charge simultanément plusieurs applications spécialisées, réduisant considérablement les besoins en stockage et les coûts de changement liés à la latence d'inférence.

Les mécanismes de l'ajustement des prompts#

Dans les flux de travail standards d'apprentissage automatique (ML), les entrées telles que le texte ou les images sont converties en représentations numériques appelées embeddings. L'ajustement des prompts insère des vecteurs d'embedding supplémentaires et entraînables dans cette séquence d'entrée. Pendant la phase d'entraînement, le système utilise la rétropropagation pour calculer les gradients, mais l'algorithme d'optimisation ne met à jour que les valeurs des prompts souples, laissant intacte la structure massive du modèle.

Cette méthode est une forme d'ajustement fin efficace en paramètres (PEFT). En apprenant ces vecteurs continus, le modèle est « orienté » vers la sortie souhaitée. Bien que ce concept soit apparu dans le traitement automatique du langage (NLP), il a été adapté avec succès aux tâches de vision par ordinateur (CV), souvent désignées sous le nom d'ajustement de prompts visuels (VPT).

Distinction entre concepts connexes#

Pour comprendre l'utilité de l'ajustement des prompts, il est essentiel de le distinguer des termes similaires dans le domaine de l'IA :

• Ingénierie des prompts : Il s'agit de rédiger manuellement des instructions textuelles compréhensibles par les humains (prompts explicites) afin de guider un modèle d'IA générative. Cela ne nécessite ni codage ni entraînement. L'ajustement des prompts, en revanche, utilise l'apprentissage supervisé automatisé pour trouver des embeddings numériques optimaux qui peuvent ne pas correspondre à des mots du langage naturel.
• Ajustement fin complet : Les méthodes traditionnelles mettent à jour l'ensemble du réseau neuronal, ce qui entraîne souvent un « oubli catastrophique » de l'entraînement d'origine. L'ajustement des prompts préserve les capacités originales du modèle, ce qui facilite l'exploitation de l'apprentissage par transfert entre des tâches disjointes.
• Apprentissage à partir de quelques exemples : Ce terme désigne généralement le fait de fournir quelques exemples dans la fenêtre de contexte d'un LLM. L'ajustement des prompts s'en distingue, car il apprend de façon permanente des paramètres qui sont enregistrés et réutilisés, plutôt que de simplement fournir un contexte temporaire.

Applications concrètes#

L'ajustement des prompts permet un déploiement évolutif de l'IA dans des environnements aux ressources limitées, une philosophie fondamentale également partagée par l'Ultralytics Platform pour la gestion des modèles.

1. Support client multilingue : Une entreprise internationale peut utiliser un modèle linguistique central et gelé. En entraînant des prompts souples légers pour l'espagnol, le japonais et l'allemand, le système peut changer de langue instantanément. Cela évite le coût considérable de l'hébergement de trois modèles distincts de plusieurs gigaoctets, en utilisant à la place des fichiers de prompts de quelques kilo-octets.

2. IA dans le secteur de la santé : L'imagerie médicale souffre souvent d'un manque de données. Les chercheurs peuvent prendre un backbone de vision généraliste, comme un Vision Transformer, et utiliser l'ajustement des prompts pour l'adapter à la détection d'anomalies spécifiques, telles que les maladies rétiniennes ou les tumeurs. Cette approche préserve la confidentialité des données des patients et permet une adaptation rapide à de nouveaux équipements médicaux sans réentraîner entièrement le modèle.

Exemple d’implémentation#

L'exemple PyTorch suivant illustre le concept mécanique fondamental : geler les principales couches d'un modèle et créer un paramètre distinct et entraînable — le « prompt souple » — qui est optimisé pour influencer la sortie.

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")

Pertinence pour l'IA moderne en périphérie#

À mesure que les modèles gagnent en taille, la capacité à les adapter à moindre coût devient essentielle. Alors que des architectures comme YOLO26 sont déjà hautement optimisées pour l'efficacité, les principes de gel des backbones et d'adaptation efficace sont fondamentaux pour l'avenir de l'IA en périphérie. Des techniques similaires à l'ajustement des prompts permettent à des appareils disposant d'une mémoire limitée d'effectuer diverses tâches — de la détection d'objets à la segmentation — en échangeant simplement de petits fichiers de configuration plutôt qu'en rechargeant de gigantesques réseaux neuronaux.

Pour les développeurs qui souhaitent entraîner et déployer efficacement, l'utilisation d'outils tels que l'Ultralytics Platform garantit que les modèles sont optimisés pour leurs cibles matérielles spécifiques, en s'appuyant sur les meilleures pratiques du MLOps moderne.