Prompt Engineering

L'ingénierie des invites consiste à concevoir l'entrée fournie à un modèle génératif, notamment ses instructions, son contexte, ses exemples et le format de sortie demandé, afin d'orienter ce que le modèle produit sans modifier ses poids. Cette pratique a pris son essor avec GPT-3 : dans Language Models are Few-Shot Learners (2020), OpenAI a montré qu'un modèle de 175 milliards de paramètres pouvait effectuer de nouvelles tâches sans aucune mise à jour du gradient, lorsque l'invite décrivait la tâche et donnait quelques exemples, une capacité que l'article appelle apprentissage en contexte. Aujourd'hui, l'invite est le principal moyen de contrôler les grands modèles de langage (LLM), les modèles vision-langage (VLM), les générateurs texte-image et les modèles de vision pilotés par invite.

Techniques fondamentales#

• Instructions et rôles : une invite système définit le rôle, les règles et le public du modèle, tandis que des délimiteurs comme les titres ou les balises de style XML séparent les instructions des données traitées.
• Exemples few-shot : des exemples d'entrées et de sorties montrent la tâche et le format de réponse avec plus de précision qu'une description. Une invite sans exemples est dite zero-shot.
• Format de sortie : l'invite indique le format, par exemple une liste ou du JSON avec des clés données. Lorsque le code doit analyser le résultat, les sorties structurées imposent un schéma pendant le décodage au lieu de se fier à la requête.
• Invites de chaîne de pensée : demander des étapes de raisonnement intermédiaires avant la réponse, ce qui améliore la précision pour les problèmes à plusieurs étapes.
• Chaînage d'invites : diviser une tâche complexe en plusieurs invites, chacune portant sur une tâche ciblée, reliées par du code.
• Contexte récupéré : insérer des documents ou des données trouvés par recherche afin que le modèle réponde à partir des faits fournis plutôt que de sa mémoire.

Les faits fournis réduisent les hallucinations, et leur emplacement compte : l'étude Lost in the Middle a montré que les modèles utilisent mieux les informations lorsqu'elles apparaissent au début ou à la fin d'une longue fenêtre de contexte, et moins bien lorsqu'elles sont enfouies au milieu.

L'effet des exemples est plus facile à constater sur un modèle de base qui n'a jamais été ajusté par instruction. Cet extrait fournit à GPT-2, chargé avec les Transformers de Hugging Face, la même instruction avec et sans trois exemples :

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")

# The same instruction, without and with three worked examples that show the answer format
instruction = "Convert each country to its capital city.\n"
prompts = {
    "zero-shot": instruction + "Italy:",
    "few-shot": instruction + "France: Paris\nJapan: Tokyo\nCanada: Ottawa\nItaly:",
}

for name, prompt in prompts.items():
    inputs = tokenizer(prompt, return_tensors="pt")
    output = model.generate(**inputs, max_new_tokens=4, do_sample=False, pad_token_id=tokenizer.eos_token_id)
    completion = tokenizer.decode(output[0, inputs.input_ids.shape[1] :])
    print(f"{name}: {completion!r}")

Il affiche zero-shot: '\n\nItaly is' et few-shot: ' Rome\nSpain:'. L'instruction seule a fait écrire à GPT-2 un texte sur l'Italie, tandis que les trois exemples l'ont amené à répondre « Rome » dans le format attendu et à poursuivre le motif avec le pays suivant.

La conception des invites est empirique#

De petites modifications de formulation ou de mise en page peuvent entraîner de grands écarts de résultats. Melanie Sclar et ses collègues ont mesuré des écarts de précision allant jusqu'à 76 points sur LLaMA-2-13B, dus uniquement à des changements de mise en forme, comme les séparateurs, la casse et l'espacement ; cette sensibilité persistait avec des modèles plus grands, davantage d'exemples et l'ajustement par instruction. Les invites sont donc développées comme du code : elles sont testées sur un ensemble fixe d'entrées dont les bonnes sorties sont connues, révisées en fonction des échecs et soumises à un contrôle de version, une pratique courante de LLMOps.

Cette boucle peut être automatisée. Automatic Prompt Engineer (APE), de Yongchao Zhou et ses collègues, demande à un LLM de proposer des instructions candidates et conserve celles qui obtiennent les meilleurs scores sur des exemples ; ses instructions ont égalé ou surpassé celles rédigées par des personnes dans 19 des 24 tâches de Large Language Models Are Human-Level Prompt Engineers.

Invites pour les modèles de vision#

En vision par ordinateur, les invites prennent plusieurs formes. Les générateurs texte-image comme Stable Diffusion répondent à des descriptions du sujet, du style, de l’éclairage et de la composition, ainsi qu’à des invites négatives indiquant ce qu’il faut éviter. Les modèles de segmentation pilotés par invites acceptent des invites visuelles, comme des points et des boîtes ; le SAM 3 de Meta accepte aussi de courtes expressions nominales et segmente chaque instance du concept nommé, une fonctionnalité qu’Ultralytics Platform utilise pour l’annotation automatique guidée par texte.

Les détecteurs à vocabulaire ouvert transforment les noms de classes en invites. Ultralytics YOLOE détecte et segmente les classes nommées par set_classes(), comme « chariot élévateur » ou « autobus à impériale », en comparant les caractéristiques des régions aux plongements textuels de ces noms ; la formulation modifie donc directement ce qu'il trouve. Comme la correspondance repose sur l'apparence, les invites qui dépendent d'un état, d'une position ou d'une comparaison, comme « endommagé », « le plus à gauche » ou « celui qui est porté », ne disposent pas d'un repère visuel fiable, et les noms proches des catégories courantes donnent les meilleurs résultats.

Ingénierie des invites et notions connexes#

• Ajustement d'invite : apprend des vecteurs d'invite continus par descente de gradient sur des données annotées. L'ingénierie des invites consiste à rédiger l'invite à la main en langage naturel.
• Ajustement fin : modifie les poids du modèle en l'entraînant sur un jeu de données annoté. L'ingénierie des invites laisse le modèle inchangé et intervient au moment de l'inférence.
• Ingénierie du contexte : couvre tout ce qui entre dans le contexte du modèle au sein d'une application, notamment les documents récupérés, les résultats des outils et la mémoire. L'ingénierie des invites concerne la rédaction des instructions et des exemples.
• Injection d'invite : attaque qui dissimule des instructions dans les textes ou les images lus par le modèle afin qu'elles prennent le pas sur l'invite du développeur.