Chain-of-Thought Prompting

L’invite par chaîne de raisonnement (CoT) est une technique d’ingénierie d’invites dans laquelle un grand modèle de langage (LLM) écrit des étapes de raisonnement intermédiaires avant de donner sa réponse finale. Au lieu de passer directement d’une question à « 9 », le modèle écrit « 23 - 20 = 3, et 3 + 6 = 9 », puis donne la réponse. Jason Wei et ses collègues de Google ont présenté cette technique dans l’article de 2022 L’invite par chaîne de raisonnement suscite le raisonnement dans les grands modèles de langage. Avec huit exemples résolus dans l’invite, PaLM 540B est passé de 17,9 % à 56,9 % sur GSM8K, un benchmark de problèmes mathématiques rédigés pour l’école primaire, dépassant le précédent meilleur score de 55 %, obtenu par un GPT-3 ajusté fin et associé à un vérificateur entraîné séparément.

Fonctionnement des invites par chaîne de raisonnement#

Un LLM génère du texte un jeton à la fois, et chaque jeton traverse le même nombre fixe de couches du réseau. Pour une question dont la réponse dépend de plusieurs étapes, le modèle doit effectuer tout le raisonnement avant d’écrire le premier jeton de la réponse. Lorsque le modèle écrit les étapes, chaque résultat intermédiaire entre dans la fenêtre de contexte et conditionne tous les jetons suivants ; les problèmes plus difficiles obtiennent donc davantage de jetons, et davantage de calcul, avant l’apparition de la réponse.

La méthode CoT en quelques exemples place dans l’invite une poignée d’exemples, chacun constitué d’une question suivie d’une solution détaillée ; le modèle reproduit ce format pour la nouvelle question, un cas d’apprentissage avec peu d’exemples à partir des exemples inclus dans l’invite. Cet échange tiré de la figure 1 de l’article de Wei et al. illustre ce format. La première réponse est l’exemple intégré à l’invite, et la seconde est la réponse du modèle :

Q: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have now?
A: Roger started with 5 balls. 2 cans of 3 tennis balls each is 6 tennis balls. 5 + 6 = 11. The answer is 11.

Q: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have?
A: The cafeteria had 23 apples originally. They used 20 to make lunch. So they had 23 - 20 = 3. They bought 6 more apples, so they have 3 + 6 = 9. The answer is 9.

Avec le même exemple réduit à « La réponse est 11. », le modèle a répondu « La réponse est 27. » à la question sur la cafétéria.

La méthode CoT sans exemple n’en nécessite aucun. Takeshi Kojima et ses collègues ont constaté que l’ajout de « Réfléchissons étape par étape » à une question suffit à déclencher une chaîne écrite : avec InstructGPT (text-davinci-002), cette formule a fait passer la précision sans exemple sur le benchmark MultiArith de 17,7 % à 78,7 %, et sur GSM8K de 10,4 % à 40,7 %, comme le rapporte l’article Les grands modèles de langage raisonnent sans exemple.

Quand la chaîne de raisonnement est utile#

Les gains dépendent de la taille du modèle et de la tâche. Wei et al. décrivent CoT comme une capacité émergente liée à l’échelle : les améliorations n’apparaissaient que dans des modèles comptant environ 100 milliards de paramètres, tandis que les modèles plus petits « produisaient des chaînes de raisonnement fluides, mais illogiques » et obtenaient des scores inférieurs à ceux des invites standard. Les gains les plus importants concernaient les problèmes à plusieurs étapes en arithmétique, en raisonnement de bon sens et en raisonnement symbolique. Sur SingleOp, un ensemble de problèmes d’arithmétique à une étape, l’amélioration était négative ou très faible.

L’échantillonnage de plusieurs chaînes donne de meilleurs résultats qu’une seule. Avec la cohérence en auto-échantillonnage, Xuezhi Wang et ses collègues échantillonnent divers parcours de raisonnement à l’aide de l’échantillonnage par noyau ou par température, puis retiennent la réponse approuvée par la majorité des parcours ; cette méthode a amélioré de 17,9 points de pourcentage la précision sur GSM8K par rapport à une chaîne gloutonne unique. Chaque chaîne supplémentaire ajoute des jetons générés ; CoT et la cohérence en auto-échantillonnage échangent donc latence d’inférence et coût contre précision.

Les pipelines vision-langage utilisent le même principe avec des éléments visuels. Dans Ultralytics Platform Agents, un bloc LLM reçoit une image avec les détections YOLO26 produites en amont ; une invite par chaîne de raisonnement peut alors faire examiner un par un les objets détectés par un modèle vision-langage, avant qu’il ne donne son verdict sur la scène.

Modèles de raisonnement et fidélité#

Les modèles de raisonnement, comme o1 d’OpenAI, publié en septembre 2024, sont entraînés par apprentissage par renforcement à produire une longue chaîne de raisonnement avant chaque réponse ; ce comportement ne dépend donc plus de l’invite. Les bonnes pratiques de raisonnement d’OpenAI conseillent aux développeurs d’éviter les instructions du type « réfléchis étape par étape » avec ces modèles, car ces invites peuvent être inutiles, voire parfois nuire aux résultats.

Une chaîne écrite ressemble aussi à une explication de la réponse, ce qui incite à l’interpréter comme de l’IA explicable. Miles Turpin et ses collègues ont montré qu’elle peut déformer la cause réelle dans Les modèles de langage ne disent pas toujours ce qu’ils pensent : lorsque les exemples en quelques coups étaient réordonnés de sorte que la bonne réponse soit toujours « (A) », GPT-3.5 et Claude 1.0 choisissaient davantage « (A) » et rédigeaient des chaînes qui justifiaient leur réponse sans mentionner l’ordre des choix. Des caractéristiques biaisantes comme celle-ci ont fait chuter la précision jusqu’à 36 % sur 13 tâches BIG-Bench Hard. Les chaînes plausibles, mais erronées, sont une source d’hallucinations dans les LLM.

Chaîne de raisonnement et techniques apparentées#

• Enchaînement d’invites : répartit une tâche entre plusieurs appels de modèle, le code transmettant chaque sortie à l’invite suivante. La CoT se déroule au sein d’un seul appel.
• Arbre de pensées (ToT) : Génère plusieurs étapes candidates à chaque point, les évalue et explore l’arbre obtenu avec retour arrière, tandis que CoT suit un seul chemin.
• Prompting ReAct : Entrelace les étapes de raisonnement avec des actions comme des recherches ou des appels d’outils, puis réinjecte les résultats dans la chaîne.
• Chaîne de vérification (CoVe) : Demande au modèle de rédiger une réponse, de se poser des questions de vérification, d’y répondre indépendamment, puis de réviser son brouillon.
• Raisonnement latent : Effectue le raisonnement intermédiaire dans les états cachés du modèle plutôt qu’avec des tokens écrits, de sorte qu’aucune chaîne ne soit visible.