Reasoning Models

Un modèle de raisonnement est un modèle de langage de grande taille (LLM) entraîné à générer une longue chaîne de pensée interne avant sa réponse finale, afin de consacrer davantage de calcul aux problèmes difficiles. OpenAI a introduit cette catégorie avec o1 le 12 septembre 2024 : lors du concours de mathématiques AIME 2024, GPT-4o a résolu 12 % des problèmes en moyenne, tandis que o1 en a résolu 74 % avec un échantillon par problème, 83 % par vote de consensus sur 64 échantillons et 93 % lorsqu’une fonction de score apprise a réordonné 1 000 échantillons. o1 a également dépassé la précision d’experts titulaires d’un doctorat dans le domaine scientifique sur le benchmark GPQA. DeepSeek-R1, les modèles Gemini de Google avec mode réflexion, Claude d’Anthropic avec réflexion prolongée et Qwen3 d’Alibaba ont suivi ; de nombreux modèles actuels sont hybrides et répondent rapidement ou réfléchissent longuement selon un paramètre.

Entraînement des modèles de raisonnement#

Le prompting par chaîne de pensée a montré en 2022 que demander à un modèle d’écrire les étapes intermédiaires améliore ses réponses. Les modèles de raisonnement apprennent ce comportement par apprentissage par renforcement (RL) sur des problèmes dont les réponses peuvent être vérifiées automatiquement, une approche appelée apprentissage par renforcement avec des récompenses vérifiables (RLVR). DeepSeek a décrit cette méthode dans son article DeepSeek-R1 en janvier 2025. Son modèle R1-Zero est parti du modèle de base DeepSeek-V3 et a été entraîné avec l’optimisation de politique relative de groupe (GRPO), récompensé uniquement pour une réponse finale correcte et un format de sortie adéquat :

Aucun exemple étape par étape n’a été fourni, mais la précision pass@1 de R1-Zero sur AIME 2024 est passée de 15,6 % à 71,0 %, puis à 86,7 % avec un vote majoritaire. Ses réponses se sont allongées au fil de l’entraînement, et le modèle a commencé à revérifier et à réviser ses propres étapes, un moment que les auteurs ont appelé « moment eurêka ». La version publiée de DeepSeek-R1 a d’abord été entraînée sur quelques milliers d’exemples de raisonnement long sélectionnés pour leur lisibilité et a atteint 79,8 % sur AIME 2024 ; DeepSeek a distillé ses traces de raisonnement dans des modèles Qwen et Llama plus petits. Un modèle de récompense de processus (PRM), qui attribue un score à chaque étape, constitue la principale alternative à ces récompenses fondées sur le résultat, même si DeepSeek a indiqué que les PRM et la recherche arborescente de Monte-Carlo n’avaient pas porté leurs fruits dans son entraînement à grande échelle.

Calcul à l’inférence#

La précision d’un modèle de raisonnement augmente avec le nombre de tokens consacrés à la réflexion, un deuxième axe des lois de mise à l’échelle, en plus de la taille du modèle et des données d’entraînement. Les API exposent ce paramètre sous la forme d’un niveau d’effort de raisonnement ou d’un budget de réflexion, et la précision peut encore augmenter en échantillonnant plusieurs réponses en parallèle puis en votant, ou en explorant des solutions partielles à l’aide d’un vérificateur. Le coût se traduit par de la latence et des tokens : un problème difficile peut consommer des milliers de tokens de raisonnement masqués avant le premier mot de la réponse. L’interface LLM d’Ultralytics transmet les arguments des requêtes sans les modifier au SDK OpenAI ; un pipeline YOLO26 peut donc transmettre reasoning={"effort": "high"} à un modèle de raisonnement via l’API Responses lorsqu’une scène détectée nécessite une réponse réfléchie.

o3 et o4-mini d’OpenAI, publiés en avril 2025, ont étendu la chaîne de pensée aux images : le modèle peut recadrer, zoomer et faire pivoter une photo tout en la raisonnant. Ce raisonnement visuel est utile pour les questions-réponses visuelles (VQA) portant sur du texte de petite taille, des graphiques et des scènes encombrées.

Limites#

Les modèles de raisonnement réfléchissent trop aux questions simples et consacrent des tokens à des cas où une réponse directe suffirait ; ils échouent encore de façon imprévisible à certaines tâches faciles, un phénomène appelé intelligence en dents de scie. L’apprentissage par renforcement sur des réponses vérifiables récompense les résultats, si bien qu’un modèle peut apprendre des raccourcis qui satisfont le vérificateur : c’est une forme de piratage de la récompense. La chaîne de pensée écrite ne constitue pas non plus un compte rendu fidèle du calcul : dans une étude d’Anthropic publiée en avril 2025, des modèles auxquels on avait fourni un indice ayant modifié leur réponse ne l’ont mentionné que dans 25 % des cas pour Claude 3.7 Sonnet et 39 % des cas pour DeepSeek-R1.

Modèles de raisonnement et notions connexes#

• Prompting par chaîne de pensée : Demande à n’importe quel LLM d’expliciter ses étapes au moment de l’inférence ; les modèles de raisonnement sont entraînés à produire ce comportement sans qu’on le leur demande.
• Pensée de système 2 : Terme psychologique désignant le raisonnement lent et délibéré, repris par le domaine pour décrire le fonctionnement des modèles de raisonnement.
• Raisonnement latent : Raisonnement effectué dans des vecteurs d’état cachés plutôt qu’avec des tokens écrits, qui ne laisse aucune trace lisible.
• Arbre de pensées : Exploration explicite de chaînes de pensée ramifiées, guidée par l’évaluation que le modèle fait de chaque branche.