Latent Reasoning

Le raisonnement latent est un raisonnement qu’un modèle effectue dans ses états cachés, les vecteurs continus à l’intérieur du réseau neuronal, plutôt que sous forme de jetons écrits. Avec le prompting par chaîne de raisonnement, un grand modèle de langage (LLM) écrit chaque étape intermédiaire sous forme de texte, puis la relit ; avec le raisonnement latent, les étapes intermédiaires restent des vecteurs et seule la réponse est décodée. Le terme désigne deux choses : le raisonnement implicite qui se déroule lors d’une seule passe avant, par exemple lorsqu’un modèle résout une question en deux étapes sans énoncer le fait qui les relie, et les méthodes qui entraînent les modèles à raisonner dans un espace continu, comme Coconut de Meta, publié en décembre 2024, et les modèles à profondeur récurrente de 2025.

Pourquoi raisonner dans l’espace latent#

Une étape écrite transmet très peu d’informations vers l’avant. Chaque jeton est un choix parmi des dizaines de milliers de possibilités, tandis que l’état caché d’un petit Transformer contient des centaines ou des milliers de nombres capables d’encoder plusieurs résultats partiels à la fois. Écrire les étapes prend aussi du temps : chaque jeton de raisonnement nécessite une passe avant complète, et une longue chaîne de pensée augmente la latence d’inférence et le coût de service. Des calculs supplémentaires dans les couches cachées sont utiles même sans mots. Des chercheurs de Google et de la Carnegie Mellon University ont montré en 2023 que l’entraînement d’un modèle de 1 milliard de paramètres avec des jetons « pause » entraînables, qui lui accordent des passes avant supplémentaires avant de répondre, améliorait de 18 % le score de correspondance exacte au test de questions-réponses SQuAD.

Coconut : chaîne de pensées continues#

Des chercheurs de Meta et de l’UC San Diego ont présenté Coconut dans Training Large Language Models to Reason in a Continuous Latent Space. Entre des jetons spéciaux de début et de fin de réflexion, le modèle réinjecte directement son dernier état caché comme prochaine intégration, au lieu de le décoder en un mot. Coconut utilise le GPT-2 d’OpenAI, et la même boucle fonctionne avec le modèle préentraîné :

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
ids = tokenizer("Question: 3 apples plus 4 apples is", return_tensors="pt").input_ids
embeds = model.get_input_embeddings()(ids)

# Continuous thoughts: the last hidden state becomes the next input embedding
with torch.no_grad():
    for _ in range(4):
        hidden = model(inputs_embeds=embeds, output_hidden_states=True).hidden_states[-1]
        thought = hidden[:, -1:]  # a vector that is never decoded into a token
        embeds = torch.cat([embeds, thought], dim=1)

print(f"Positions: {ids.shape[1]} prompt tokens + 4 thoughts = {embeds.shape[1]}")
print(f"Each thought: {thought.shape[-1]} floats; each written step: 1 of {tokenizer.vocab_size:,} tokens")

Quatre étapes de raisonnement font passer la séquence de 8 à 12 positions sans produire de texte, et chaque étape transmet 768 nombres à virgule flottante à la passe avant suivante, alors qu’une étape écrite transmet l’un des 50 257 jetons possibles, soit environ 15,6 bits d’information. Coconut affine GPT-2 au moyen de cette boucle et d’un programme progressif qui remplace les étapes de raisonnement écrites par des pensées continues, une étape à la fois. Sur ProsQA, une tâche de raisonnement logique qui nécessite de la planification, il atteint une précision de 97,0 % en générant en moyenne 14,2 jetons, contre 77,5 % et 49,4 jetons pour la chaîne de raisonnement. Sur les problèmes de mathématiques GSM8K, il obtient un résultat inférieur à celui de la chaîne de raisonnement, 34,1 % contre 42,9 %, tout en générant environ trois fois moins de jetons. Les auteurs ont constaté qu’une seule pensée continue peut encoder plusieurs étapes suivantes possibles à la fois, ce qui permet au modèle d’explorer les options en largeur, contrairement à une chaîne écrite, qui s’engage sur un jeton à la fois.

Autres approches#

Les modèles à profondeur récurrente réutilisent le même bloc de couches de nombreuses fois. En 2025, Jonas Geiping et ses collègues ont entraîné un modèle de 3,5 milliards de paramètres sur 800 milliards de jetons, qui exécute un bloc récurrent en boucle lors de l’inférence. Ses scores aux tests de raisonnement continuaient de s’améliorer avec le nombre d’itérations, jusqu’à un calcul équivalent à celui d’un modèle de 50 milliards de paramètres, sans produire un seul jeton supplémentaire. La récurrence permet ainsi d’augmenter le calcul au moment du test, un axe des lois de mise à l’échelle que l’on exploite habituellement en générant des chaînes de raisonnement plus longues. Les méthodes de chaîne de raisonnement implicite entraînent un modèle sur des solutions détaillées, puis suppriment progressivement les étapes écrites : l’internalisation étape par étape de Yuntian Deng, Yejin Choi et Stuart Shieber a appris à GPT-2 Small à multiplier des nombres à 9 chiffres avec une précision pouvant atteindre 99 %, sans étapes intermédiaires.

L’idée s’étend au-delà du texte. Les grands modèles conceptuels (LCM) de Meta prédisent l’intégration de la phrase suivante plutôt que le jeton suivant ; les architectures prédictives à intégration conjointe (JEPA) prédisent les parties manquantes des images et des vidéos dans l’espace latent plutôt que dans les pixels ; et les systèmes d’IA incarnée, comme Helix de Figure, transmettent un vecteur latent, et non du texte, d’un modèle vision-langage (VLM) à la politique qui commande le robot. Les détecteurs utilisent le même type d’état caché : dans Ultralytics YOLO26, model.embed() exécute le mode predict jusqu’à la couche précédant la tête de détection, puis applique un pooling moyen à sa carte de caractéristiques pour obtenir un vecteur par image, au lieu de boîtes et d’étiquettes de classe.

Interprétabilité et sécurité#

Une chaîne de raisonnement écrite fournit aux humains et aux systèmes de surveillance automatisés un compte rendu à examiner ; les modèles de raisonnement qui raisonnent en texte peuvent être vérifiés pour repérer les signes de piratage de la récompense ou de tromperie avant qu’ils n’agissent. Un document de position publié en juillet 2025 par des chercheurs d’OpenAI, de Google DeepMind, d’Anthropic, de Meta et d’autres organisations qualifiait la possibilité de surveiller les chaînes de raisonnement d’occasion fragile pour la sécurité de l’IA et avertissait que les architectures à raisonnement latent risquaient de la supprimer. Les étapes latentes ne peuvent être examinées qu’indirectement, à l’aide d’outils d’interprétabilité mécaniste comme les sondes, le prisme des logits et les autoencodeurs parcimonieux (SAE) ; dans l’article sur Coconut, le décodage d’une pensée continue par la tête du modèle de langage répartissait sa probabilité entre plusieurs valeurs intermédiaires possibles.