Latent Reasoning

Latentes Reasoning bezeichnet Schlussfolgerungen, die ein Modell in seinen verborgenen Zuständen – den kontinuierlichen Vektoren innerhalb des neuronalen Netzwerks – statt in geschriebenen Tokens ausführt. Beim Chain-of-Thought-Prompting schreibt ein großes Sprachmodell (LLM) jeden Zwischenschritt als Text auf und liest ihn wieder ein. Beim latenten Reasoning bleiben die Zwischenschritte Vektoren; nur die Antwort wird dekodiert. Der Begriff umfasst zwei Dinge: das implizite Schlussfolgern, das bei jedem einzelnen Vorwärtsdurchlauf stattfindet, etwa wenn eine zweistufige Frage beantwortet wird, ohne die verbindende Tatsache ausdrücklich zu benennen, und Methoden, die Modelle darauf trainieren, im kontinuierlichen Raum zu denken, wie Metas Coconut, veröffentlicht im Dezember 2024, und Modelle mit rekurrenter Tiefe aus dem Jahr 2025.

Warum im latenten Raum schlussfolgern?#

Ein geschriebener Schritt übermittelt nur sehr wenige Informationen. Jedes Token ist eine Auswahl aus einem Vokabular mit Zehntausenden Einträgen, während ein verborgener Zustand selbst in einem kleinen Transformer Hunderte oder Tausende Zahlen enthält, die mehrere Teilergebnisse gleichzeitig codieren können. Das Aufschreiben der Schritte kostet außerdem Zeit: Jedes Reasoning-Token erfordert einen vollständigen Vorwärtsdurchlauf. Eine lange Gedankenkette erhöht daher die Inferenzlatenz und die Kosten für die Bereitstellung. Zusätzliche Berechnungen in verborgenen Zuständen helfen auch ohne Worte. Forschende von Google und der Carnegie Mellon University stellten 2023 fest, dass das Training eines Modells mit einer Milliarde Parametern und lernbaren „Pause“-Tokens, die vor der Antwort zusätzliche Vorwärtsdurchläufe ermöglichen, die Exact-Match-Punktzahl beim Beantworten von Fragen im SQuAD-Benchmark um 18 % erhöhte.

Coconut: eine Kette kontinuierlicher Gedanken#

Forschende von Meta und UC San Diego stellten Coconut in Training Large Language Models to Reason in a Continuous Latent Space vor. Zwischen speziellen Anfangs- und End-Tokens für Gedanken speist das Modell seinen letzten verborgenen Zustand direkt als nächste Eingabe Einbettung zurück, statt ihn in ein Wort zu dekodieren. Coconut verwendete OpenAIs GPT-2; dieselbe Schleife läuft auch auf dem vortrainierten Modell:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
ids = tokenizer("Question: 3 apples plus 4 apples is", return_tensors="pt").input_ids
embeds = model.get_input_embeddings()(ids)

# Continuous thoughts: the last hidden state becomes the next input embedding
with torch.no_grad():
    for _ in range(4):
        hidden = model(inputs_embeds=embeds, output_hidden_states=True).hidden_states[-1]
        thought = hidden[:, -1:]  # a vector that is never decoded into a token
        embeds = torch.cat([embeds, thought], dim=1)

print(f"Positions: {ids.shape[1]} prompt tokens + 4 thoughts = {embeds.shape[1]}")
print(f"Each thought: {thought.shape[-1]} floats; each written step: 1 of {tokenizer.vocab_size:,} tokens")

Vier Reasoning-Schritte verlängern die Sequenz von 8 auf 12 Positionen, ohne Text zu erzeugen. Jeder Schritt übergibt dem nächsten Vorwärtsdurchlauf 768 Gleitkommazahlen, während ein geschriebener Schritt nur eine von 50.257 möglichen Token-Optionen – etwa 15,6 Bit Information – weitergäbe. Coconut optimiert GPT-2 durch diese Schleife mit einem Lehrplan, der geschriebene Reasoning-Schritte stufenweise durch kontinuierliche Gedanken ersetzt. Bei ProsQA, einer logischen Reasoning-Aufgabe, die Planung erfordert, erreichte das Modell eine Genauigkeit von 97,0 % und erzeugte durchschnittlich 14,2 Tokens. Chain-of-Thought erreichte 77,5 % bei 49,4 Tokens. Bei den mathematischen Aufgaben von GSM8K lag Coconut mit 34,1 % hinter Chain-of-Thought mit 42,9 %, erzeugte aber etwa ein Drittel so viele Tokens. Die Autoren stellten fest, dass ein einzelner kontinuierlicher Gedanke mehrere mögliche nächste Schritte gleichzeitig codieren kann. So kann das Modell Alternativen breitensuchend erkunden, anders als bei einer geschriebenen Kette, die sich Token für Token auf eine Möglichkeit festlegt.

Weitere Ansätze#

Modelle mit rekurrenter Tiefe verwenden denselben Schichtenblock viele Male wieder. Jonas Geiping und Kollegen trainierten 2025 ein Modell mit 3,5 Milliarden Parametern anhand von 800 Milliarden Tokens. Bei der Inferenz durchläuft es einen rekurrenten Block in einer Schleife, und seine Punktzahlen bei Reasoning-Benchmarks stiegen mit mehr Iterationen weiter an – bis hin zu einer Rechenleistung, die einem Modell mit 50 Milliarden Parametern entspricht, ohne ein einziges zusätzliches Token zu schreiben. Rekurrenz ermöglicht so eine Skalierung der Testzeitberechnung – eine Dimension der Skalierungsgesetze, die üblicherweise durch längere Gedankengänge erschlossen wird. Implizite Chain-of-Thought-Methoden trainieren ein Modell anhand ausgearbeiteter Lösungen und entfernen dann schrittweise die schriftlichen Schritte. Yuntian Deng, Yejin Choi und Stuart Shiebers schrittweise Internalisierung brachte GPT-2 Small bei, Multiplikationen zweierstelliger Zahlen mit bis zu 99 % Genauigkeit ohne Zwischenschritte zu lösen.

Die Idee lässt sich über Text hinaus anwenden. Metas Large Concept Models (LCMs) sagen die Einbettung des nächsten Satzes statt des nächsten Tokens voraus. Joint Embedding Predictive Architectures (JEPA) sagen fehlende Bild- und Videobereiche im latenten Raum statt auf Pixelebene voraus. Und verkörperte KI-Systeme wie Figures Helix übermitteln einen latenten Vektor statt Text von einem Vision-Language-Modell (VLM) an die Steuerungsrichtlinie, die den Roboter bewegt. Detektoren halten denselben Typ verborgenen Zustands vor: In Ultralytics YOLO26 führt model.embed() den Vorhersagemodus nur bis zur Schicht vor dem Detektionskopf aus und mittelt die Merkmalskarte zu einem Vektor pro Bild. An die Stelle von Boxen und Klassenbezeichnungen tritt so ein einzelner Vektor.

Interpretierbarkeit und Sicherheit#

Eine schriftliche Gedankenkette liefert Menschen und automatisierten Überwachungssystemen einen lesbaren Nachweis. Reasoning-Modelle, die in Text schlussfolgern, können vor ihrem Einsatz auf Anzeichen von Reward Hacking oder Täuschung überprüft werden. Ein Positionspapier vom Juli 2025, verfasst von Forschenden von OpenAI, Google DeepMind, Anthropic, Meta und anderen Gruppen, bezeichnete die Überwachbarkeit solcher Gedankengänge als fragile Chance für die KI-Sicherheit und warnte, dass Architekturen mit latentem Reasoning sie zunichtemachen könnten. Latente Schritte lassen sich nur indirekt untersuchen, etwa mit Werkzeugen der mechanistischen Interpretierbarkeit wie Sonden, der Logit-Linse und spärlichen Autoencodern (SAEs). Im Coconut-Beitrag verteilte das Dekodieren eines kontinuierlichen Gedankens über den Sprachmodellkopf seine Wahrscheinlichkeit auf mehrere mögliche Zwischenwerte.