Reasoning Models
Reasoning-Modelle sind LLMs, die mit Reinforcement Learning trainiert wurden, vor der Antwort eine lange Gedankenkette zu formulieren. Behandelt o1, DeepSeek-R1 und Grenzen.
Ein Reasoning-Modell ist ein großes Sprachmodell (LLM), das darauf trainiert wurde, vor seiner endgültigen Antwort eine lange interne Gedankenkette zu erzeugen, damit es bei schwierigeren Problemen mehr Rechenleistung einsetzen kann. OpenAI führte die Kategorie am 12. September 2024 mit o1 ein: Beim Mathematikwettbewerb AIME 2024 löste GPT-4o durchschnittlich 12 % der Aufgaben, während o1 mit einer Stichprobe pro Aufgabe 74 % erreichte, mit einer Mehrheitsentscheidung über 64 Stichproben 83 % und mit einer trainierten Bewertungsfunktion, die 1.000 Stichproben neu ordnete, 93 %. o1 übertraf außerdem die Genauigkeit menschlicher promovierter Fachleute beim wissenschaftlichen Benchmark GPQA. DeepSeek-R1, Googles Gemini-Modelle mit Denkmodus, Anthropics Claude mit erweitertem Denkmodus und Alibabas Qwen3 folgten. Viele aktuelle Modelle sind Hybride, die je nach Einstellung schnell antworten oder ausführlich nachdenken.
So werden Reasoning-Modelle trainiert#
Chain-of-Thought-Prompting zeigte 2022, dass sich die Antworten eines Modells verbessern, wenn man es auffordert, Zwischenschritte aufzuschreiben. Reasoning-Modelle lernen dieses Verhalten durch bestärkendes Lernen (RL) an Problemen, deren Antworten automatisch überprüft werden können – ein Ansatz, der bestärkendes Lernen mit überprüfbaren Belohnungen (RLVR) genannt wird. DeepSeek beschrieb das Verfahren im Januar 2025 in seinem DeepSeek-R1-Paper. Das Modell R1-Zero startete mit dem Basismodell DeepSeek-V3 und wurde mit gruppenrelativer Richtlinienoptimierung (GRPO) trainiert. Belohnt wurden ausschließlich eine korrekte endgültige Antwort und das richtige Ausgabeformat:
Es wurden keine Schritt-für-Schritt-Beispiele bereitgestellt, dennoch stieg die pass@1-Genauigkeit von R1-Zero bei AIME 2024 von 15,6 % auf 71,0 % und mit Mehrheitsentscheidung auf 86,7 %. Die Antworten wurden während des Trainings länger, und das Modell begann, seine eigenen Schritte zu überprüfen und zu überarbeiten – einen Moment, den die Autoren als „Aha-Moment“ bezeichneten. Das veröffentlichte DeepSeek-R1 wurde zunächst anhand einiger tausend ausgewählter Beispiele für ausführliches Denken trainiert, um die Lesbarkeit zu verbessern, und erreichte bei AIME 2024 79,8 %. DeepSeek destillierte seine Denkspuren außerdem in kleinere Qwen- und Llama-Modelle. Die wichtigste Alternative zu diesen Ergebnisbelohnungen ist ein Prozessbelohnungsmodell (PRM), das jeden Schritt bewertet. DeepSeek berichtete jedoch, dass sich PRMs und die Monte-Carlo-Baumsuche beim Training in großem Maßstab nicht ausgezahlt hätten.
Rechenaufwand zur Inferenzzeit#
Die Genauigkeit eines Reasoning-Modells steigt mit der Zahl der Token, die es zum Nachdenken verwendet. Das ist neben Modellgröße und Trainingsdaten eine zweite Achse der Skalierungsgesetze. APIs machen dies über einen Parameter für den Denkaufwand oder das Denkbudget zugänglich. Die Genauigkeit lässt sich weiter steigern, indem mehrere Antworten parallel erzeugt und per Abstimmung ausgewählt oder Teillösungen mithilfe eines Verifizierers durchsucht werden. Der Preis dafür sind Latenz und Token: Ein schwieriges Problem kann Tausende verborgene Reasoning-Token verbrauchen, bevor das erste Wort der Antwort erscheint. Die Ultralytics-LLM-Schnittstelle leitet Anfrageargumente unverändert an das OpenAI SDK weiter. So kann eine YOLO26-Pipeline reasoning={"effort": "high"} über die Responses API an ein Reasoning-Modell übergeben, wenn eine erkannte Szene eine durchdachte Antwort erfordert.
OpenAIs o3 und o4-mini, die im April 2025 veröffentlicht wurden, erweiterten die Gedankenkette auf Bilder: Das Modell kann ein Foto zuschneiden, vergrößern und drehen und gleichzeitig darüber nachdenken. Dieses visuelle Schlussfolgern hilft bei der visuellen Fragebeantwortung (VQA) zu kleinen Texten, Diagrammen und unübersichtlichen Szenen.
Einschränkungen#
Reasoning-Modelle denken bei einfachen Fragen zu lange nach und verbrauchen Token, obwohl eine direkte Antwort genügen würde. Außerdem scheitern sie bei manchen einfachen Aufgaben weiterhin auf unvorhersehbare Weise – ein Muster, das als gezackte Intelligenz bekannt ist. RL mit überprüfbaren Antworten belohnt Ergebnisse, sodass ein Modell Abkürzungen lernen kann, mit denen es die Prüfung besteht – eine Form des Belohnungshackings. Die schriftliche Gedankenkette bildet die Berechnung zudem nur unvollkommen ab: In einer im April 2025 veröffentlichten Anthropic-Studie erwähnten Modelle einen Hinweis, der ihre Antwort beeinflusst hatte, nur in 25 % der Fälle bei Claude 3.7 Sonnet und in 39 % der Fälle bei DeepSeek-R1.
Reasoning-Modelle und verwandte Begriffe#
- Chain-of-Thought-Prompting: Fordert ein beliebiges LLM zur Inferenzzeit auf, seine Schritte aufzuschreiben. Reasoning-Modelle werden darauf trainiert, dieses Verhalten ohne Aufforderung zu zeigen.
- System-2-Denken: Der psychologische Begriff für langsames, überlegtes Schlussfolgern, den das Fachgebiet zur Beschreibung der Arbeitsweise von Reasoning-Modellen verwendet.
- Latentes Schlussfolgern: Schlussfolgern in Vektoren verborgener Zustände statt in geschriebenen Token, wodurch keine lesbare Spur entsteht.
- Gedankenbaum: Eine explizite Suche über verzweigte Gedankengänge, die sich an der eigenen Bewertung der einzelnen Zweige durch das Modell orientiert.
