Chain-of-Thought Prompting

Chain-of-Thought-Prompting (CoT) ist eine Prompt-Engineering-Technik, bei der ein Large Language Model (LLM) Zwischenschritte der Schlussfolgerung ausgibt, bevor es seine endgültige Antwort liefert. Statt direkt von einer Frage zu „9“ zu springen, schreibt das Modell „23 - 20 = 3, and 3 + 6 = 9“ und nennt die Antwort zuletzt. Jason Wei und seine Kolleginnen und Kollegen bei Google stellten die Technik 2022 in der Arbeit Chain-of-Thought-Prompting fördert logisches Schlussfolgern in großen Sprachmodellen vor. Mit acht ausgearbeiteten Beispielen im Prompt stieg PaLM 540B bei GSM8K von 17,9 % auf 56,9 %. GSM8K ist ein Benchmark für Textaufgaben zur Grundschulmathematik. Damit übertraf PaLM den vorherigen Bestwert von 55 %, den ein feinabgestimmtes GPT-3 in Verbindung mit einem separat trainierten Prüfer erreicht hatte.

Wie Chain-of-Thought-Prompting funktioniert#

Ein LLM erzeugt Text Token für Token, und jedes Token durchläuft dieselbe feste Anzahl von Netzwerkschichten. Bei einer Frage, deren Antwort mehrere Schritte erfordert, muss das Modell all diese Arbeit leisten, bevor es das erste Token der Antwort ausgibt. Wenn das Modell die Schritte ausschreibt, fließt jedes Zwischenergebnis in das Kontextfenster ein und beeinflusst alle späteren Tokens. Daher erhalten schwierigere Probleme mehr Tokens und mehr Rechenaufwand, bevor die Antwort erscheint.

Few-Shot-CoT fügt dem Prompt einige Beispiele hinzu, die jeweils aus einer Frage und einer ausgearbeiteten Lösung bestehen. Das Modell ahmt dieses Format bei der neuen Frage nach. Das ist eine Form von Few-Shot-Lernen anhand von Beispielen im Prompt. Dieser Austausch aus Abbildung 1 der Arbeit von Wei et al. zeigt das Format. Die erste Antwort ist das in den Prompt eingefügte Beispiel, die zweite die Antwort des Modells:

Q: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have now?
A: Roger started with 5 balls. 2 cans of 3 tennis balls each is 6 tennis balls. 5 + 6 = 11. The answer is 11.

Q: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have?
A: The cafeteria had 23 apples originally. They used 20 to make lunch. So they had 23 - 20 = 3. They bought 6 more apples, so they have 3 + 6 = 9. The answer is 9.

Wurde dasselbe Beispiel auf „The answer is 11.“ gekürzt, antwortete das Modell auf die Cafeteria-Frage mit „The answer is 27.“

Zero-Shot-CoT kommt ohne Beispiele aus. Takeshi Kojima und seine Kolleginnen und Kollegen fanden heraus, dass der Zusatz „Let's think step by step“ zu einer Frage genügt, um eine ausformulierte Gedankenkette auszulösen: Mit InstructGPT (text-davinci-002) steigerte der Satz die Zero-Shot-Genauigkeit beim MultiArith-Benchmark von 17,7 % auf 78,7 % und bei GSM8K von 10,4 % auf 40,7 %, wie in Große Sprachmodelle können ohne Beispiele schlussfolgern berichtet.

Wann Chain-of-Thought hilft#

Die Leistungssteigerung hängt von der Modellgröße und der Aufgabe ab. Wei et al. beschreiben CoT als emergente Fähigkeit, die mit der Skalierung auftritt: Verbesserungen zeigten sich nur bei Modellen mit ungefähr 100 Milliarden Parametern, während kleinere Modelle „flüssige, aber unlogische Gedankengänge produzierten“ und schlechter als mit standardmäßigen Prompts abschnitten. Die größten Verbesserungen gab es bei mehrstufigen Aufgaben zu Arithmetik, Alltagswissen und symbolischem Schlussfolgern. Bei SingleOp, einer Sammlung einstufiger Rechenaufgaben, war die Veränderung negativ oder sehr gering.

Das Abtasten mehrerer Gedankengänge verbessert die Ergebnisse gegenüber einem einzelnen. Bei der Selbstkonsistenz erzeugen Xuezhi Wang und seine Kolleginnen und Kollegen vielfältige Schlussfolgerungspfade mithilfe von Nucleus- oder Temperatur-Sampling und behalten die Antwort bei, der die meisten Pfade zustimmen. Dadurch stieg die GSM8K-Genauigkeit gegenüber einem einzelnen gierigen Gedankengang um 17,9 Prozentpunkte. Jeder zusätzliche Gedankengang erzeugt weitere Tokens, daher tauschen CoT und Selbstkonsistenz Inferenzlatenz und Kosten gegen Genauigkeit ein.

Pipelines für Bild und Sprache nutzen dasselbe Muster mit Bildinformationen. In den Ultralytics-Platform-Agents erhält ein LLM-Block zusammen mit einem Bild auch die vorgelagerten YOLO26-Detektionen. Ein Chain-of-Thought-Prompt kann dort also ein Vision-Language-Modell dazu bringen, die erkannten Objekte einzeln durchzugehen, bevor es sein Urteil zur Szene abgibt.

Reasoning-Modelle und Verlässlichkeit#

Reasoning-Modelle wie OpenAIs o1, das im September 2024 veröffentlicht wurde, werden mit bestärkendem Lernen so trainiert, dass sie vor jeder Antwort eine lange Gedankenkette erzeugen. Dieses Verhalten hängt also nicht mehr vom Prompt ab. In OpenAIs Best Practices für Reasoning wird Entwicklern geraten, bei diesen Modellen Anweisungen wie „think step by step“ zu vermeiden, da solche Prompts nicht hilfreich sein und manchmal sogar schaden können.

Eine ausgeschriebene Gedankenkette sieht auch wie eine Erklärung der Antwort aus, weshalb man sie leicht für erklärbare KI halten könnte. Miles Turpin und seine Kolleginnen und Kollegen zeigten in Sprachmodelle sagen nicht immer, was sie denken, dass sie die tatsächliche Ursache falsch darstellen kann: Wurden Few-Shot-Beispiele so umgeordnet, dass die richtige Antwort immer „(A)“ war, änderten GPT-3.5 und Claude 1.0 ihre Antworten zugunsten von „(A)“ und formulierten Gedankengänge, die diese Antworten begründeten, ohne die Reihenfolge zu erwähnen. Solche verzerrenden Merkmale senkten die Genauigkeit bei 13 BIG-Bench-Hard-Aufgaben um bis zu 36 %. Plausible, aber falsche Gedankengänge sind eine Ursache für Halluzinationen in LLMs.

Chain-of-Thought im Vergleich zu verwandten Techniken#

• Prompt-Verkettung: Teilt eine Aufgabe auf mehrere Modellaufrufe auf, wobei Code jede Ausgabe an den nächsten Prompt weitergibt. CoT findet innerhalb eines einzelnen Aufrufs statt.
• Tree of Thoughts (ToT): Erzeugt an jedem Punkt mehrere mögliche nächste Schritte, bewertet sie und durchsucht den daraus entstehenden Baum mit Rückverfolgung, während CoT einem einzelnen Pfad folgt.
• ReAct-Prompting: Verknüpft Denkschritte mit Aktionen wie Suchanfragen oder Tool-Aufrufen und speist die Ergebnisse in die Verarbeitungskette zurück.
• Chain-of-Verification (CoVe): Lässt das Modell einen Antwortentwurf erstellen, sich selbst Fragen zur Überprüfung stellen, diese unabhängig beantworten und den Entwurf überarbeiten.
• Latentes Schlussfolgern: Führt Zwischenschritte des Schlussfolgerns in den verborgenen Zuständen des Modells statt mit geschriebenen Token aus, sodass keine sichtbare Gedankenkette entsteht.