Chain-of-Thought Prompting

Prompting mit Gedankengängen (CoT) ist eine fortgeschrittene Technik des Prompt Engineerings, die große Sprachmodelle (LLMs) dazu befähigt, komplexe Schlussfolgerungsaufgaben zu lösen, indem sie diese in logische Zwischenschritte unterteilen. Statt ein Modell aufzufordern, sofort eine endgültige Antwort zu liefern, regt CoT das System dazu an, einen „Gedankengang“ zu erzeugen, der menschliche Problemlösung nachahmt. Diese schrittweise Schlussfolgerung verbessert die Leistung bei Aufgaben mit Arithmetik, symbolischer Logik und gesundem Menschenverstand deutlich und verändert dadurch die Art und Weise, wie wir mit Systemen der künstlichen Intelligenz (AI) interagieren.

Der Mechanismus des Schlussfolgerns#

Standardsprachmodelle haben oft Schwierigkeiten mit mehrstufigen Problemen, weil sie versuchen, die Eingabe in einem einzigen Durchlauf direkt auf die Ausgabe abzubilden. Dieser „Black-Box“-Ansatz kann zu Fehlern führen, insbesondere wenn der logische Schluss zu groß ist. Prompting mit Gedankengängen begegnet diesem Problem, indem es Schlussfolgerungsschritte zwischen die Eingabefrage und die endgültige Ausgabe einfügt.

Dieser Prozess funktioniert im Allgemeinen auf zwei Arten:

• Zero-Shot-CoT: Der Benutzer hängt an den Prompt eine einfache Auslösephrase wie „Lass uns Schritt für Schritt denken“ an. Dadurch werden die latenten Schlussfolgerungsfähigkeiten des Modells aktiviert, ohne dass konkrete Beispiele erforderlich sind.
• Few-Shot-CoT: Der Prompt enthält einige Beispiele (Musterbeispiele) für Fragen zusammen mit ihren schrittweisen Lösungen. Dadurch wird Few-Shot-Lernen genutzt, um dem Modell genau zu zeigen, wie es seine Logik strukturieren soll, bevor es ein neues Problem bearbeitet.

Durch die ausdrückliche Erzeugung von Zwischenschritten der Schlussfolgerung erhält das Modell mehr Möglichkeiten, sich selbst zu korrigieren, und macht transparent, wie es zu einem Ergebnis gelangt ist. Dies ist entscheidend, um Halluzinationen in LLMs zu reduzieren, bei denen Modelle andernfalls möglicherweise selbstbewusst falsche Fakten behaupten.

Anwendungen in der Praxis#

Obwohl Prompting mit Gedankengängen ursprünglich für textbasierte Logik entwickelt wurde, bietet es in Kombination mit anderen KI-Bereichen wie Computer Vision und Codegenerierung leistungsstarke Anwendungsmöglichkeiten.

1. Verbesserte Codegenerierung für Computer Vision#

Entwickler nutzen CoT, um LLMs beim Schreiben komplexer Softwareskripte für Aufgaben wie die Objekterkennung anzuleiten. Statt einer vagen Anfrage wie „Schreibe Code, um Autos zu finden“ könnte ein CoT-Prompt die Anfrage folgendermaßen strukturieren: „Importiere zuerst die erforderlichen Bibliotheken. Lade zweitens das vortrainierte Modell. Definiere drittens die Bildquelle. Führe schließlich die Vorhersageschleife aus.“ Dieser strukturierte Ansatz stellt sicher, dass der für Modelle wie YOLO26 generierte Code syntaktisch korrekt und logisch schlüssig ist.

2. Autonome Entscheidungsfindung#

Im Bereich der autonomen Fahrzeuge müssen Systeme visuelle Daten verarbeiten und sicherheitskritische Entscheidungen treffen. Ein Ansatz mit Gedankengängen ermöglicht es dem System, seine Logik darzulegen: „Ich erkenne einen Fußgänger in der Nähe des Zebrastreifens. Der Fußgänger blickt zur Straße. Die Ampel ist für mich grün, aber der Fußgänger könnte auf die Straße treten. Deshalb werde ich langsamer werden und mich auf das Anhalten vorbereiten.“ Dadurch werden die Entscheidungen der KI nachvollziehbar und stehen im Einklang mit den Prinzipien der erklärbaren KI (XAI).

Prompting mit Gedankengängen in der Praxis#

Obwohl CoT in erster Linie eine Technik der natürlichen Sprache ist, kann es programmgesteuert implementiert werden, um konsistente Interaktionen mit visuellen Modellen sicherzustellen. Das folgende Python-Beispiel zeigt, wie ein Entwickler einen Prompt strukturieren könnte, um ein LLM (hier simuliert) bei der Generierung von gültigem Inferenzcode für die Ultralytics Platform anzuleiten.

# Example of structuring a Chain-of-Thought prompt for an LLM
# This prompt guides the model to write a valid YOLO26 inference script

cot_prompt = """
Task: Write a Python script to detect objects using YOLO26.

Chain of Thought:
1. Import the YOLO class from the 'ultralytics' library.
2. Load the 'yolo26n.pt' model weights (the latest nano model).
3. Load a sample image using a URL or local path.
4. Run the predict() function and save the results.

Based on these steps, generate the Python code below:
"""

# In a real application, you would send 'cot_prompt' to an LLM API
print(f"Structured Prompt for LLM:\n{cot_prompt}")

Verwandte Konzepte unterscheiden#

Es ist wichtig, Prompting mit Gedankengängen von ähnlichen Begriffen im Bereich des maschinellen Lernens (ML) zu unterscheiden:

• Prompt Chaining: Dabei werden mehrere separate Modellaufrufe miteinander verbunden, wobei die Ausgabe eines Schritts zur Eingabe des nächsten wird. CoT findet innerhalb eines einzelnen Prompts statt, um interne Schlussfolgerungen hervorzurufen, während Prompt Chaining einen Arbeitsablauf über mehrere Interaktionen hinweg orchestriert.
• Abrufgestützte Generierung (RAG): RAG konzentriert sich darauf, externe Daten (z. B. Dokumente oder Datenbanken) abzurufen, um das Wissen des Modells zu fundieren. CoT konzentriert sich auf den Schlussfolgerungsprozess selbst. Häufig werden beide kombiniert: RAG liefert die Fakten, während CoT Schlussfolgerungen daraus zieht.
• Prompt Tuning: Dabei handelt es sich um eine parametersparsame Methode zur Feinabstimmung, bei der während des Trainings kontinuierliche Soft-Prompts (Vektoren) optimiert werden. CoT ist eine diskrete Strategie in natürlicher Sprache, die bei der Echtzeitinferenz angewendet wird, ohne die Modellgewichte zu verändern.

Ausblick#

Da sich Basismodelle ständig weiterentwickeln, wird Prompting mit Gedankengängen zu einer bewährten Standardmethode, um ihr volles Potenzial auszuschöpfen. Forschung von Gruppen wie Google DeepMind deutet darauf hin, dass sich die Fähigkeit von Modellen zur Schlussfolgerung mit Gedankengängen dramatisch verbessert, wenn ihre Größe zunimmt. Diese Entwicklung ebnet den Weg für zuverlässigere, autonome Agenten, die komplexe Arbeitsabläufe in Branchen von der Gesundheitsversorgung bis zur intelligenten Fertigung bewältigen können.