Chain of Verification (CoVe)

Chain of Verification (CoVe) ist eine Prompting-Methode, die Halluzinationen in Ausgaben großer Sprachmodelle (LLMs) verringert, indem das Modell seinen eigenen Entwurf auf Fakten überprüft. Zuerst formuliert das Modell eine Antwort. Dann erstellt es kurze Prüffragen zu jeder Tatsachenbehauptung, beantwortet diese Fragen unabhängig vom Entwurf und formuliert schließlich eine Antwort, die nur durch die Überprüfung gestützte Behauptungen enthält. Shehzaad Dhuliawala und Kollegen von Meta AI stellten die Methode 2023 in der Studie Chain-of-Verification Reduces Hallucination in Large Language Models vor. Sie funktioniert, weil Modelle kurze, gezielte Fragen genauer beantworten als dieselben Fakten in einer langen Antwort wiederzugeben: In den Listenfragen-Experimenten der Studie waren nur etwa 17 % der von Llama 65B aufgelisteten Entitäten korrekt. Dasselbe Modell beantwortete jedoch etwa 70 % der einzelnen Prüffragen richtig.

So funktioniert Chain of Verification#

CoVe umfasst vier Schritte mit demselben Modell:

1. Einen ersten Antwortentwurf verfassen: Das Modell beantwortet die Anfrage wie gewohnt. Auf die Frage nach Politikern, die in New York City geboren wurden, könnte es Hillary Clinton, Donald Trump und Michael Bloomberg nennen.
2. Prüffragen planen: Das Modell liest seinen Entwurf und formuliert eine Frage für jede überprüfbare Behauptung, etwa „Wo wurde Hillary Clinton geboren?“ und „Wo wurde Michael Bloomberg geboren?“
3. Jede Frage unabhängig beantworten: Das Modell beantwortet die Fragen in neuen Prompts, die den Entwurf nicht enthalten. So kann es seinen früheren Fehler nicht einfach wiederholen. Clinton wurde in Chicago geboren, Bloomberg in Boston und Trump in Queens.
4. Die überarbeitete endgültige Antwort verfassen: Das Modell gleicht den Entwurf mit den Antworten ab und streicht oder korrigiert alle Behauptungen, die der Überprüfung nicht standhalten. In diesem Beispiel bleibt Trump auf der Liste.

Wie strikt die dritte Stufe jede Frage isoliert, ist entscheidend. Die Studie verglich vier Varianten: Bei „joint“ finden Planung und Beantwortung in einem Prompt statt, der weiterhin den Entwurf enthält. „Two-step“ beantwortet alle Fragen in einem zweiten Prompt ohne den Entwurf. „Factored“ beantwortet jede Frage in einem eigenen Prompt. „Factor+revise“ ergänzt einen ausdrücklichen Abgleich jeder Antwort mit der ursprünglichen Behauptung. Alle Varianten, deren Prüfprompts den Entwurf nicht enthielten, halluzinierten weniger als die gemeinsame Variante. Denn ein Modell, das seinen eigenen Entwurf sehen kann, neigt dazu, seine Fehler zu wiederholen.

Ergebnisse#

Mit Llama 65B erhöhte CoVe die Präzision bei Wikidata-Listenfragen von 0.17 auf 0.36 und steigerte den F1-Wert beim Closed-Book-Benchmark MultiSpanQA von 0.39 auf 0.48. Bei ausführlichen Biografien erhöhte die Variante „factor+revise“ den FActScore, also den Anteil atomarer Fakten, die durch Wikipedia belegt sind, von 55.9 auf 71.4. Damit lag sie über den für ChatGPT angegebenen 58.7 und den 61.6 des abrufbasierten PerplexityAI. Die Zugewinne haben ihren Preis bei der Inferenzlatenz: Die faktorbasierten Varianten benötigen einen zusätzlichen Modellaufruf pro Verifizierungsfrage.

CoVe im Vergleich zu verwandten Verfahren#

• Chain-of-Thought-Prompting: Fordert das Modell auf, vor der Antwort Schritt für Schritt zu argumentieren, was bei Logik- und Mathematikaufgaben hilft. CoVe überprüft Faktenbehauptungen, nachdem ein Entwurf vorliegt.
• Generierung mit Abrufunterstützung (RAG): Stützt die Antwort von Anfang an auf abgerufene Dokumente. Das ursprüngliche CoVe verlässt sich ausschließlich auf das Wissen des Modells. Beide Verfahren lassen sich gut kombinieren, wenn Verifizierungsfragen mithilfe einer Suchmaschine oder eines Dokumentenindex beantwortet werden.
• Semantische Entropie: Erkennt wahrscheinliche Halluzinationen, indem mehrere Antworten erzeugt und ihre Bedeutungsunterschiede gemessen werden. CoVe geht weiter und korrigiert die Antwort.
• KI-Debatte: Zwei Modelle vertreten gegensätzliche Positionen, damit ein Richter Fehler erkennen kann. Bei CoVe überprüft ein einzelnes Modell sich selbst, ohne dass ein Gegenspieler beteiligt ist.

Behauptungen mit Werkzeugen überprüfen#

Die Verifizierungsfragen müssen nicht aus dem Gedächtnis des Modells beantwortet werden. Pipelines leiten sie an Werkzeuge weiter, die die korrekten Informationen enthalten: eine Suchmaschine für öffentlich zugängliche Fakten, eine Vektordatenbank mit Unternehmensdokumenten oder ein Bildverarbeitungsmodell für Behauptungen über ein Bild. Wenn ein Bild-Sprach-Modell eine Bildbeschreibung verfasst, kann ein Ultralytics YOLO26-Modell zur Objekterkennung jede Frage nach der Anzahl anhand der Bildbeschreibung beantworten – unabhängig vom Entwurf:

from collections import Counter

from ultralytics import YOLO

# Claims extracted from a draft caption: "A bus, four people, and a bicycle on a street"
draft_counts = {"bus": 1, "person": 4, "bicycle": 1}

# Answer each verification question with a detector that never sees the draft
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
detected = Counter(result.names[int(c)] for c in result.boxes.cls)

# Keep claims the detector confirms and mark the rest for revision
for name, claimed in draft_counts.items():
    verdict = "keep" if detected[name] == claimed else f"revise to {detected[name]}"
    print(f"How many '{name}'? Draft: {claimed}, detector: {detected[name]} -> {verdict}")

Jede ausgegebene Zeile enthält eine Verifizierungsfrage mit der Behauptung aus dem Entwurf, der unabhängigen Antwort des Detektors und der Entscheidung, ob die endgültige Bildbeschreibung die Behauptung übernimmt.

Anwendungen in der Praxis#

• Gesundheitswesen: Assistenten, die medizinische Fachliteratur zusammenfassen, überprüfen Arzneimittelnamen, Dosierungen und Wechselwirkungen anhand separater Fragen, bevor eine medizinische Fachkraft die Zusammenfassung sieht.
• Fragebeantwortung: Such- und Supportassistenten überprüfen Antworten mit Aufzählungen, Datumsangaben und biografische Fakten – genau die Arten von Behauptungen, bei denen die Studie die größten Zugewinne gemessen hat.
• Fertigungsberichte: Ein LLM, das einen Schichtbericht erstellt, überprüft jeden darin erwähnten Mangel anhand der Protokolle des Inspektionssystems, bevor der Bericht eingereicht wird.
• Dokumentenverarbeitung: Aus Verträgen oder Rechnungen extrahierte Werte werden einzeln erneut abgefragt und mit der ersten Extraktion verglichen.

Einschränkungen#

CoVe erkennt Fehler, die das Modell nicht durchgängig macht. Eine falsche Überzeugung, die das Modell in jedem Kontext vertritt, kann CoVe jedoch nicht erkennen, da die unabhängige Antwort denselben Fehler wiederholt. CoVe überprüft Faktenbehauptungen, lässt aber fehlerhafte Schlussfolgerungen zwischen korrekten Fakten unangetastet und vervielfacht die Anzahl der Modellaufrufe pro Antwort. Selbst bei der besten Variante der Studie waren 28.6% der atomaren Fakten in den Biografien unbelegt – der verbleibende Anteil beim FActScore von 71.4.