Chain of Verification (CoVe)

Chain of Verification (CoVe) ist eine fortschrittliche Prompt-Engineering-Technik, die entwickelt wurde, um Ungenauigkeiten und faktische Fehler in den Ausgaben von Large Language Models (LLMs) zu reduzieren. Da Systeme der künstlichen Intelligenz immer komplexer werden, bleibt ihre Tendenz, selbstbewusst falsche Informationen zu generieren – ein Phänomen, das als LLM-Halluzination bekannt ist – eine große Herausforderung. CoVe begegnet dem, indem das Modell gezwungen wird, seine eigenen ersten Antworten systematisch auf Fakten zu überprüfen, bevor es dem Benutzer ein Endergebnis präsentiert. Dieser Selbstkorrekturmechanismus verbessert die Zuverlässigkeit von Anwendungen der generativen KI in verschiedenen Branchen erheblich.

Link to this sectionSo funktioniert der Verifizierungsprozess#

Die CoVe-Methodik unterteilt den Generierungsprozess in vier verschiedene, aufeinanderfolgende Schritte. Dieser strukturierte Ansatz spiegelt menschliche Workflows zur Faktenprüfung wider und wird aktiv von führenden KI-Organisationen erforscht, um die KI-Sicherheit und Ausrichtung zu verbessern.

• Einen ersten Entwurf erstellen: Das Modell generiert eine Basisantwort auf die Anfrage des Benutzers. Dieser Entwurf kann unverifizierte oder halluzinierte Behauptungen enthalten.
• Verifizierungsfragen planen: Das Modell analysiert seinen eigenen Entwurf und generiert eine Liste spezifischer, gezielter Fragen, die darauf ausgelegt sind, die im ursprünglichen Text aufgestellten faktischen Behauptungen zu verifizieren.
• Unabhängige Verifizierungen durchführen: Das Modell beantwortet die Verifizierungsfragen unabhängig, ohne sich auf den Kontext des ursprünglichen Entwurfs zu stützen. Dies verhindert, dass das Modell einfach seine eigenen Vorurteile oder früheren Fehler bestätigt.
• Die endgültige verifizierte Ausgabe generieren: Anhand der neu verifizierten Fakten überarbeitet das Modell den ursprünglichen Entwurf, entfernt Ungenauigkeiten und präsentiert eine verfeinerte, wahrheitsgemäße Antwort.

Link to this sectionUnterscheidung von CoVe zu verwandten Techniken#

Obwohl CoVe oft mit Chain-of-Thought Prompting verglichen wird, dienen beide unterschiedlichen Zwecken. Chain-of-Thought ermutigt ein Modell dazu, seinen "Rechenweg aufzuzeigen", indem komplexe logische Argumentationen in schrittweise Komponenten zerlegt werden, um ein Problem zu lösen. Im Gegensatz dazu zielt Chain of Verification speziell auf faktische Genauigkeit ab, indem Behauptungen nach der Erstellung eines Entwurfs geprüft und überarbeitet werden. Darüber hinaus kann CoVe mit Retrieval-Augmented Generation (RAG)-Pipelines kombiniert werden, bei denen der Verifizierungsschritt Ground-Truth-Daten aus einer externen Vektordatenbank abruft, anstatt sich allein auf die internen Gewichte des Modells zu verlassen.

Link to this sectionPraxisanwendungen#

CoVe ist in Bereichen, in denen faktische Genauigkeit entscheidend ist, äußerst vorteilhaft. Durch die Integration dieser Selbstprüfungsschleife können Entwickler Systemen der künstlichen Intelligenz auch bei Aufgaben mit höherem Risiko vertrauen.

• Medizinische und Gesundheitsassistenten: Wenn eine KI Patientensymptome oder medizinische Literatur zusammenfasst, stellt CoVe sicher, dass das System Arzneimittelwechselwirkungen, Dosierungen und Diagnosekriterien anhand etablierten medizinischen Wissens verifiziert, bevor es Empfehlungen abgibt.
• Automatisierte industrielle Berichterstattung: In intelligenten Fabriken könnte ein LLM einen Zusammenfassungsbericht basierend auf visuellen Inspektionsprotokollen erstellen. Durch die Kombination von CoVe mit Computer-Vision-Modellen kann das Sprachmodell das Vision-System abfragen, um zu verifizieren, ob ein bestimmter Defekt tatsächlich am Fließband erkannt wurde, bevor der tägliche Wartungsbericht fertiggestellt wird.

Link to this sectionVerifizierung mit Vision-Modellen untermauern#

Um den "Durchführen"-Schritt von CoVe zu verbessern, können Entwickler maßgebliche Machine-Learning-Modelle für Ground-Truth-Daten abfragen. Zum Beispiel kann ein LLM unter Verwendung von Ultralytics YOLO26 für Objekterkennung physikalische Behauptungen über ein Bild verifizieren. Teams können diese Datensätze effizient verwalten und diese Vision-Modelle über die intuitive Ultralytics Platform bereitstellen.

Das folgende Python-Beispiel demonstriert, wie man das ultralytics-Paket verwendet, um eine verifizierte Liste von Objekten zu extrahieren, die als faktische Grundlage für ein LLM dienen kann, das einen Chain-of-Verification-Schritt ausführt.

from ultralytics import YOLO

# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Durch die Integration deterministischer Ausgaben von hochperformanten Vision-Frameworks wie PyTorch in die CoVe-Pipeline können Entwickler generative Fehler drastisch reduzieren und robuste, vertrauenswürdige multimodale KI-Anwendungen aufbauen.