Chain of Verification (CoVe)

Chain of Verification (CoVe) is an advanced prompt engineering technique designed to reduce inaccuracies and factual errors in the outputs of Large Language Models (LLMs). As artificial intelligence systems become more complex, their tendency to confidently generate false information—a phenomenon known as LLM hallucination—remains a significant challenge. CoVe addresses this by forcing the model to systematically fact-check its own initial responses before presenting a final answer to the user. This self-correction mechanism significantly improves the reliability of generative AI applications across various industries.

Link to this section検証プロセスの仕組み#

CoVeの手法は、生成プロセスを4つの明確な逐次的ステップに分解します。この構造化されたアプローチは人間のファクトチェックワークフローを反映しており、AI safety とアライメントを向上させるために、主要なAI組織によって積極的に研究されています。

• Draft an Initial Response: モデルがユーザーのクエリに対するベースラインとなる回答を生成します。このドラフトには、未検証の主張やハルシネーションが含まれる可能性があります。
• Plan Verification Questions: モデルが自身のドラフトを分析し、初期テキストに含まれる事実の主張を検証するために設計された、具体的で対象を絞った質問リストを生成します。
• Execute Independent Verifications: モデルは、元のドラフトのコンテキストに依存することなく、検証用の質問に独立して回答します。これにより、モデルが自身のバイアスや以前のミスを単に確認するだけの事態を防ぎます。
• Generate the Final Verified Output: 新たに検証された事実を使用して、モデルは初期ドラフトを修正し、不正確な箇所を取り除いて、洗練された真実味のある回答を提示します。

Link to this section関連手法とCoVeの違い#

CoVeはしばしば Chain-of-Thought Prompting と比較されますが、両者は目的が異なります。Chain-of-Thoughtは、複雑な論理的推論を段階的なコンポーネントに分解して問題を解決することで、モデルに「思考プロセスを示す」よう促します。対照的に、Chain of Verificationは、ドラフト作成後に主張を監査および修正することで、事実の正確性を具体的にターゲットにします。さらに、CoVeは Retrieval-Augmented Generation (RAG) パイプラインと組み合わせることができ、その検証ステップにおいて、モデル内部のウェイトのみに依存するのではなく、外部の vector database から正解データを取得します。

Link to this section実社会での応用#

CoVeは、事実の正確性が極めて重要な分野で非常に有益です。この自己チェックループを統合することで、開発者は artificial intelligence システムに、よりリスクの高いタスクを任せられるようになります。

• Medical and Healthcare Assistants: AIが患者の症状や医学文献を要約する際、CoVeは、システムが推奨事項を提供する前に、確立された医学的知識に基づいて薬物相互作用、投与量、診断基準を検証することを保証します。
• Automated Industrial Reporting: スマート工場において、LLMは視覚的な検査ログに基づいて要約レポートを生成することがあります。CoVeと computer vision モデルを組み合わせることで、言語モデルは日次のメンテナンスレポートを確定させる前に、特定の欠陥が組立ラインで実際に検出されたかどうかをビジョンシステムに照会できます。

Link to this sectionビジョンモデルを用いた検証の根拠付け#

To enhance the "Execute" step of CoVe, developers can query authoritative machine learning models for ground-truth data. For example, using Ultralytics YOLO26 for object detection, an LLM can verify physical claims about an image. Teams can efficiently manage these datasets and deploy these vision models using the intuitive Ultralytics Platform.

以下のPythonの例では、ultralytics パッケージを使用して検証済みのオブジェクトリストを抽出する方法を示しており、これがChain of Verificationステップを実行するLLMにとっての事実上の根拠ソースとして機能します。

from ultralytics import YOLO

# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

PyTorch のような高性能ビジョンフレームワークからの決定論的な出力をCoVeパイプラインに統合することで、開発者は生成エラーを大幅に削減し、堅牢で信頼性の高い multimodal AI アプリケーションを構築できます。