Chain of Verification (CoVe)

Chain of Verification (CoVe) is an advanced prompt engineering technique designed to reduce inaccuracies and factual errors in the outputs of Large Language Models (LLMs). As artificial intelligence systems become more complex, their tendency to confidently generate false information—a phenomenon known as LLM hallucination—remains a significant challenge. CoVe addresses this by forcing the model to systematically fact-check its own initial responses before presenting a final answer to the user. This self-correction mechanism significantly improves the reliability of generative AI applications across various industries.

Link to this section검증 프로세스 작동 원리#

CoVe 방법론은 생성 프로세스를 네 개의 별도 순차적 단계로 나눕니다. 이 구조화된 접근 방식은 인간의 사실 확인 워크플로우를 모방하며, AI 안전성 및 정렬을 개선하기 위해 주요 AI 조직에서 활발히 연구하고 있습니다.

• 초기 응답 초안 작성: 모델은 사용자의 질의에 대한 기본 답변을 생성합니다. 이 초안에는 검증되지 않았거나 환각된 내용이 포함될 수 있습니다.
• 검증 질문 계획: 모델은 자신의 초안을 분석하고 초기 텍스트에 제시된 사실적 주장을 검증하기 위해 고안된 구체적이고 표적화된 질문 목록을 생성합니다.
• 독립적 검증 실행: 모델은 원래 초안의 맥락에 의존하지 않고 독립적으로 검증 질문에 답변합니다. 이는 모델이 자신의 편향이나 이전 실수를 단순히 확인하는 것을 방지합니다.
• 최종 검증 출력 생성: 새로 검증된 사실을 사용하여 모델은 초기 초안을 수정하고 부정확한 내용을 제거하며 세련되고 진실된 답변을 제시합니다.

Link to this section관련 기술과 CoVe의 차이점#

CoVe는 종종 사고의 연쇄 프롬프트와 비교되지만, 두 기술은 다른 목적을 수행합니다. 사고의 연쇄는 복잡한 논리적 추론을 단계별 구성 요소로 나누어 문제를 해결함으로써 모델이 "작업 과정을 보여주도록" 장려합니다. 반면, 검증 체인은 초안이 생성된 후 주장을 감사하고 수정함으로써 사실의 정확성을 구체적으로 목표로 합니다. 또한, CoVe는 검색 증강 생성(RAG) 파이프라인과 결합될 수 있으며, 여기서 검증 단계는 모델의 내부 가중치에만 의존하는 대신 외부 벡터 데이터베이스에서 실측 자료를 가져옵니다.

Link to this section실제 애플리케이션 사례#

CoVe는 사실의 정확성이 중요한 도메인에서 매우 유용합니다. 이 자기 확인 루프를 통합함으로써 개발자는 더 높은 위험이 따르는 작업에서도 인공지능 시스템을 신뢰할 수 있게 됩니다.

• 의료 및 헬스케어 어시스턴트: AI가 환자의 증상이나 의학 문헌을 요약할 때, CoVe는 시스템이 권장 사항을 제공하기 전에 확립된 의학 지식을 기준으로 약물 상호 작용, 복용량 및 진단 기준을 검증하도록 보장합니다.
• 자동화된 산업 보고: 스마트 팩토리에서 LLM은 시각적 검사 로그를 기반으로 요약 보고서를 생성할 수 있습니다. CoVe를 컴퓨터 비전 모델과 결합함으로써, 언어 모델은 일일 유지보수 보고서를 완료하기 전에 비전 시스템에 쿼리하여 특정 결함이 실제로 조립 라인에서 감지되었는지 확인할 수 있습니다.

Link to this section비전 모델을 통한 검증 근거 마련#

To enhance the "Execute" step of CoVe, developers can query authoritative machine learning models for ground-truth data. For example, using Ultralytics YOLO26 for object detection, an LLM can verify physical claims about an image. Teams can efficiently manage these datasets and deploy these vision models using the intuitive Ultralytics Platform.

다음 Python 예제는 ultralytics 패키지를 사용하여 검증된 객체 목록을 추출하는 방법을 보여주며, 이는 검증 체인 단계를 실행하는 LLM의 사실적 근거 소스로 활용될 수 있습니다.

from ultralytics import YOLO

# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

PyTorch와 같은 고성능 비전 프레임워크의 결정론적 출력을 CoVe 파이프라인에 통합함으로써, 개발자는 생성 오류를 대폭 줄이고 강력하며 신뢰할 수 있는 멀티모달 AI 애플리케이션을 구축할 수 있습니다.