Chain of Verification (CoVe)

Chain of Verification(CoVe)은 모델이 자체 초안을 사실 확인하도록 해 대규모 언어 모델(LLM) 출력의 환각을 줄이는 프롬프팅 방법입니다. 모델은 먼저 답변 초안을 작성하고, 각 사실 주장에 대한 검증 질문을 계획한 뒤 초안과 독립적으로 질문에 답하고, 검증으로 뒷받침되는 주장만 남긴 최종 답변을 작성합니다. Meta AI의 Shehzaad Dhuliawala와 동료들은 2023년 논문 Chain-of-Verification Reduces Hallucination in Large Language Models에서 이 방법을 소개했습니다. 모델은 긴 답변 안에서 동일한 사실을 진술할 때보다 짧고 초점이 명확한 질문에 더 정확히 답하기 때문에 효과가 있습니다. 논문의 목록 질문 실험에서 Llama 65B가 목록에 제시한 개체 중 올바른 것은 약 17%에 불과했지만, 같은 모델은 개별 검증 질문에 약 70% 정확도로 답했습니다.

Chain of Verification의 작동 방식#

CoVe는 동일한 모델로 네 단계를 수행합니다.

1. 기준 답변 초안 작성: 모델이 일반적인 방식으로 질의에 답합니다. 뉴욕시에서 태어난 정치인을 물으면 Hillary Clinton, Donald Trump, Michael Bloomberg를 나열할 수 있습니다.
2. 검증 질문 계획: 모델은 초안을 읽고 확인 가능한 주장마다 질문 하나를 작성합니다. 예를 들어 "Hillary Clinton은 어디에서 태어났나요?"와 "Michael Bloomberg는 어디에서 태어났나요?"라고 묻습니다.
3. 각 질문에 독립적으로 답변: 모델은 초안이 포함되지 않은 새 프롬프트에서 질문에 답하므로 이전의 실수를 그대로 반복할 수 없습니다. Clinton은 Chicago에서, Bloomberg는 Boston에서 태어났으며 Trump는 Queens에서 태어났습니다.
4. 최종 수정 답변 작성: 모델은 답변을 바탕으로 초안을 수정하고 검증에 실패한 주장을 삭제하거나 바로잡습니다. 이 예시에서는 Trump만 목록에 남습니다.

세 번째 단계에서 각 질문을 얼마나 엄격하게 분리하는지가 중요합니다. 논문은 네 가지 변형을 비교했습니다. joint 방식은 초안을 포함한 하나의 프롬프트에서 계획과 답변을 함께 수행합니다. two-step 방식은 초안 없이 두 번째 프롬프트에서 모든 질문에 답합니다. factored 방식은 질문마다 별도의 프롬프트에서 답합니다. factor+revise 방식은 각 답변을 원래 주장과 명시적으로 대조하는 단계까지 추가합니다. 검증 프롬프트에서 초안을 제외한 모든 변형은 joint 방식보다 환각이 적었습니다. 모델이 자신의 초안을 볼 수 있으면 오류를 반복하는 경향이 있기 때문입니다.

결과#

Llama 65B를 사용했을 때 CoVe는 Wikidata 목록형 질문의 정밀도를 0.17에서 0.36으로 높였고, 폐쇄형 MultiSpanQA 벤치마크의 F1을 0.39에서 0.48로 끌어올렸습니다. 장문 약력에서는 factor+revise 변형이 Wikipedia에서 뒷받침되는 원자적 사실의 비율인 FActScore를 55.9에서 71.4로 높여, ChatGPT의 58.7과 검색 기반 PerplexityAI의 61.6을 넘어섰습니다. 이러한 개선에는 추론 지연 시간이라는 비용이 따릅니다. 사실 분해 변형은 검증 질문마다 모델 호출을 한 번 더 수행해야 합니다.

CoVe와 관련 기법 비교#

• 연쇄 사고 프롬프팅: 모델이 답변하기 전에 단계별로 추론하도록 하여 논리와 수학 문제 해결을 돕습니다. CoVe는 초안이 작성된 후 사실 주장을 검증합니다.
• 검색 증강 생성(RAG): 처음부터 검색된 문서에 답변의 근거를 둡니다. 기존 CoVe는 모델 자체의 지식만 활용하며, 검증 질문에 검색 엔진이나 문서 인덱스로 답변하면 두 기법을 자연스럽게 결합할 수 있습니다.
• 의미 엔트로피: 여러 답변을 샘플링하고 의미가 얼마나 서로 다른지 측정하여 환각 가능성을 감지합니다. CoVe는 한발 더 나아가 답변을 수정합니다.
• AI 토론: 두 모델이 서로 반대 입장을 주장하면 심판이 오류를 찾아낼 수 있습니다. CoVe는 대립자 없이 단일 모델이 스스로를 검증합니다.

도구를 사용한 주장 검증#

검증 질문에 모델의 기억만으로 답할 필요는 없습니다. 파이프라인은 공개 사실을 위한 검색 엔진, 회사 문서의 벡터 데이터베이스, 이미지에 관한 주장을 위한 비전 모델처럼 정답 정보를 보유한 도구로 질문을 전달합니다. 비전-언어 모델이 이미지 캡션을 작성하면, Ultralytics YOLO26 객체 감지 모델은 초안과 독립적으로 캡션을 바탕으로 각 "몇 개" 질문에 답할 수 있습니다:

from collections import Counter

from ultralytics import YOLO

# Claims extracted from a draft caption: "A bus, four people, and a bicycle on a street"
draft_counts = {"bus": 1, "person": 4, "bicycle": 1}

# Answer each verification question with a detector that never sees the draft
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
detected = Counter(result.names[int(c)] for c in result.boxes.cls)

# Keep claims the detector confirms and mark the rest for revision
for name, claimed in draft_counts.items():
    verdict = "keep" if detected[name] == claimed else f"revise to {detected[name]}"
    print(f"How many '{name}'? Draft: {claimed}, detector: {detected[name]} -> {verdict}")

출력된 각 행은 초안의 주장, 감지 모델의 독립적인 답변, 그리고 최종 캡션에 적용할 판단을 포함하는 하나의 검증 질문입니다.

실제 적용 사례#

• 의료: 의학 문헌을 요약하는 어시스턴트는 임상의가 요약을 확인하기 전에 별도의 질문을 통해 약물명, 복용량, 상호작용을 검증합니다.
• 질의응답: 검색 및 지원 어시스턴트는 목록형 답변, 날짜, 전기적 사실을 확인합니다. 논문에서 가장 큰 개선 효과를 측정한 주장 유형입니다.
• 제조 보고서: 교대 근무 보고서를 작성하는 LLM은 보고서를 제출하기 전에 언급한 각 결함을 검사 시스템 로그와 대조해 검증합니다.
• 문서 처리: 계약서나 송장에서 추출한 값은 필드별로 다시 질문하고 최초 추출 결과와 비교합니다.

한계#

CoVe는 모델이 일관되지 않게 범하는 오류를 찾아내지만, 모델이 모든 맥락에서 동일하게 갖고 있는 잘못된 믿음은 독립적인 답변도 같은 실수를 반복하므로 찾아낼 수 없습니다. CoVe는 사실 주장을 확인하지만 올바른 사실 사이의 잘못된 추론은 그대로 두며, 답변당 모델 호출 횟수를 늘립니다. 논문에서 가장 성능이 뛰어난 변형조차 약력의 원자적 사실 중 28.6%를 뒷받침하지 못했습니다. 이는 FActScore 71.4%의 나머지 부분입니다.