Chain of Verification (CoVe)

검증 체인 (CoVe)은 대규모 언어 모델 (LLMs)의 출력에서 부정확성과 사실 오류를 줄이기 위해 설계된 고급 프롬프트 엔지니어링 기법입니다. 인공지능 시스템이 더욱 복잡해짐에 따라 자신 있게 거짓 정보를 생성하는 경향인 LLM 환각은 여전히 중요한 과제로 남아 있습니다. CoVe는 모델이 사용자에게 최종 답변을 제시하기 전에 자체 초기 응답의 사실을 체계적으로 확인하도록 강제하여 이 문제를 해결합니다. 이 자체 수정 메커니즘은 다양한 산업 분야의 생성형 AI 애플리케이션의 신뢰성을 크게 향상합니다.

검증 프로세스의 작동 방식#

CoVe 방법론은 생성 프로세스를 서로 구분되는 네 가지 순차적 단계로 나눕니다. 이러한 구조화된 접근 방식은 인간의 팩트체크 워크플로를 반영하며, 주요 AI 조직에서 AI 안전성과 정렬을 개선하기 위해 활발히 연구하고 있습니다.

• 초기 응답 작성: 모델이 사용자의 질의에 대한 기본 답변을 생성합니다. 이 초안에는 검증되지 않았거나 환각으로 생성된 주장이 포함될 수 있습니다.
• 검증 질문 계획: 모델이 자체 초안을 분석하고 초기 텍스트에 포함된 사실 주장을 검증하도록 설계된 구체적이고 표적화된 질문 목록을 생성합니다.
• 독립적인 검증 실행: 모델이 원본 초안의 맥락에 의존하지 않고 검증 질문에 독립적으로 답변합니다. 이를 통해 모델이 자신의 편향이나 이전의 실수를 단순히 확인하는 것을 방지합니다.
• 최종 검증 출력 생성: 모델이 새롭게 검증된 사실을 사용하여 초기 초안을 수정하고, 부정확한 내용을 제거한 뒤 정제되고 사실에 부합하는 응답을 제시합니다.

CoVe와 관련 기법의 차이#

CoVe는 사고 연쇄 프롬프팅과 자주 비교되지만, 두 기법의 목적은 서로 다릅니다. 사고 연쇄는 모델이 문제를 해결하기 위해 복잡한 논리적 추론을 단계별 구성 요소로 나누어 "작업 과정을 보여 주도록" 유도합니다. 반면 검증 체인은 초안이 생성된 후 주장을 감사하고 수정하여 사실 정확성을 직접적으로 검증합니다. 또한 CoVe는 검색 증강 생성 (RAG) 파이프라인과 결합할 수 있으며, 이 경우 검증 단계에서 모델의 내부 가중치에만 의존하지 않고 외부 벡터 데이터베이스에서 사실 기반 데이터를 가져옵니다.

실제 적용 사례#

CoVe는 사실 정확성이 중요한 분야에서 매우 유용합니다. 이러한 자체 점검 루프를 통합하면 개발자는 더 높은 위험이 수반되는 작업을 인공지능 시스템에 맡길 수 있습니다.

• 의료 및 헬스케어 어시스턴트: AI가 환자 증상이나 의학 문헌을 요약할 때 CoVe는 시스템이 권고를 제공하기 전에 확립된 의학 지식과 대조하여 약물 상호작용, 복용량 및 진단 기준을 검증하도록 합니다.
• 자동화된 산업 보고: 스마트 팩토리에서 LLM은 시각 검사 로그를 기반으로 요약 보고서를 생성할 수 있습니다. CoVe를 컴퓨터 비전 모델과 결합하면, 언어 모델이 일일 유지보수 보고서를 확정하기 전에 비전 시스템에 질의하여 조립 라인에서 특정 결함이 실제로 감지되었는지 검증할 수 있습니다.

비전 모델을 통한 검증의 근거 확보#

CoVe의 "실행" 단계를 강화하기 위해 개발자는 권위 있는 머신 러닝 모델에 질의하여 사실 기반 데이터를 얻을 수 있습니다. 예를 들어 객체 감지에 Ultralytics YOLO26을 사용하면 LLM이 이미지에 대한 물리적 주장을 검증할 수 있습니다. 팀은 직관적인 Ultralytics Platform을 사용하여 이러한 데이터셋을 효율적으로 관리하고 비전 모델을 배포할 수 있습니다.

다음 Python 예제는 ultralytics 패키지를 사용하여 검증된 객체 목록을 추출하는 방법을 보여 줍니다. 이 목록은 Chain of Verification 단계를 실행하는 LLM의 사실 기반 근거 소스로 활용할 수 있습니다.

from ultralytics import YOLO

# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

PyTorch와 같은 고성능 비전 프레임워크의 결정론적 출력을 CoVe 파이프라인에 통합하면 개발자는 생성 오류를 크게 줄이고 견고하고 신뢰할 수 있는 멀티모달 AI 애플리케이션을 구축할 수 있습니다.