검증 체인(CoVe)

‘검증 체인(CoVe)’은 대규모 언어 모델(LLM)의 출력 결과에서 발생하는 부정확성과 사실 오류를 줄이기 위해 고안된 첨단 프롬프트 엔지니어링 기법입니다. 인공지능 시스템이 점점 더 복잡해짐에 따라, LLM 환각( hallucination)으로 알려진 현상, 즉 시스템이 허위 정보를 확신에 차서 생성하는 경향은 여전히 중대한 과제로 남아 있습니다. CoVe는 모델이 사용자에게 최종 답변을 제시하기 전에 자신의 초기 응답을 체계적으로 사실 확인하도록 함으로써 이 문제를 해결합니다. 이러한 자가 수정 메커니즘은 다양한 산업 분야의 생성형 AI 애플리케이션의 신뢰성을 크게 향상시킵니다.

검증 절차는 어떻게 진행되나요?

CoVe 방법론은 생성 과정을 네 가지의 명확하고 순차적인 단계로 나눕니다. 이러한 구조화된 접근 방식은 사람이 수행하는 사실 확인 워크플로우를 반영하며, AI 안전성과 정합성을 향상시키기 위해 선도적인 AI 기관들에서 활발히 연구되고 있습니다.

• 초안 작성: 모델은 사용자의 질의에 대한 기본 답변을 생성합니다. 이 초안에는 검증되지 않았거나 허구적인 내용이 포함될 수 있습니다.
• 계획 검증 질문: 이 모델은 자신이 작성한 초안을 분석하여, 원문에 제시된 사실적 주장을 검증하기 위해 고안된 구체적이고 핵심적인 질문 목록을 생성합니다.
• 독립적인 검증 수행: 모델은 원본 초안의 맥락에 의존하지 않고 검증 질문에 독립적으로 답변합니다. 이를 통해 모델이 단순히 자신의 편향이나 과거의 실수를 재확인하는 것을 방지할 수 있습니다.
• 최종 검증된 결과 생성: 새로 검증된 사실들을 바탕으로 모델은 초기 초안을 수정하여 부정확한 내용을 제거하고, 정제되고 사실에 입각한 답변을 제시합니다.

CoVe와 관련 기법의 차별점

CoVe는 흔히 Chain-of-Thought Prompting과 비교되지만, 이 둘은 서로 다른 목적을 가집니다. Chain-of-Thought는 복잡한 논리적 추론을 단계별 구성 요소로 분해하여 문제를 해결함으로써 모델이 “해결 과정을 보여주도록” 유도합니다. 반면, Chain of Verification은 초안이 생성된 후 주장을 검토하고 수정함으로써 사실적 정확성을 구체적으로 향상시키는 데 중점을 둡니다. 또한 CoVe는 Retrieval-Augmented Generation(RAG) 파이프라인과 결합될 수 있으며, 이 경우 검증 단계에서 모델의 내부 가중치에만 의존하는 대신 외부 벡터 데이터베이스에서 그라운드 트루스 데이터를 가져옵니다.

실제 애플리케이션

CoVe는 사실적 정확성이 매우 중요한 분야에서 큰 이점을 제공합니다. 이러한 자체 점검 루프를 통합함으로써, 개발자들은 인공지능 시스템에 더 중요한 업무를 맡길 수 있습니다.

• 의료 및 헬스케어 보조 인력: AI가 환자의 증상이나 의학 문헌을 요약할 때, CoVe는 시스템이 권장 사항을 제시하기 전에 확립된 의학 지식을 바탕으로 약물 상호작용, 투여량 및 진단 기준을 검증하도록 보장합니다.
• 자동화된 산업 보고: 스마트 팩토리에서 대규모 언어 모델(LLM)은 육안 검사 로그를 바탕으로 요약 보고서를 생성할 수 있습니다. CoVe를 컴퓨터 비전 모델과 결합함으로써, 이 언어 모델은 일일 유지보수 보고서를 최종 확정하기 전에 비전 시스템에 쿼리를 보내 조립 라인에서 특정 결함이 실제로 감지되었는지 확인할 수 있습니다.

비전 모델을 활용한 접지 검증

CoVe의 “실행(Execute)” 단계를 강화하기 위해 개발자는 신뢰할 수 있는 머신러닝 모델에 쿼리를 보내 그라운드 트루스 데이터를 확인할 수 있습니다. 예를 들어, 물체 탐지를 위해 Ultralytics Ultralytics , 대규모 언어 모델(LLM)이 이미지에 대한 물리적 주장을 검증할 수 있습니다. 팀은 직관적인 Ultralytics 활용하여 이러한 데이터셋을 효율적으로 관리하고 비전 모델을 배포할 수 있습니다.

다음 Python 예제에서는 다음과 같이 ultralytics 검증된 객체 목록을 추출하는 패키지 로, 이는 검증 체인 단계를 실행하는 대규모 언어 모델(LLM)에 대한 사실적 근거 자료로 활용될 수 있습니다.

from ultralytics import YOLO

# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

다음과 같은 고성능 비전 프레임워크의 결정론적 출력을 통합함으로써 PyTorch 와 같은 고성능 비전 프레임워크의 결정론적 출력을 CoVe 파이프라인에 통합함으로써, 개발자는 생성 오류를 대폭 줄이고 견고하며 신뢰할 수 있는 다중 모달 AI 애플리케이션을 구축할 수 있습니다.