Chain of Verification (CoVe)

Chain of Verification (CoVe) là phương pháp prompting giúp giảm ảo giác trong đầu ra của mô hình ngôn ngữ lớn (LLM) bằng cách yêu cầu model tự kiểm chứng bản nháp của mình. Model viết câu trả lời đầu tiên, lập các câu hỏi kiểm chứng ngắn để kiểm tra từng khẳng định thực tế, trả lời độc lập với bản nháp, rồi viết câu trả lời cuối cùng chỉ giữ lại những khẳng định được quá trình kiểm chứng xác nhận. Shehzaad Dhuliawala và các đồng nghiệp tại Meta AI giới thiệu phương pháp này trong bài báo năm 2023 Chain-of-Verification Reduces Hallucination in Large Language Models. Phương pháp này hiệu quả vì model trả lời các câu hỏi ngắn, tập trung chính xác hơn so với khi nêu cùng thông tin trong một câu trả lời dài: trong các thí nghiệm liệt kê của bài báo, chỉ khoảng 17% thực thể Llama 65B liệt kê là chính xác, nhưng cùng model đó trả lời đúng khoảng 70% câu hỏi kiểm chứng riêng lẻ.

Cách Chain of Verification hoạt động#

CoVe thực hiện bốn bước bằng cùng một model:

1. Soạn câu trả lời cơ sở: Model trả lời truy vấn theo cách thông thường. Khi được yêu cầu nêu tên các chính trị gia sinh ra tại Thành phố New York, model có thể liệt kê Hillary Clinton, Donald Trump và Michael Bloomberg.
2. Lập câu hỏi kiểm chứng: Model đọc bản nháp và viết một câu hỏi cho mỗi khẳng định có thể kiểm tra, chẳng hạn "Hillary Clinton sinh ở đâu?" và "Michael Bloomberg sinh ở đâu?"
3. Trả lời độc lập từng câu hỏi: Model trả lời các câu hỏi trong những prompt mới không chứa bản nháp, nhờ đó không thể chỉ lặp lại lỗi trước đó. Clinton sinh ra ở Chicago và Bloomberg ở Boston, còn Trump sinh ra tại Queens.
4. Viết lại câu trả lời cuối cùng: Model đối chiếu bản nháp với các câu trả lời, loại bỏ hoặc sửa mọi khẳng định không đạt yêu cầu; trong trường hợp này, chỉ còn Trump trong danh sách.

Mức độ tách biệt từng câu hỏi ở bước thứ ba có ý nghĩa quan trọng. Bài báo so sánh bốn biến thể: joint, trong đó việc lập kế hoạch và trả lời diễn ra trong một prompt vẫn chứa bản nháp; two-step, trả lời mọi câu hỏi trong prompt thứ hai không có bản nháp; factored, trả lời từng câu hỏi trong prompt riêng; và factor+revise, bổ sung bước kiểm tra tường minh từng câu trả lời với khẳng định ban đầu. Mọi biến thể không đưa bản nháp vào prompt kiểm chứng đều giảm ảo giác so với biến thể joint, vì model có thể nhìn thấy bản nháp của chính mình thường có xu hướng lặp lại lỗi.

Kết quả#

Với Llama 65B, CoVe nâng độ chính xác trên các câu hỏi dạng danh sách trong Wikidata từ 0.17 lên 0.36 và tăng F1 trên benchmark MultiSpanQA dạng closed-book từ 0.39 lên 0.48. Với tiểu sử dạng dài, biến thể factor+revise nâng FActScore, tỷ lệ phần trăm các sự kiện nguyên tử được Wikipedia chứng thực, từ 55.9 lên 71.4, cao hơn mức 58.7 được báo cáo cho ChatGPT và 61.6 của PerplexityAI dựa trên truy xuất. Những cải thiện này phải trả giá bằng độ trễ suy luận: các biến thể phân rã cần thêm một lần gọi model cho mỗi câu hỏi xác minh.

CoVe so với các kỹ thuật liên quan#

• Gợi ý chuỗi suy luận: Yêu cầu model lập luận từng bước trước khi trả lời, hữu ích cho logic và toán học. CoVe kiểm tra các khẳng định thực tế sau khi đã có bản nháp.
• Sinh tăng cường truy xuất (RAG): Dựa câu trả lời trên các tài liệu được truy xuất ngay từ đầu. CoVe nguyên bản chỉ dựa vào kiến thức của chính model, và hai phương pháp kết hợp tự nhiên khi câu hỏi xác minh được trả lời bằng công cụ tìm kiếm hoặc chỉ mục tài liệu.
• Entropy ngữ nghĩa: Phát hiện các trường hợp có khả năng bị ảo giác bằng cách lấy mẫu một số câu trả lời và đo mức độ khác biệt về ý nghĩa giữa chúng. CoVe tiến xa hơn khi chỉnh sửa câu trả lời.
• Tranh biện AI: Hai model tranh luận về hai quan điểm đối lập để một giám khảo phát hiện lỗi. CoVe là một model tự kiểm tra mà không có đối thủ.

Xác minh khẳng định bằng công cụ#

Không nhất thiết phải trả lời các câu hỏi xác minh dựa trên bộ nhớ của model. Các pipeline định tuyến chúng đến những công cụ chứa thông tin chuẩn: công cụ tìm kiếm cho dữ kiện công khai, cơ sở dữ liệu vector chứa tài liệu công ty, hoặc model thị giác cho các khẳng định về hình ảnh. Khi một model thị giác-ngôn ngữ viết chú thích hình ảnh, model phát hiện đối tượng Ultralytics YOLO26 có thể trả lời từng câu hỏi "có bao nhiêu" dựa trên chú thích, độc lập với bản nháp:

from collections import Counter

from ultralytics import YOLO

# Claims extracted from a draft caption: "A bus, four people, and a bicycle on a street"
draft_counts = {"bus": 1, "person": 4, "bicycle": 1}

# Answer each verification question with a detector that never sees the draft
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
detected = Counter(result.names[int(c)] for c in result.boxes.cls)

# Keep claims the detector confirms and mark the rest for revision
for name, claimed in draft_counts.items():
    verdict = "keep" if detected[name] == claimed else f"revise to {detected[name]}"
    print(f"How many '{name}'? Draft: {claimed}, detector: {detected[name]} -> {verdict}")

Mỗi dòng được in ra là một câu hỏi xác minh, gồm khẳng định trong bản nháp, câu trả lời độc lập của bộ phát hiện và quyết định được áp dụng cho chú thích cuối cùng.

Ứng dụng thực tế#

• Chăm sóc sức khỏe: Trước khi bác sĩ xem bản tóm tắt, các trợ lý tóm tắt tài liệu y khoa sẽ xác minh tên thuốc, liều lượng và tương tác thuốc bằng các câu hỏi riêng.
• Hỏi đáp: Các trợ lý tìm kiếm và hỗ trợ kiểm tra câu trả lời dạng danh sách, ngày tháng và dữ kiện tiểu sử — những loại khẳng định mà bài báo đo lường được mức cải thiện lớn nhất.
• Báo cáo sản xuất: LLM soạn báo cáo ca làm sẽ xác minh từng lỗi được đề cập với nhật ký của hệ thống kiểm tra trước khi nộp báo cáo.
• Xử lý tài liệu: Các giá trị trích xuất từ hợp đồng hoặc hóa đơn được hỏi lại từng trường một và đối chiếu với lần trích xuất đầu tiên.

Hạn chế#

CoVe phát hiện những lỗi mà model mắc phải không nhất quán, nhưng không thể phát hiện một niềm tin sai mà model giữ trong mọi ngữ cảnh, vì câu trả lời độc lập sẽ lặp lại cùng một lỗi. CoVe kiểm tra các khẳng định thực tế, nhưng không xử lý lập luận sai nằm giữa những dữ kiện đúng; đồng thời, phương pháp này làm tăng số lần gọi model cho mỗi câu trả lời. Ngay cả biến thể tốt nhất trong bài báo vẫn để 28.6% dữ kiện nguyên tử trong các tiểu sử không được chứng thực, phần còn lại của FActScore 71.4.