Chain of Verification (CoVe)

Chain of Verification (CoVe) là một kỹ thuật prompt engineering nâng cao được thiết kế để giảm thiểu các điểm không chính xác và lỗi thực tế trong kết quả đầu ra của các Large Language Models (LLMs). Khi các hệ thống trí tuệ nhân tạo ngày càng trở nên phức tạp, xu hướng tự tin tạo ra thông tin sai lệch—một hiện tượng được gọi là LLM hallucination—vẫn là một thách thức đáng kể. CoVe giải quyết vấn đề này bằng cách buộc model phải kiểm chứng thực tế các phản hồi ban đầu của chính nó một cách hệ thống trước khi trình bày câu trả lời cuối cùng cho người dùng. Cơ chế tự sửa lỗi này giúp cải thiện đáng kể độ tin cậy của các ứng dụng generative AI trong nhiều ngành công nghiệp khác nhau.

Link to this sectionQuy trình xác thực hoạt động như thế nào#

Phương pháp luận CoVe chia quy trình tạo phản hồi thành bốn bước tuần tự, riêng biệt. Cách tiếp cận có cấu trúc này phản ánh các quy trình kiểm chứng thực tế của con người và đang được các tổ chức AI hàng đầu tích cực nghiên cứu để cải thiện AI safety và sự căn chỉnh (alignment).

• Soạn thảo phản hồi ban đầu: Model tạo ra một câu trả lời cơ sở cho truy vấn của người dùng. Bản nháp này có thể chứa các khẳng định chưa được xác minh hoặc bị ảo tưởng (hallucinated).
• Lập kế hoạch câu hỏi xác thực: Model phân tích bản nháp của chính mình và tạo ra một danh sách các câu hỏi cụ thể, có mục tiêu để xác minh các khẳng định thực tế trong văn bản ban đầu.
• Thực hiện xác thực độc lập: Model trả lời các câu hỏi xác thực một cách độc lập, không dựa vào ngữ cảnh của bản nháp gốc. Điều này ngăn model tự xác nhận các định kiến hoặc sai lầm trước đó của chính mình.
• Tạo kết quả cuối cùng đã xác thực: Sử dụng các sự kiện vừa được xác thực, model sửa đổi bản nháp ban đầu, loại bỏ các điểm không chính xác và đưa ra một phản hồi tinh chỉnh, trung thực.

Link to this sectionPhân biệt CoVe với các kỹ thuật liên quan#

Mặc dù CoVe thường được so sánh với Chain-of-Thought Prompting, cả hai phục vụ các mục đích khác nhau. Chain-of-Thought khuyến khích model "trình bày quá trình giải quyết" bằng cách chia nhỏ các lập luận logic phức tạp thành các thành phần từng bước để giải quyết vấn đề. Ngược lại, Chain of Verification nhắm mục tiêu cụ thể vào tính chính xác thực tế bằng cách kiểm toán và sửa đổi các khẳng định sau khi bản nháp được tạo ra. Ngoài ra, CoVe có thể được ghép nối với các quy trình Retrieval-Augmented Generation (RAG), trong đó bước xác thực sẽ lấy dữ liệu thực tế (ground-truth) từ một vector database bên ngoài thay vì chỉ dựa vào trọng số nội bộ của model.

Link to this sectionCác ứng dụng trong thực tế#

CoVe cực kỳ hữu ích trong các lĩnh vực mà độ chính xác thực tế là tối quan trọng. Bằng cách tích hợp vòng lặp tự kiểm tra này, các nhà phát triển có thể tin tưởng giao cho các hệ thống artificial intelligence những nhiệm vụ có độ rủi ro cao hơn.

• Trợ lý Y tế và Chăm sóc sức khỏe: Khi AI tóm tắt các triệu chứng của bệnh nhân hoặc tài liệu y khoa, CoVe đảm bảo rằng hệ thống xác minh tương tác thuốc, liều lượng và tiêu chí chẩn đoán dựa trên kiến thức y học đã được thiết lập trước khi đưa ra các khuyến nghị.
• Báo cáo công nghiệp tự động: Trong các nhà máy thông minh, một LLM có thể tạo báo cáo tóm tắt dựa trên nhật ký kiểm tra trực quan. Bằng cách kết hợp CoVe với các model computer vision, model ngôn ngữ có thể truy vấn hệ thống thị giác để xác minh xem một lỗi cụ thể có thực sự được phát hiện trên dây chuyền lắp ráp hay không trước khi hoàn thiện báo cáo bảo trì hàng ngày.

Link to this sectionGắn kết xác thực với các model thị giác#

Để nâng cao bước "Thực hiện" của CoVe, các nhà phát triển có thể truy vấn các model machine learning uy tín để lấy dữ liệu thực tế (ground-truth). Ví dụ: sử dụng Ultralytics YOLO26 cho tác vụ object detection, một LLM có thể xác minh các khẳng định vật lý về một hình ảnh. Các nhóm có thể quản lý hiệu quả các tập dữ liệu này và triển khai các model thị giác này bằng cách sử dụng Ultralytics Platform trực quan.

Ví dụ Python sau đây minh họa cách sử dụng gói ultralytics để trích xuất danh sách các đối tượng đã được xác thực, có thể đóng vai trò là nguồn cơ sở thực tế cho LLM đang thực hiện bước Chain of Verification.

from ultralytics import YOLO

# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Bằng cách tích hợp các đầu ra tất định từ các framework thị giác hiệu năng cao như PyTorch vào quy trình CoVe, các nhà phát triển có thể giảm đáng kể lỗi tạo lập và xây dựng các ứng dụng multimodal AI mạnh mẽ, đáng tin cậy.