AI Debate

Tranh biện AI là một kỹ thuật an toàn AI, trong đó hai hệ thống AI lập luận để bảo vệ các câu trả lời đối lập cho một câu hỏi, còn người phân xử—thường là một người hoặc model yếu hơn—quyết định bên nào đưa ra lập luận thuyết phục hơn. Geoffrey Irving, Paul Christiano và Dario Amodei đề xuất phương pháp này tại OpenAI trong bài báo năm 2018 AI Safety via Debate như một hình thức giám sát có khả năng mở rộng, tức cách để con người giám sát các hệ thống AI trong những tác vụ quá khó để tự kiểm tra trực tiếp. Phương pháp này dựa trên ý tưởng rằng tìm ra lỗi trong lập luận dễ hơn đưa ra câu trả lời đúng, và đối thủ có mọi lý do để chỉ ra lỗi đó.

Một cuộc tranh biện diễn ra như thế nào#

Một câu hỏi hoặc hành động được đề xuất được gửi đến hai AI agent. Hai agent lần lượt đưa ra các phát biểu ngắn trong số vòng cố định, mỗi bên cố thuyết phục người phân xử; phán quyết của người phân xử trở thành phần thưởng. Trò chơi có tổng bằng không, vì vậy việc huấn luyện cả hai agent qua tự chơi bằng học tăng cường thúc đẩy mỗi agent phơi bày sai lầm của bên kia. Nếu bác bỏ lời nói dối dễ hơn bảo vệ nó, chiến lược thắng cuộc là nói thật.

Bài báo ban đầu làm rõ lập luận bằng phép tương tự với lý thuyết độ phức tạp tính toán. Khi chơi tối ưu, tranh biện cho phép người phân xử bị giới hạn ở thời gian đa thức trả lời mọi câu hỏi thuộc lớp PSPACE, trong khi việc đánh giá trực tiếp một câu trả lời đơn lẻ chỉ đạt đến NP. Thí nghiệm đầu tiên sử dụng hình ảnh. Hai agent lần lượt tiết lộ các pixel của một chữ số MNIST cho một bộ phân loại ảnh thưa, không nhìn thấy gì khác; một agent bảo vệ chữ số thật, agent còn lại bảo vệ một chữ số sai. Tranh biện nâng độ chính xác của người phân xử từ 59,4% lên 88,9% khi tiết lộ 6 pixel, và từ 48,2% lên 85,2% khi tiết lộ 4 pixel.

Thí nghiệm với model ngôn ngữ#

Các thí nghiệm sau đó kiểm chứng tranh biện với model ngôn ngữ lớn (LLM). Trong nghiên cứu năm 2024 Debating with More Persuasive LLMs Leads to More Truthful Answers, do Akbir Khan dẫn đầu, hai model chuyên gia có thể đọc một câu chuyện dài đã tranh luận để bảo vệ các câu trả lời khác nhau cho một câu hỏi đọc hiểu, trong khi những người phân xử không được xem câu chuyện sẽ chọn một bên. Tranh biện nâng độ chính xác lên 76% với người phân xử là model và 88% với người phân xử là con người, so với các mức cơ sở ngây thơ lần lượt là 48% và 60%. Tối ưu hóa các bên tranh biện để tăng sức thuyết phục giúp người phân xử chính xác hơn, đúng theo hướng mà phương pháp tranh biện cần đạt được. Các trích dẫn trong câu chuyện được kiểm tra tự động và đánh dấu là xác thực, vì vậy bên tranh biện không thể bịa bằng chứng. Sự bất cân xứng thông tin này—trong đó các bên tranh biện thấy nguồn mà người phân xử không thấy—là cách hầu hết thí nghiệm tranh biện mô phỏng một model tương lai biết nhiều hơn người giám sát.

Một nghiên cứu lớn hơn của Google DeepMind do Zachary Kenton và các cộng sự thực hiện, On Scalable Oversight with Weak LLMs Judging Strong LLMs, so sánh tranh biện với hình thức tư vấn, trong đó một AI duy nhất lập luận cho câu trả lời được chỉ định, trên nhiều tác vụ. Tranh biện vượt trội hơn tư vấn ở mọi tác vụ khi bên tư vấn được chỉ định ngẫu nhiên một phía, đồng thời vượt trội hơn người phân xử trả lời trực tiếp trong tác vụ hỏi đáp trích xuất có bất cân xứng thông tin. Kết quả ở các tác vụ không có sự bất cân xứng đó không đồng nhất.

Bằng chứng có thể xác minh cũng quan trọng không kém khi tranh biện xoay quanh hình ảnh, chẳng hạn hỏi đáp thị giác. Một bộ phát hiện đối tượng như Ultralytics YOLO26 cung cấp các bounding box và nhãn lớp để người phân xử đối chiếu với một nhận định, chẳng hạn “có hai người bên trong lối đi được đánh dấu”, tương tự cách xác minh trích dẫn làm cơ sở cho tranh biện về văn bản.

So sánh với các phương pháp giám sát khác#

• Học tăng cường từ phản hồi của con người (RLHF): Người đánh giá trực tiếp chấm điểm đầu ra; phương pháp này hiệu quả khi con người có thể phân biệt câu trả lời tốt và kém. Tranh biện nhắm đến những trường hợp họ không thể phân biệt.
• Tranh biện đa agent để suy luận: Biến thể tại thời điểm suy luận, trong đó một số bản sao của model đề xuất câu trả lời, đọc phản hồi của nhau và chỉnh sửa qua vài vòng. Phương pháp này cải thiện độ chính xác số học và thực tế mà không cần người phân xử được huấn luyện; việc trao đổi lập luận giúp phân biệt nó với ensemble, vốn kết hợp các dự đoán độc lập.
• AI theo hiến pháp: Model phê bình và chỉnh sửa đầu ra dựa trên các nguyên tắc bằng văn bản, thay thế phần lớn việc gán nhãn của con người bằng phản hồi từ AI. Trong tranh biện, lời phê bình đến từ đối thủ có động cơ tìm ra lỗi.
• Red teaming AI: Các đối thủ là con người hoặc hệ thống tự động thăm dò một hệ thống đã hoàn thiện để tìm lỗi. Trong tranh biện, áp lực đối kháng đến từ bên tranh biện đối lập bên trong mỗi câu trả lời.
• Siêu căn chỉnh: Chương trình nghiên cứu rộng hơn nhằm căn chỉnh các hệ thống có năng lực vượt trội so với người giám sát. Tranh biện là một phương pháp tiềm năng trong chương trình này, cùng với các phương pháp như mô hình hóa phần thưởng đệ quy và khái quát hóa từ yếu đến mạnh.

Những điểm yếu đã biết#

Người phân xử cũng có thiên kiến riêng. Giọng điệu tự tin, độ dài và văn phong trôi chảy có thể lấn át tính chính xác; người phân xử là model dễ mắc nịnh bợ AI. Khi cả hai người tranh biện đều là bản sao của cùng một model, họ có thể cùng mắc những ngộ nhận giống nhau, khiến không bên nào phát hiện lỗi và ảo giác không bị phản bác. Tranh biện cũng tốn kém vì mỗi câu hỏi cần nhiều vòng tạo sinh với ngữ cảnh dài, cộng thêm một lượt phân xử.

Lỗi được nghiên cứu nhiều nhất là lập luận bị che giấu. Một bên tranh biện thiếu trung thực có thể xây dựng chuỗi suy luận dài, trong đó một bước sai nhưng khó phát hiện. Bên tranh biện trung thực có thể biết kết luận sai nhưng không thể chỉ ra bước sai trong số vòng cho phép, khiến người phân xử không có cơ sở để đưa ra quyết định. Các thí nghiệm với con người do Beth Barnes và Paul Christiano thực hiện năm 2020 đã làm lộ vấn đề này. Năm 2025, Jonah Brown-Cohen, Geoffrey Irving và Georgios Piliouras đề xuất tranh biện giữa người chứng minh và người ước lượng, trong đó một AI chia lập luận thành các nhận định nhỏ, còn AI kia gán xác suất cho từng nhận định, nhằm biến cách tranh biện trung thực thành chiến lược thắng cuộc ngay cả khi khó xác định lỗi.