AI Debate
在 AI 辩论中，两个模型针对相反答案展开辩论，再由一个能力较弱的裁判选出胜者。本文介绍 2018 年提出的方案、实验发现及其局限。
AI 辩论是一种AI 安全技术：两个 AI 系统针对一个问题提出相互竞争的答案并展开辩论，由裁判（通常是人或能力较弱的模型）决定哪一方论据更有力。Geoffrey Irving、Paul Christiano 和 Dario Amodei 于 2018 年在 OpenAI 提出的论文 AI Safety via Debate 中介绍了这一方法，并将其视为可扩展监督的一种形式，即让人们监督那些难以直接核查的 AI 系统任务。其依据是：找出论证中的漏洞比给出正确答案更容易，而且对手有充分动机指出漏洞。
辩论游戏如何运作#
一个问题或拟议操作会交给两个 AI 智能体。它们在固定轮数内轮流发表简短陈述，各自试图说服裁判，而裁判的裁决就成为奖励。这是一个零和博弈，因此通过强化学习让两个智能体进行自我对弈，会促使它们各自揭露对方的错误。如果谎言比真相更容易被反驳，获胜策略就是真实陈述。
原始论文借助计算复杂性理论中的类比，严谨地阐述了这一论点。在双方采取最优策略时，辩论可以让受限于多项式时间的裁判回答 PSPACE 类中的任何问题，而直接判断单个答案只能达到 NP。首个实验使用了图像。两个智能体轮流向一个稀疏的图像分类器揭示 MNIST 数字的像素，该分类器看不到其他信息；一个智能体为真实数字辩护，另一个则为错误数字辩护。揭示 6 个像素时，辩论将裁判准确率从 59.4% 提高到 88.9%；揭示 4 个像素时，则从 48.2% 提高到 85.2%。
使用语言模型的实验#
后续实验使用大型语言模型（LLM）测试了辩论。由 Akbir Khan 主导的 2024 年研究 Debating with More Persuasive LLMs Leads to More Truthful Answers 中，两个能够阅读长篇故事的专家模型围绕一个阅读理解问题提出不同答案，而看不到故事的裁判则选择一方。与朴素基线相比，辩论将模型裁判的准确率从 48% 提高到 76%，将人类裁判的准确率从 60% 提高到 88%。让辩手以说服力为目标进行优化提高了裁判准确率，这正是辩论所需要的效果。系统会自动核查故事中的引文并标记其真实性，因此辩手无法编造证据。辩手能看到裁判看不到的来源，这种信息不对称是大多数辩论实验模拟未来模型比其监督者掌握更多信息的方式。
Zachary Kenton 及其同事在 Google DeepMind 开展的一项规模更大的研究 On Scalable Oversight with Weak LLMs Judging Strong LLMs，在许多任务上比较了辩论与咨询模式；在咨询模式中，单个 AI 为指定答案辩护。当顾问随机分配立场时，辩论在所有任务上都胜过咨询模式；在存在信息不对称的抽取式问答任务中，辩论也胜过由裁判直接作答。对于不存在这种不对称的任务，结果则不一。
当辩论围绕图像展开时，可验证的证据同样重要，例如在视觉问答中。目标检测器，例如 Ultralytics YOLO26，可以提供边界框和类别标签，供裁判核查诸如“标记的人行通道内有两个人”这样的说法；这与通过引文核查来为文本辩论提供依据的方式相同。
与其他监督方法的比较#
- 基于人类反馈的强化学习（RLHF）：评分者直接评判输出，只要人们能分辨答案好坏，这种方式就行得通。辩论则针对人们无法判断的情况。
- 用于推理的多智能体辩论：一种推理时方法，多个相同模型副本提出答案、阅读彼此的回答，并在几轮交流中修改答案。它无需训练裁判即可提高算术和事实准确率；论据交流也让它区别于整合独立预测的集成方法。
- 宪法式 AI：模型依据书面原则对输出进行批评和修订，以 AI 反馈取代大量人工标注。辩论则从有动机寻找错误的对手那里获得批评意见。
- AI 红队测试：人类或自动化对手会探查已完成系统中的故障。在辩论中，对抗压力来自每个回答内部的对立辩手。
- 超级对齐：旨在对齐能力强于其监督者的系统这一更广泛的研究议程。辩论是其中一种候选方法，其他方法还包括递归奖励建模和由弱到强泛化。
已知弱点#
裁判也有自己的偏见。自信的语气、篇幅和流畅的表达可能胜过正确性，而且模型裁判容易出现 AI 谄媚现象。当两个辩手是同一模型的副本时，它们可能存在相同的误解，因此双方都不会指出错误，幻觉也就不会受到质疑。辩论的成本也很高，因为每个问题都需要进行多轮长上下文生成并作出判断。
研究最多的失败模式是晦涩论证。不诚实的辩手可以构造一条很长的推理链，其中某一步是错的，但很难找出。诚实的辩手可能知道结论是错的，却无法在限定轮数内指出出错的步骤，裁判于是无从判断。Beth Barnes 和 Paul Christiano 在 2020 年开展的人类实验揭示了这个问题。2025 年，Jonah Brown-Cohen、Geoffrey Irving 和 Georgios Piliouras 提出了证明者-估计者辩论：一个 AI 将论证拆分为子主张，另一个为每项主张分配概率，从而即使错误难以定位，也能让诚实策略成为获胜策略。
