AI Debate

AI 토론은 두 AI 시스템이 질문에 대해 서로 경쟁하는 답을 주장하고, 심판(대개 사람 또는 성능이 낮은 모델)이 어느 쪽의 주장이 더 강한지 결정하는 AI 안전성 기법입니다. Geoffrey Irving, Paul Christiano, Dario Amodei는 2018년 OpenAI 논문 토론을 통한 AI 안전성에서 이를 확장 가능한 감독의 한 형태로 제안했습니다. 이는 사람이 직접 확인하기에는 너무 어려운 작업에서 AI 시스템을 감독하는 방법입니다. 이 접근법은 주장의 오류를 찾아내는 것이 정답을 만들어내는 것보다 쉽고, 상대방은 그 오류를 지적할 충분한 이유가 있다는 생각에 기반합니다.

토론 게임의 진행 방식#

질문이나 제안된 행동을 두 AI 에이전트에게 제시합니다. 에이전트는 정해진 라운드 동안 번갈아 짧은 발언을 하며 심판을 설득하려 하고, 심판의 판정이 보상이 됩니다. 이 게임은 제로섬이므로 강화 학습을 통해 두 에이전트를 셀프 플레이로 학습시키면 서로의 실수를 폭로하도록 유도됩니다. 거짓말을 방어하는 것보다 반박하는 것이 쉽다면, 승리 전략은 진실을 말하는 것입니다.

원 논문은 계산 복잡도 이론과의 비유를 사용해 주장을 구체화했습니다. 최적으로 진행할 경우 토론을 통해 다항 시간에 제한된 심판은 PSPACE 클래스의 모든 질문에 답할 수 있지만, 단일 답변을 직접 판정하는 경우에는 NP에만 도달합니다. 첫 번째 실험에는 이미지를 사용했습니다. 두 에이전트는 번갈아 MNIST 숫자의 픽셀을 드러냈고, 다른 정보는 전혀 보지 못하는 희소 이미지 분류기가 이를 판단했습니다. 한 에이전트는 실제 숫자를, 다른 에이전트는 거짓 숫자를 주장했습니다. 픽셀 6개를 공개했을 때 토론으로 심판의 정확도가 59.4%에서 88.9%로, 픽셀 4개를 공개했을 때 48.2%에서 85.2%로 높아졌습니다.

언어 모델 실험#

이후에는 대규모 언어 모델(LLM)을 사용한 토론 실험이 진행되었습니다. Akbir Khan이 주도한 2024년 연구 더 설득력 있는 LLM과의 토론은 더 진실한 답변으로 이어집니다에서는 긴 이야기를 읽을 수 있는 두 전문 모델이 독해 질문에 서로 다른 답을 주장하고, 이야기를 볼 수 없는 심판이 한쪽을 선택했습니다. 토론으로 정확도는 모델 심판에서 76%, 인간 심판에서 88%로 높아졌으며, 단순 기준선은 각각 48%와 60%였습니다. 토론자를 설득력에 맞춰 최적화하자 심판의 정확도가 높아졌는데, 이는 토론이 지향하는 결과입니다. 이야기에서 인용한 부분은 자동으로 확인해 진짜 인용임을 표시했으므로 토론자는 증거를 지어낼 수 없었습니다. 토론자는 심판이 볼 수 없는 출처를 확인할 수 있다는 정보 비대칭은 감독자보다 더 많은 것을 아는 미래 모델을 대부분의 토론 실험에서 모의하는 방식입니다.

Zachary Kenton과 동료들이 수행한 더 큰 규모의 Google DeepMind 연구 강한 LLM을 판정하는 약한 LLM으로 확장 가능한 감독 구현하기는 여러 작업에서 토론을 단일 AI가 지정된 답을 주장하는 컨설팅 방식과 비교했습니다. 컨설턴트가 무작위로 한쪽 편을 맡은 경우 토론은 모든 작업에서 컨설팅보다 나은 성과를 보였습니다. 정보 비대칭이 있는 추출형 질의응답에서는 심판이 직접 답하는 방식보다도 뛰어났지만, 정보 비대칭이 없는 작업에서는 결과가 엇갈렸습니다.

시각적 질의응답처럼 이미지에 관한 토론에서도 검증 가능한 증거가 중요합니다. Ultralytics YOLO26과 같은 객체 탐지기는 심판이 "두 사람이 표시된 보행로 안에 있습니다"와 같은 주장을 확인할 수 있는 박스와 클래스 레이블을 제공합니다. 이는 인용 검증이 텍스트 토론의 근거가 되는 것과 같은 방식입니다.

다른 감독 방법과의 비교#

• 인간 피드백 기반 강화 학습(RLHF): 평가자가 출력을 직접 판단하며, 사람이 좋은 답변과 나쁜 답변을 구분할 수 있는 동안 효과적입니다. 토론은 사람이 이를 구분할 수 없는 상황을 대상으로 합니다.
• 추론을 위한 멀티 에이전트 토론: 모델 여러 개가 답을 제시하고 서로의 응답을 읽은 뒤 몇 차례에 걸쳐 수정하는 추론 시점 변형 기법입니다. 학습된 심판 없이도 산술 및 사실 정확도를 높이며, 주장을 주고받는다는 점에서 독립적인 예측을 결합하는 앙상블과 구별됩니다.
• 헌법적 AI: 모델이 명시된 원칙에 따라 출력을 비판하고 수정하여, 사람의 레이블링 상당 부분을 AI 피드백으로 대체합니다. 토론에서는 오류를 찾으려는 동기를 가진 상대방이 비판을 제시합니다.
• AI 레드팀: 사람이나 자동화된 공격자가 완성된 시스템을 조사해 취약점을 찾습니다. 토론에서는 각 답변 안에서 상대편 토론자가 적대적 압박을 가합니다.
• 초정렬: 감독자보다 더 뛰어난 시스템을 정렬하는 광범위한 연구 의제입니다. 재귀적 보상 모델링과 약한 모델에서 강한 모델로의 일반화 같은 접근법과 함께, 토론도 그 안에서 검토되는 후보 방법 중 하나입니다.

알려진 약점#

심판에게도 편향이 있습니다. 자신감 있는 어조, 길이, 유창한 문체가 정확성보다 설득력을 얻을 수 있으며, 모델 심판은 AI 아첨을 보이는 경향이 있습니다. 두 토론자가 같은 모델의 복사본이면 동일한 오해를 공유할 수 있어 오류를 지적하지 못하고 환각이 반박 없이 통과할 수 있습니다. 또한 질문마다 긴 문맥의 생성과 판정을 여러 차례 수행해야 하므로 토론에는 높은 비용이 듭니다.

가장 많이 연구된 실패 유형은 난독화된 주장입니다. 부정직한 토론자는 긴 추론 사슬을 만들고 그중 한 단계에 오류를 숨길 수 있습니다. 정직한 토론자는 결론이 틀렸다는 사실을 알아도 허용된 라운드 안에 잘못된 단계를 짚어내지 못할 수 있으며, 그러면 심판은 판정 근거를 갖지 못합니다. Beth Barnes와 Paul Christiano가 2020년에 수행한 인간 실험에서 이 문제가 드러났습니다. 2025년 Jonah Brown-Cohen, Geoffrey Irving, Georgios Piliouras는 증명자-추정자 토론을 제안했습니다. 이 방법은 한 AI가 주장을 하위 주장으로 나누고 다른 AI가 각 주장에 확률을 부여하여, 오류를 찾기 어려운 경우에도 정직한 토론이 승리 전략이 되도록 합니다.