AI Debate

Дебаты между ИИ — это метод безопасности ИИ, в котором две системы ИИ отстаивают противоположные ответы на вопрос, а судья — обычно человек или более слабая модель — решает, чьи аргументы убедительнее. В 2018 году Джеффри Ирвинг, Пол Кристиано и Дарио Амодеи предложили этот подход в OpenAI в статье Безопасность ИИ посредством дебатов как форму масштабируемого надзора — способ контроля людьми систем ИИ при выполнении задач, слишком сложных для непосредственной проверки. В основе лежит идея о том, что найти ошибку в аргументе проще, чем дать правильный ответ, и что у противника есть все основания указать на эту ошибку.

Как устроены дебаты#

Вопрос или предлагаемое действие передаётся двум ИИ-агентам. Они по очереди делают короткие заявления в течение фиксированного числа раундов, каждый старается убедить судью, а вердикт судьи становится вознаграждением. Игра имеет нулевую сумму, поэтому обучение обоих агентов посредством самообучения с обучением с подкреплением побуждает каждого выявлять ошибки другого. Если опровергнуть ложь проще, чем защитить её, выигрышная стратегия — говорить правду.

В исходной статье аргумент был формализован с помощью аналогии с теорией вычислительной сложности. При оптимальной игре дебаты позволяют судье с полиномиальным временем вычислений отвечать на любой вопрос из класса PSPACE, тогда как непосредственная оценка одного ответа охватывает только NP. В первом эксперименте использовались изображения. Два агента по очереди показывали разреженному классификатору изображений, который больше ничего не видел, пиксели цифры MNIST: один отстаивал правильную цифру, другой — неправильную. При показе 6 пикселей дебаты повысили точность судьи с 59,4% до 88,9%, а при показе 4 пикселей — с 48,2% до 85,2%.

Эксперименты с языковыми моделями#

В более поздних экспериментах дебаты проверялись с помощью больших языковых моделей (LLM). В исследовании 2024 года Дебаты с более убедительными LLM приводят к более правдивым ответам, проведённом под руководством Акбира Хана, две экспертные модели, способные прочитать длинный рассказ, отстаивали разные ответы на вопрос по его содержанию, а судьи, не видевшие рассказа, выбирали сторону. Дебаты повысили точность до 76% у судей-моделей и до 88% у людей — по сравнению с 48% и 60% для простых базовых методов. Оптимизация спорщиков на убедительность повысила точность судей — именно этого и добиваются дебаты. Цитаты из рассказа автоматически проверялись и помечались как подлинные, поэтому спорщик не мог выдумать доказательства. Эта асимметрия информации, при которой спорщики видят источник, недоступный судье, используется в большинстве экспериментов с дебатами как модель ситуации, в которой будущая модель знает больше своего надзирателя.

В более масштабном исследовании Google DeepMind Закари Кентон и его коллеги сравнили дебаты с консультацией, где один ИИ отстаивает назначенный ему ответ, на множестве задач: О масштабируемом надзоре: слабые LLM оценивают сильные LLM. Дебаты превосходили консультацию на каждой задаче, когда консультанту случайным образом назначали позицию, и превосходили судью, отвечавшего напрямую, в извлечении ответов на вопросы при асимметрии информации; результаты на задачах без такой асимметрии были неоднозначными.

Проверяемые доказательства не менее важны, когда предмет дебатов — изображение, например при ответах на визуальные вопросы. Детектор объектов, например Ultralytics YOLO26, выдаёт рамки и метки классов, по которым судья может проверить утверждение вроде «два человека находятся внутри отмеченной пешеходной дорожки», так же как проверка цитат подкрепляет дебаты о тексте.

Сравнение с другими методами надзора#

• Обучение с подкреплением на основе отзывов людей (RLHF): Оценщики напрямую судят о результатах; это работает, пока люди могут отличить хорошие ответы от плохих. Дебаты предназначены для случаев, когда они этого сделать не могут.
• Дебаты нескольких агентов для рассуждений: Вариант инференса, при котором несколько копий модели предлагают ответы, читают ответы друг друга и пересматривают свои в течение нескольких раундов. Это повышает точность арифметических и фактических ответов без обученного судьи; обмен аргументами отличает этот подход от ансамбля, который объединяет независимые предсказания.
• Конституционный ИИ: Модель критикует и пересматривает результаты в соответствии с письменными принципами, заменяя значительную часть человеческой разметки обратной связью от ИИ. В дебатах критику высказывает противник, заинтересованный в поиске ошибок.
• Редтиминг ИИ: Люди или автоматизированные противники проверяют готовую систему на наличие сбоев. В дебатах противодействие исходит от оппонента внутри каждого ответа.
• Супервыровнивание: Более широкая исследовательская программа по выравниванию систем, превосходящих по возможностям своих надзирателей. Дебаты — один из возможных методов в этой программе наряду с рекурсивным моделированием вознаграждения и обобщением от слабых моделей к сильным.

Известные слабые места#

У судей есть собственные предубеждения. Уверенный тон, длина ответа и беглый стиль могут перевесить его правильность, а судьи-модели склонны к подхалимству ИИ. Если оба дебатёра — копии одной модели, они могут разделять одни и те же заблуждения. Тогда ни один не укажет на ошибку, и галлюцинация останется без возражений. Дебаты также обходятся дорого, поскольку каждый вопрос требует нескольких раундов генерации с длинным контекстом и отдельного вердикта.

Наиболее изученный тип сбоя — запутанный аргумент. Нечестный спорщик может построить длинную цепочку рассуждений, в которой один шаг неверен, но ошибку трудно найти. Честный спорщик может знать, что вывод ложен, но не успеть указать на ошибочный шаг за отведённые раунды, и тогда у судьи не будет оснований для решения. Эксперименты с участием людей, проведённые Бет Барнс и Полом Кристиано в 2020 году, выявили эту проблему. В 2025 году Джона Браун-Коэн, Джеффри Ирвинг и Георгиос Пилиуриас предложили дебаты с докладчиком и оценщиком: один ИИ разбивает аргумент на подутверждения, а другой назначает каждому вероятность, чтобы честная игра становилась выигрышной стратегией даже тогда, когда ошибку трудно найти.