Constitutional AI

Конституционный ИИ (CAI) — метод, разработанный Anthropic для обучения языковой модели безопасному поведению с помощью письменного набора принципов — конституции — вместо человеческих меток, указывающих на вредоносность отдельных ответов. Метод представлен в статье «Конституционный ИИ: безвредность благодаря обратной связи от ИИ», опубликованной в декабре 2022 года. Он предлагает модели критиковать и пересматривать собственные ответы в соответствии с этими принципами, а затем использовать оценки ИИ о том, какой ответ лучше им соответствует, в качестве данных о предпочтениях для обучения с подкреплением. В статье человеческие метки по-прежнему использовались для оценки полезности и были заменены только для оценки безвредности. С 2023 года Anthropic обучает модели Claude методами на основе конституции.

Как работает Constitutional AI#

Обучение начинается с модели, уже дообученной на полезное поведение, и проходит в два этапа:

1. Этап обучения с учителем: Модель отвечает на запросы для red teaming, составленные так, чтобы спровоцировать вредоносные ответы. Затем ее просят критически оценить собственный ответ с точки зрения случайно выбранного принципа из конституции и переписать ответ с учетом критики; этот процесс повторяют один или несколько раз. Модель дообучают на итоговых версиях ответов.
2. Этап обучения с подкреплением: Дообученная модель генерирует пары ответов, а модель обратной связи, получившая принцип в качестве подсказки, оценивает, какой ответ лучше, при необходимости сначала рассуждая пошагово. Затем модель предпочтений, обученная на этих метках ИИ и дополненная человеческими метками полезности, формирует функцию вознаграждения для обучения с подкреплением. В статье этот этап назван обучением с подкреплением на основе обратной связи от ИИ (RLAIF).

При одинаковом уровне полезности полученные модели были менее вредоносными, чем модели, обученные на человеческих метках безвредности, и реже уклонялись от ответа: вместо категоричного отказа на чувствительные запросы они отвечали на них и объясняли свои возражения.

Что содержит конституция#

В статье 2022 года использовались 16 коротких принципов для критики и ещё 16 для обратной связи ИИ; каждый принцип был сформулирован как инструкция, например: «Какой из этих ответов ассистента менее вреден? Выбери ответ, который с большей вероятностью дал бы мудрый, этичный, вежливый и дружелюбный человек». Первая опубликованная конституция Claude в мае 2023 года опиралась, в частности, на Всеобщую декларацию прав человека ООН. В октябре 2023 года Anthropic и Collective Intelligence Project провели эксперимент с участием общественности: около 1000 американцев предлагали принципы и голосовали за них на платформе обсуждений Polis. Модель, обученная на этой общественной конституции, показала результаты, близкие к модели Anthropic, и меньшее смещение по девяти социальным измерениям.

В январе 2026 года Anthropic заменила список правил гораздо более подробной конституцией для Claude, объясняющей причины требуемого поведения. В ней четыре приоритета перечислены по порядку: широкая безопасность, широкая этичность, соблюдение рекомендаций Anthropic и подлинная полезность. В документе сохранено небольшое число жестких ограничений; он опубликован под лицензией CC0 для общественного достояния. Claude использует сам документ для генерации синтетических обучающих данных, включая диалоги, в которых применяются положения конституции, и ранжирование возможных ответов. Функция умной разметки в Ultralytics Platform может использовать визуальные модели Claude, обученные этими методами на основе конституции, для создания предварительных боксов классов набора данных обнаружения объектов, которые затем проверяют и сохраняют разметчики.

Constitutional AI, RLHF и связанные методы#

• Обучение с подкреплением на основе обратной связи от людей (RLHF): Люди-оценщики сравнивают ответы, чтобы обучить модель вознаграждения. CAI использует тот же конвейер, но заменяет человеческое сравнение безвредности на сравнение ИИ, руководствующегося принципами. Это избавляет оценщиков от необходимости читать большие объемы вредоносного текста и делает цель обучения понятной и редактируемой. У ИИ-судьи есть собственные слепые зоны, поэтому формулировки принципов влияют на результат.
• RLAIF в целом: любое обучение с подкреплением на метках предпочтений, созданных ИИ. CAI — это вариант, управляемый конституцией, а исследование Google 2023 года показало, что RLAIF сопоставим с RLHF в задачах суммаризации и диалога.
• Прямая оптимизация предпочтений (DPO): способ обучения на парах предпочтений без отдельной модели вознаграждения. Для него можно использовать метки ИИ, сформированные с учетом конституции, а также человеческие метки.
• Механизмы защиты ИИ: фильтры, применяемые вокруг модели во время инференса. Классификаторы на основе конституции Anthropic объединяют оба подхода: конституция определяет допустимое и недопустимое содержимое, Claude генерирует на ее основе синтетические примеры, а обученные классификаторы входных и выходных данных блокируют обходы защитных механизмов. В феврале 2025 года в автоматизированных тестах доля успешных обходов снизилась с 86% до 4.4%, а версия января 2026 года сократила вычислительные затраты примерно в 40 раз относительно базового классификатора и при этом отклоняла 0.05% запросов в рабочей среде.