Конституционный ИИ направлен на приведение ИИ-моделей в соответствие с человеческими ценностями

Искусственный интеллект (ИИ) быстро становится важной частью нашей повседневной жизни. Он внедряется в инструменты, используемые в таких сферах, как здравоохранение, подбор персонала, финансы и общественная безопасность. По мере расширения этих систем также высказываются опасения относительно их этичности и надежности.

Например, иногда системы ИИ, созданные без учета справедливости или безопасности, могут выдавать предвзятые или ненадежные результаты. Это происходит потому, что многие модели до сих пор не имеют четкого способа отражать и учитывать человеческие ценности.

Чтобы решить эти задачи, исследователи сейчас изучают подход, известный как конституционный ИИ. Проще говоря, он внедряет в процесс обучения модели набор письменных принципов. Эти принципы помогают модели оценивать собственное поведение, меньше полагаться на обратную связь от людей и делать ответы более безопасными и понятными.

На данный момент этот подход использовался в основном применительно к большим языковым моделям (LLM). Однако та же структура могла бы помочь направлять системы компьютерного зрения в принятии этических решений при анализе визуальных данных.

В этой статье мы разберемся, как работает конституционный ИИ, рассмотрим примеры из реальной жизни и обсудим его потенциальное применение в системах компьютерного зрения.

Рис. 1. Характеристики конституционного ИИ. Изображение от автора.

Link to this sectionЧто такое конституционный ИИ?#

Конституционный ИИ — это метод обучения модели, который направляет поведение моделей ИИ путем предоставления четкого набора этических правил. Эти правила действуют как кодекс поведения. Вместо того чтобы полагаться на способность модели самой определять, что является приемлемым, она следует набору письменных принципов, которые формируют ее ответы во время обучения.

Эта концепция была представлена Anthropic, исследовательской компанией, ориентированной на безопасность ИИ, которая разработала семейство LLM Claude как метод сделать системы ИИ более самообучающимися в процессе принятия решений.

Вместо того чтобы полагаться исключительно на обратную связь от людей, модель учится критиковать и совершенствовать свои собственные ответы на основе предопределенного набора принципов. Этот подход похож на правовую систему, где судья ссылается на конституцию перед вынесением решения.

В этом случае модель становится одновременно и судьей, и учеником, используя один и тот же набор правил для анализа и улучшения собственного поведения. Этот процесс укрепляет согласованность модели ИИ и поддерживает развитие безопасных, ответственных систем ИИ.

Link to this sectionКак работает конституционный ИИ?#

Цель конституционного ИИ — научить модель ИИ принимать безопасные и справедливые решения, следуя четкому набору письменных правил. Вот простое объяснение того, как работает этот процесс:

• Определение конституции: Создается письменный список этических принципов, которым должна следовать модель. Конституция определяет, чего ИИ должен избегать и какие ценности отражать.
• Обучение на примерах с учителем: Модели показывают примеры ответов, соответствующих конституции. Эти примеры помогают ИИ понять, как выглядит приемлемое поведение.
• Распознавание и применение шаблонов: Со временем модель начинает улавливать эти закономерности. Она учится применять те же ценности при ответах на новые вопросы или в новых ситуациях.
• Критика и уточнение результатов: Модель пересматривает свои собственные ответы и корректирует их на основе конституции. Эта фаза самопроверки помогает ей улучшаться, не полагаясь только на обратную связь от людей.
• Создание согласованных и более безопасных ответов: Модель учится на основе последовательных правил, что помогает уменьшить предвзятость и повысить надежность при реальном использовании. Этот подход делает ее более согласованной с человеческими ценностями и упрощает управление.

Рис. 2. Обзор использования конституционного ИИ для обучения моделей.

Link to this sectionОсновные принципы этического дизайна ИИ#

Чтобы модель ИИ следовала этическим правилам, эти правила должны быть сначала четко определены. Когда речь идет о конституционном ИИ, эти правила основаны на наборе ключевых принципов.

Например, вот четыре принципа, которые составляют основу эффективной конституции ИИ:

• Прозрачность: Должно быть легко понять, как модель пришла к ответу. Если ответ основан на фактах, оценках или шаблонах, это будет прозрачно для пользователя. Это укрепляет доверие и помогает людям судить о том, можно ли полагаться на результат работы модели.
• Равенство: Ответы должны оставаться последовательными для разных пользователей. Модель не должна менять свой вывод в зависимости от имени, биографии или местоположения человека. Равенство помогает предотвратить предвзятость и способствует равному отношению.
• Ответственность: Должен быть способ проследить, как обучалась модель и что повлияло на ее поведение. Когда что-то идет не так, команды должны иметь возможность определить причину и исправить ее. Это поддерживает прозрачность и долгосрочную подотчетность.
• Безопасность: Модели должны избегать создания контента, который может причинить вред. Если запрос ведет к рискованным или небезопасным результатам, система должна распознать это и остановиться. Это защищает как пользователя, так и целостность самой системы.

Link to this sectionПримеры конституционного ИИ в больших языковых моделях#

Конституционный ИИ перешел от теории к практике и сейчас постепенно используется в крупных моделях, которые взаимодействуют с миллионами пользователей. Два из самых известных примеров — это LLM от OpenAI и Anthropic.

Хотя обе организации использовали разные подходы к созданию более этичных систем ИИ, их объединяет общая идея: обучение модели следованию набору письменных руководящих принципов. Давайте подробнее рассмотрим эти примеры.

Link to this sectionПодход OpenAI к конституционному ИИ#

OpenAI представила документ под названием Model Spec как часть процесса обучения своих моделей ChatGPT. Этот документ действует как конституция. Он описывает, к чему модель должна стремиться в своих ответах, включая такие ценности, как полезность, честность и безопасность. В нем также определено, что считается вредным или вводящим в заблуждение выводом.

Этот фреймворк использовался для донастройки моделей OpenAI путем оценки ответов на предмет того, насколько хорошо они соответствуют правилам. Со временем это помогло сформировать ChatGPT таким образом, чтобы он выдавал меньше вредных ответов и лучше соответствовал ожиданиям пользователей.

Рис. 3. Пример использования ChatGPT Model Spec от OpenAI для формирования ответа.

Link to this sectionМодели этичного ИИ от Anthropic#

Конституция, которой следует модель Claude от Anthropic, основана на этических принципах из таких источников, как Всеобщая декларация прав человека, правила платформы, например условия использования Apple, и исследования других лабораторий ИИ. Эти принципы помогают гарантировать, что ответы Claude являются безопасными, справедливыми и соответствуют важным человеческим ценностям.

Claude также использует обучение с подкреплением на основе обратной связи от ИИ (RLAIF), где модель проверяет и корректирует свои ответы на основе этих этических принципов, а не полагается на человеческую обратную связь. Этот процесс позволяет Claude улучшаться со временем, делая модель более масштабируемой и эффективной в предоставлении полезных, этичных и безопасных ответов, даже в сложных ситуациях.

Рис. 4. Понимание подхода Anthropic к конституционному ИИ.

Link to this sectionПрименение конституционного ИИ к компьютерному зрению#

Поскольку конституционный ИИ положительно влияет на поведение языковых моделей, это закономерно вызывает вопрос: может ли аналогичный подход помочь системам на основе зрения реагировать более справедливо и безопасно?

Хотя модели компьютерного зрения работают с изображениями, а не с текстом, потребность в этическом руководстве не менее важна. Например, справедливость и предвзятость — это ключевые факторы, которые необходимо учитывать, так как эти системы должны быть обучены относиться ко всем одинаково и избегать вредных или несправедливых результатов при анализе визуальных данных.

Рис. 5. Этические проблемы, связанные с компьютерным зрением. Изображение от автора.

В настоящее время использование методов конституционного ИИ в компьютерном зрении все еще изучается и находится на ранних стадиях, при этом в данной области ведутся активные исследования.

Например, компания Meta недавно представила CLUE — фреймворк, который применяет логику, подобную конституционной, к задачам безопасности изображений. Он превращает общие правила безопасности в точные шаги, которым может следовать мультимодальный ИИ (системы ИИ, которые обрабатывают и понимают несколько типов данных). Это помогает системе мыслить более четко и сокращать количество вредных результатов.

Кроме того, CLUE делает оценку безопасности изображений более эффективной за счет упрощения сложных правил, позволяя моделям ИИ действовать быстро и точно без необходимости в обширном участии человека. Используя набор руководящих принципов, CLUE делает системы модерации изображений более масштабируемыми, гарантируя при этом высокое качество результатов.

Link to this sectionОсновные выводы#

По мере того как системы ИИ берут на себя все больше ответственности, фокус смещается с того, что они могут делать, на то, что они должны делать. Этот сдвиг является ключевым, поскольку эти системы используются в областях, которые напрямую влияют на жизнь людей, таких как здравоохранение, правоохранительные органы и образование.

Чтобы гарантировать, что системы ИИ действуют надлежащим образом и этично, им нужна прочная и последовательная основа. Эта основа должна отдавать приоритет справедливости, безопасности и доверию.

Письменная конституция может обеспечить эту основу во время обучения, направляя процесс принятия решений системой. Она также может дать разработчикам фреймворк для проверки и корректировки поведения системы после внедрения, обеспечивая ее дальнейшее соответствие ценностям, ради которых она была создана, и упрощая адаптацию по мере возникновения новых проблем.

Присоединяйся к нашему растущему сообществу уже сегодня! Погрузись в ИИ глубже, изучив наш репозиторий на GitHub. Хочешь создавать свои собственные проекты по компьютерному зрению? Ознакомься с нашими вариантами лицензирования. Узнай, как компьютерное зрение в здравоохранении повышает эффективность, и изучи влияние ИИ в производстве, посетив страницы наших решений!