Конституционный ИИ стремится согласовать модели ИИ с человеческими ценностями

Искусственный интеллект (AI) быстро становится важной частью повседневной жизни. Его внедряют в инструменты для таких сфер, как здравоохранение, подбор персонала, финансы и общественная безопасность. По мере распространения этих систем всё чаще звучат опасения по поводу их этичности и надёжности.

Например, системы ИИ, созданные без учёта справедливости и безопасности, иногда выдают предвзятые или ненадёжные результаты. Это происходит потому, что многие модели пока не умеют чётко отражать человеческие ценности и следовать им.

Чтобы решить эти проблемы, исследователи изучают подход, известный как конституционный ИИ. Проще говоря, в процесс обучения модели вводят письменно зафиксированный набор принципов. Эти принципы помогают модели оценивать собственное поведение, меньше полагаться на отзывы людей и давать более безопасные и понятные ответы.

Пока этот подход применяли главным образом к большим языковым моделям (LLMs). Однако такая же структура может помочь системам компьютерного зрения принимать этичные решения при анализе визуальных данных.

В этой статье мы разберём, как работает конституционный ИИ, рассмотрим примеры из реальной жизни и обсудим его возможное применение в системах компьютерного зрения.

Рис. 1. Особенности конституционного ИИ. Изображение предоставлено автором.

Что такое конституционный ИИ?#

Конституционный ИИ — это метод обучения моделей, который задаёт правила поведения моделей ИИ с помощью чёткого набора этических норм. Эти нормы служат кодексом поведения. Вместо того чтобы самостоятельно выводить, что приемлемо, модель следует письменно зафиксированным принципам, которые определяют её ответы во время обучения.

Эту концепцию предложила Anthropic — компания, занимающаяся исследованиями в области безопасности ИИ и разработавшая семейство больших языковых моделей Claude. Метод призван сделать системы ИИ более самостоятельными в принятии решений.

Вместо того чтобы полагаться только на отзывы людей, модель учится критически оценивать и улучшать собственные ответы, опираясь на заранее заданный набор принципов. Этот подход похож на правовую систему, в которой судья сверяется с конституцией, прежде чем вынести решение.

В этом случае модель одновременно выступает судьёй и учеником, используя один и тот же набор правил для проверки и улучшения собственного поведения. Этот процесс помогает лучше согласовать модели ИИ с заданными принципами и способствует созданию безопасных и ответственных систем ИИ.

Как работает конституционный ИИ?#

Цель конституционного ИИ — научить модель ИИ принимать безопасные и справедливые решения, следуя чёткому набору письменных правил. Вот краткое описание этого процесса:

• Определение конституции: Создаётся письменный перечень этических принципов, которым должна следовать модель. В конституции указано, чего ИИ следует избегать и какие ценности отражать.
• Обучение на размеченных примерах: Модели показывают примеры ответов, соответствующих конституции. Они помогают ИИ понять, как выглядит приемлемое поведение.
• Распознавание и применение закономерностей: Со временем модель начинает выявлять эти закономерности. Она учится применять те же ценности, отвечая на новые вопросы и сталкиваясь с новыми ситуациями.
• Критическая оценка и уточнение результатов: Модель проверяет собственные ответы и корректирует их на основе конституции. Этот этап самооценки помогает ей совершенствоваться, не полагаясь исключительно на отзывы людей.
• Создание согласованных и более безопасных ответов: Модель обучается на последовательных правилах, что помогает уменьшить предвзятость и повысить надёжность в реальных условиях. Такой подход позволяет лучше согласовать её поведение с человеческими ценностями и упростить управление.

Рис. 2. Обзор применения конституционного ИИ для обучения моделей.

Основные принципы этичного проектирования ИИ#

Чтобы модель ИИ следовала этическим правилам, сначала нужно чётко их определить. В конституционном ИИ эти правила основываются на наборе ключевых принципов.

Например, вот четыре принципа, лежащих в основе эффективной конституции ИИ:

• Прозрачность: Должно быть понятно, как модель пришла к ответу. Пользователь должен видеть, основан ли ответ на фактах, оценках или закономерностях. Это укрепляет доверие и помогает оценить, можно ли полагаться на результат модели.
• Равенство: Ответы должны быть последовательными для разных пользователей. Модель не должна менять результат в зависимости от имени человека, его происхождения или местонахождения. Равенство помогает предотвращать предвзятость и обеспечивает равное отношение ко всем.
• Подотчётность: Должна существовать возможность проследить, как обучалась модель и что повлияло на её поведение. Если что-то идёт не так, команды должны уметь выявить причину и устранить проблему. Это способствует прозрачности и долгосрочной подотчётности.
• Безопасность: Модели не должны создавать контент, способный причинить вред. Если запрос может привести к рискованному или небезопасному ответу, система должна это распознать и остановиться. Это защищает и пользователя, и целостность системы.

Примеры конституционного ИИ в больших языковых моделях#

Конституционный ИИ перешёл от теории к практике и постепенно внедряется в большие модели, с которыми взаимодействуют миллионы пользователей. Два наиболее распространённых примера — большие языковые модели от OpenAI и Anthropic.

Хотя эти организации используют разные подходы к созданию более этичных систем ИИ, их объединяет общая идея: научить модель следовать набору письменных руководящих принципов. Рассмотрим эти примеры подробнее.

Подход OpenAI к конституционному ИИ#

OpenAI включила в процесс обучения моделей ChatGPT документ под названием Model Spec. Этот документ служит своего рода конституцией. В нём изложено, к чему модель должна стремиться в ответах, в том числе к таким качествам, как полезность, честность и безопасность. В документе также определено, какие ответы считаются вредными или вводящими в заблуждение.

Эту систему использовали для дообучения моделей OpenAI: ответы оценивали по тому, насколько хорошо они соответствуют правилам. Со временем это помогло настроить ChatGPT так, чтобы он выдавал меньше вредных ответов и лучше соответствовал реальным ожиданиям пользователей.

Рис. 3. Пример ответа ChatGPT с использованием Model Spec от OpenAI.

Этичные модели ИИ от Anthropic#

Конституция модели Claude от Anthropic основана на этических принципах из таких источников, как Всеобщая декларация прав человека, правила платформ, например условия обслуживания Apple, и исследования других лабораторий ИИ. Эти принципы помогают обеспечить безопасность и справедливость ответов Claude, а также их соответствие важным человеческим ценностям.

Claude также использует обучение с подкреплением на основе обратной связи от ИИ (RLAIF): модель проверяет и корректирует собственные ответы в соответствии с этими этическими рекомендациями, а не полагается на отзывы людей. Благодаря этому Claude со временем совершенствуется, становится лучше масштабируемым и эффективнее даёт полезные, этичные и безвредные ответы даже в сложных ситуациях.

Рис. 4. Подход Anthropic к конституционному ИИ.

Применение конституционного ИИ в компьютерном зрении#

Поскольку конституционный ИИ положительно влияет на поведение языковых моделей, возникает закономерный вопрос: может ли аналогичный подход помочь системам компьютерного зрения принимать более справедливые и безопасные решения?

Хотя модели компьютерного зрения работают с изображениями, а не с текстом, этические ориентиры для них не менее важны. Например, необходимо учитывать справедливость и предвзятость: такие системы следует обучать равному отношению ко всем и предотвращению вредных или несправедливых результатов при анализе визуальных данных.

Рис. 5. Этические проблемы, связанные с компьютерным зрением. Изображение предоставлено автором.

Сейчас применение методов конституционного ИИ в компьютерном зрении всё ещё изучается и находится на раннем этапе; исследования в этой области продолжаются.

Например, недавно Meta представила CLUE — платформу, которая применяет рассуждения по аналогии с конституционным ИИ для задач безопасности изображений. Она преобразует общие правила безопасности в точные шаги, которым может следовать мультимодальный ИИ (системы ИИ, обрабатывающие и понимающие разные типы данных). Это помогает системе рассуждать яснее и снижать количество вредных результатов.

Кроме того, CLUE делает оценку безопасности изображений эффективнее за счёт упрощения сложных правил. Модели ИИ могут действовать быстро и точно, не требуя значительного участия людей. Используя набор руководящих принципов, CLUE помогает масштабировать системы модерации изображений, сохраняя высокое качество результатов.

Главные выводы#

По мере того как системы ИИ берут на себя больше ответственности, внимание смещается с того, что они могут делать, на то, что им следует делать. Это особенно важно, поскольку такие системы применяются в сферах, напрямую влияющих на жизнь людей, например в здравоохранении, правоохранительной деятельности и образовании.

Чтобы системы ИИ действовали уместно и этично, им нужна прочная и последовательная основа. В её основе должны лежать справедливость, безопасность и доверие.

Письменная конституция может стать такой основой на этапе обучения и направлять процесс принятия решений системой. Она также может дать разработчикам основу для проверки и корректировки поведения системы после развёртывания, помогая ей и дальше соответствовать заложенным ценностям и упрощая адаптацию к новым вызовам.

Присоединяйся к нашему растущему сообществу уже сегодня! Узнай больше об ИИ, изучив наш репозиторий GitHub. Хочешь создать собственные проекты в области компьютерного зрения? Ознакомься с нашими вариантами лицензирования. Узнай, как компьютерное зрение в здравоохранении повышает эффективность, и изучи влияние ИИ в производстве на страницах наших решений!