Constitutional AI

Constitutional AI — это метод обучения систем искусственного интеллекта для их согласования с человеческими ценностями путем предоставления им набора высокоуровневых принципов — «конституции», вместо того чтобы полагаться исключительно на обширную обратную связь от людей по отдельным результатам работы. Такой подход по сути обучает модель ИИ критиковать и пересматривать свое поведение на основе заранее определенных правил, таких как «будь полезным», «не навреди» и «избегай дискриминации». Внедряя эти этические нормы непосредственно в процесс обучения, ты можешь создавать системы, которые будут более безопасными, прозрачными и легко масштабируемыми по сравнению с теми, что зависят от ручного Reinforcement Learning from Human Feedback (RLHF).

Link to this sectionМеханизм Constitutional AI#

Основная инновация Constitutional AI заключается в двухэтапном процессе обучения, который автоматизирует согласование моделей. В отличие от традиционного обучения с учителем, где люди должны помечать каждый правильный ответ, Constitutional AI использует саму модель для генерации данных для обучения.

1. Этап обучения с учителем: Модель генерирует ответы на промпты, а затем критикует свой собственный результат на основе конституционных принципов. Она пересматривает ответ, чтобы лучше соответствовать правилам. Этот уточненный набор данных затем используется для дообучения модели, приучая ее внутренне следовать заданным принципам.

2. Этап обучения с подкреплением: Этот этап, часто называемый Reinforcement Learning from AI Feedback (RLAIF), заменяет оценщика-человека. ИИ генерирует пары ответов и выбирает тот, который лучше всего соответствует конституции. Эти данные о предпочтениях обучают модель вознаграждения, которая затем закрепляет желаемое поведение с помощью стандартных методов обучения с подкреплением.

Link to this sectionЗначение для компьютерного зрения#

Хотя Constitutional AI зародился в контексте Large Language Models (LLM), разработанных такими организациями, как Anthropic, его принципы становятся все более актуальными для более широких задач машинного обучения, включая Computer Vision (CV).

• Этическая генерация изображений: Инструменты Generative AI для создания изображений могут быть «конституционно» обучены отказываться от промптов, которые привели бы к созданию жестокого, оскорбительного или защищенного авторским правом контента. Это гарантирует, что сами model weights кодируют ограничения безопасности, предотвращая создание вредоносного визуального контента.
• Системы технического зрения, критичные для безопасности: В autonomous vehicles «конституционный» подход позволяет определить иерархические правила принятия решений. Например, правило, гласящее, что «безопасность человека важнее эффективности движения», может направлять модель при анализе сложных дорожных сцен, гарантируя, что результаты object detection интерпретируются с приоритетом безопасности.

Link to this sectionВнедрение проверок политики в Vision AI#

Хотя полное обучение Constitutional AI включает сложные циклы обратной связи, ты можешь применять концепцию «конституционных проверок» во время inference, чтобы фильтровать результаты на основе политик безопасности. Следующий пример демонстрирует использование YOLO26 для обнаружения объектов и применение правила безопасности для фильтрации обнаружений с низкой достоверностью, имитируя надежную конституцию.

from ultralytics import YOLO

# Load the YOLO26 model (latest stable Ultralytics release)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Apply a "constitutional" safety check: Only accept high-confidence detections
for result in results:
    # Filter boxes with confidence > 0.5 to ensure reliability
    safe_boxes = [box for box in result.boxes if box.conf > 0.5]

    print(f"Safety Check Passed: {len(safe_boxes)} reliable objects detected.")
    # Further processing would only use 'safe_boxes'

Link to this sectionConstitutional AI против обычного RLHF#

Важно отличать Constitutional AI от стандартного Reinforcement Learning from Human Feedback (RLHF).

• Масштабируемость: RLHF требует огромных затрат человеческого труда для оценки результатов модели, что дорого и медленно. Constitutional AI автоматизирует это с помощью AI agents, делая процесс высоко масштабируемым.
• Прозрачность: В RLHF модель учится на непрозрачном «сигнале вознаграждения» (оценке), из-за чего трудно понять, почему было отдано предпочтение тому или иному поведению. В Constitutional AI chain of thought prompting, используемый на этапе критики, делает рассуждения явными и прослеживаемыми до конкретных письменных принципов.
• Согласованность: Оценщики-люди могут быть непоследовательными или предвзятыми. Письменная конституция обеспечивает стабильную основу для AI ethics, снижая субъективность в процессе согласования.

Link to this sectionБудущее согласования#

По мере развития моделей в сторону Artificial General Intelligence (AGI) возрастает важность надежных стратегий согласования, таких как Constitutional AI. Эти методы необходимы для соблюдения новых стандартов, устанавливаемых такими органами, как NIST AI Safety Institute.

Платформа Ultralytics Platform предлагает инструменты для управления данными и model monitoring, облегчая создание ответственных систем ИИ. Интегрируя эти этические соображения в жизненный цикл разработки ИИ — от data collection до model deployment — организации могут снизить риски и гарантировать, что их технологии приносят пользу обществу.