Обучение с подкреплением на основе обратной связи от человека (RLHF)

Обучение с подкреплением на основе обратной связи от человека (RLHF) — это передовая технология машинного обучения, предназначенная для приведения моделей искусственного интеллекта (ИИ) в соответствие со сложными, субъективными человеческими ценностями. Вместо того чтобы полагаться на предопределенную функцию вознаграждения, RLHF использует предпочтения человека для обучения «модели вознаграждения», которая направляет процесс обучения ИИ. Этот подход особенно эффективен для задач, в которых определение «хорошей» производительности является нюансированным, субъективным или трудным для определения с помощью простой метрики, например, для создания безопасного, полезного и связного диалога.

Как работает RLHF?

Процесс RLHF обычно включает в себя три ключевых этапа:

1. Предварительное обучение языковой модели: Оно начинается с базовой большой языковой модели (LLM), которая была предварительно обучена на огромном корпусе текстовых данных. Эта начальная модель, аналогичная базовой модели, имеет широкое понимание языка, но еще не специализирована для определенного стиля или задачи. За этим шагом может необязательно следовать контролируемая тонкая настройка на высококачественном наборе данных.
2. Обучение модели вознаграждения: Это ядро RLHF. Людям, занимающимся разметкой, представляется несколько результатов, сгенерированных предварительно обученной моделью в ответ на запрос. Они ранжируют эти результаты от лучшего к худшему на основе таких критериев, как полезность, правдивость и безопасность. Эти данные о предпочтениях затем используются для обучения отдельной модели вознаграждения. Модель вознаграждения учится предсказывать, какие результаты предпочтет человек, эффективно отражая человеческое суждение.
3. Тонкая настройка с помощью обучения с подкреплением: Предварительно обученная модель дополнительно настраивается с использованием обучения с подкреплением (RL). На этом этапе модель (действующая как агент) генерирует выходные данные, а модель вознаграждения предоставляет оценку «вознаграждения» для каждого выходного результата. Этот процесс, часто управляемый с помощью алгоритмов, таких как Proximal Policy Optimization (PPO), побуждает модель ИИ корректировать свои параметры для генерации ответов, которые максимизируют вознаграждение, тем самым приводя ее поведение в соответствие с усвоенными предпочтениями человека. Новаторская работа таких организаций, как OpenAI и DeepMind, продемонстрировала свою эффективность.

Применение в реальном мире

RLHF сыграла важную роль в развитии современных AI-систем.

• Продвинутые чат-боты: Передовые AI-чат-боты, такие как ChatGPT от OpenAI и Claude от Anthropic, используют RLHF, чтобы гарантировать, что их ответы не только точны, но и безвредны, этичны и соответствуют намерениям пользователя. Это помогает смягчить такие проблемы, как генерация предвзятого или токсичного контента, что является распространенной проблемой в масштабном генеративном ИИ.
• Предпочтения автономного вождения: При разработке ИИ для самоуправляемых автомобилей RLHF может учитывать отзывы водителей о смоделированном поведении, таком как комфорт при смене полосы движения или принятие решений в неоднозначных ситуациях. Это помогает ИИ изучать стили вождения, которые кажутся интуитивно понятными и надежными для людей, дополняя традиционные задачи компьютерного зрения, такие как обнаружение объектов, выполняемые моделями, такими как Ultralytics YOLO.

RLHF и смежные концепции

Важно отличать RLHF от других методов обучения ИИ.

• Обучение с подкреплением: Стандартный RL требует от разработчиков вручную разрабатывать функцию вознаграждения для определения желаемого поведения. Это просто для игр с четкими очками, но сложно для сложных задач реального мира. RLHF решает эту проблему, изучая функцию вознаграждения на основе обратной связи от человека, что делает его подходящим для задач без очевидной метрики успеха.
• Обучение с учителем: Обучение с учителем обучает модели на наборах данных с единственными «правильными» ответами. Этот подход менее эффективен для творческих или субъективных задач, где существует несколько хороших ответов. Использование RLHF рейтингов предпочтений (например, «A лучше, чем B») позволяет ему ориентироваться в неоднозначности и изучать нюансированное поведение.

Проблемы и будущие направления

Несмотря на свою мощь, RLHF сталкивается с проблемами. Сбор высококачественной обратной связи от людей обходится дорого и может привести к смещению набора данных, если разметчики не являются разнообразными. Кроме того, ИИ может обнаружить способы «обмануть» модель вознаграждения, явление, известное как взлом вознаграждения.

В будущих исследованиях изучаются более эффективные методы обратной связи и альтернативы, такие как Конституционный ИИ, который использует сгенерированные ИИ принципы для управления моделью. Внедрение RLHF требует опыта в нескольких областях машинного обучения, но такие инструменты, как библиотека TRL от Hugging Face, делают его более доступным. Платформы, такие как Ultralytics HUB, предоставляют инфраструктуру для управления наборами данных и обучения моделей, которые являются основой для продвинутых задач согласования и надежных операций машинного обучения (MLOps).