Reinforcement Learning from Human Feedback (RLHF)

Обучение с подкреплением на основе обратной связи от людей (RLHF) — это продвинутый метод машинного обучения, который совершенствует модели искусственного интеллекта, включая непосредственную обратную связь от людей в цикл обучения. В отличие от стандартного обучения с учителем, опирающегося только на статичные размеченные наборы данных, RLHF использует динамический механизм обратной связи: люди-оценщики ранжируют результаты модели или выставляют им оценки. Благодаря этому ИИ может учитывать сложные, субъективные или тонкие цели — например, «полезность», «безопасность» или «креативность», — которые трудно выразить простой математической функцией потерь. RLHF стал одним из ключевых методов разработки современных больших языковых моделей (LLMs) и генеративного ИИ, помогая согласовывать мощные базовые модели с человеческими ценностями и намерениями пользователей.

Основные компоненты RLHF#

Процесс RLHF обычно состоит из трёх этапов, которые помогают согласовать базовые возможности предсказания с поведением, учитывающим человеческие предпочтения.

1. Дообучение с учителем (SFT): Рабочий процесс обычно начинается с предварительно обученной базовой модели. Разработчики проводят начальное дообучение на небольшом высококачественном наборе примеров (например, парах вопросов и ответов, составленных экспертами). Этот шаг задаёт базовую стратегию и обучает модель общему формату и тону, необходимым для решения задачи.

2. Обучение модели вознаграждения: Этот этап отличает RLHF от других методов. Разметчики-люди проверяют несколько результатов модели для одного и того же входного запроса и ранжируют их от лучшего к худшему. Так формируется набор предпочтений в ходе разметки данных. Отдельную нейронную сеть, называемую моделью вознаграждения, обучают на этих сравнительных данных предсказывать скалярную оценку, отражающую мнение людей. Инструменты Ultralytics Platform помогают упростить управление такими процессами разметки.

3. Оптимизация с подкреплением: На заключительном этапе исходная модель выступает в роли ИИ-агента в среде обучения с подкреплением. Используя модель вознаграждения как ориентир, алгоритмы оптимизации, например оптимизация проксимальной политики (PPO), корректируют параметры модели, чтобы максимизировать ожидаемое вознаграждение. Этот этап согласует стратегию модели с усвоенными предпочтениями людей, поощряя полезное и безопасное поведение и ограничивая токсичные или бессмысленные ответы.

Примеры применения в реальных условиях#

RLHF оказался критически важным для внедрения систем ИИ, которым необходимы высокие стандарты безопасности и тонкое понимание человеческого взаимодействия.

• Диалоговый ИИ и чат-боты: Наиболее заметное применение RLHF — настройка чат-ботов так, чтобы они были полезными, безвредными и честными. Штрафуя модель за предвзятые, фактически неверные или опасные ответы, RLHF помогает снизить галлюцинации больших языковых моделей и уменьшить риск алгоритмической предвзятости. Благодаря этому виртуальные помощники могут отказываться выполнять вредные инструкции, оставаясь полезными при обработке легитимных запросов.
• Робототехника и управление физическими системами: RLHF применяется не только к тексту, но и к ИИ в робототехнике, где сложно задать идеальную функцию вознаграждения для сложных физических задач. Например, люди-кураторы могут подсказывать роботу, обучающемуся перемещаться по загруженному складу, какие траектории безопасны, а какие приводят к сбоям. Такая обратная связь позволяет эффективнее уточнять стратегию управления роботом, чем простое глубокое обучение с подкреплением, основанное только на достижении цели.

RLHF и стандартное обучение с подкреплением#

Чтобы понять, чем полезен RLHF, важно отличать его от традиционного обучения с подкреплением (RL).

• Стандартное обучение с подкреплением: В традиционных сценариях функция вознаграждения часто жёстко задаётся средой. Например, в видеоигре среда выдаёт чёткий сигнал: +1 за победу и -1 за поражение. Агент оптимизирует свои действия в рамках заданного марковского процесса принятия решений (MDP).
• RLHF: Во многих реальных ситуациях, например при написании художественного рассказа или вежливом вождении, понятие «успеха» субъективно. RLHF решает эту проблему, заменяя жёстко заданное вознаграждение обученной моделью вознаграждения, построенной на предпочтениях людей. Это позволяет оптимизировать абстрактные понятия вроде «качества» или «уместности», которые невозможно явно задать в программе.

Объединение восприятия и циклов обратной связи#

В визуальных приложениях агенты, настроенные с помощью RLHF, часто используют компьютерное зрение (CV), чтобы оценить состояние среды перед действием. Надёжный детектор, например YOLO26, служит уровнем восприятия и предоставляет структурированные наблюдения (например, «препятствие обнаружено в 3 метрах»), на основе которых управляющая сеть выбирает действие.

В следующем примере на Python показана упрощённая концепция, в которой модель YOLO определяет состояние среды. В полноценном цикле RLHF сигнал «вознаграждения» поступал бы от модели, обученной на обратной связи от людей об оценке решений агента на основе данных обнаружения.

from ultralytics import YOLO

# Load YOLO26n to act as the perception layer for an intelligent agent
model = YOLO("yolo26n.pt")

# The agent observes the environment (an image) to determine its state
results = model("https://ultralytics.com/images/bus.jpg")

# In an RL context, the 'state' is derived from detections
# A reward model (trained via RLHF) would evaluate the action taken based on this state
detected_objects = len(results[0].boxes)

print(f"Agent Observation: Detected {detected_objects} objects.")
# Example output: Agent Observation: Detected 4 objects.

Объединяя мощные модели восприятия со стратегиями, усовершенствованными благодаря обратной связи от людей, разработчики могут создавать не только интеллектуальные, но и строго соответствующие принципам безопасности ИИ системы. Текущие исследования масштабируемого надзора, включая конституционный ИИ, продолжают развивать эту область: они призваны уменьшить узкое место, связанное с масштабной разметкой людьми, и при этом сохранить высокую производительность моделей.