Reinforcement Learning from Human Feedback (RLHF)

Обучение с подкреплением на основе обратной связи от людей (RLHF) — это метод обучения, который улучшает модель ИИ с помощью оценок людьми её ответов, а не вручную заданной целевой функции. Люди-оценщики сравнивают пары ответов модели или наборы ответов модели, модель вознаграждения учится предсказывать, какой ответ они предпочтут, а затем обучение с подкреплением дообучает исходную модель так, чтобы та генерировала ответы, которым модель вознаграждения присваивает высокие оценки. Метод RLHF нужен потому, что людям легко распознавать такие качества, как полезность, честность и тон, но почти невозможно описать их с помощью функции потерь. В 2017 году Кристиано и соавторы использовали этот метод, чтобы научить агентов новому поведению в играх Atari и симуляторах роботов, опираясь примерно на час сравнений, проведённых людьми, и этот метод стал стандартным заключительным этапом обучения больших языковых моделей (LLMs) и других систем генеративного ИИ после выхода InstructGPT от OpenAI и ChatGPT в 2022 году.

Как работает RLHF#

В классическом рецепте, описанном в статье об InstructGPT, три этапа:

1. Дообучение с учителем (SFT): Предварительно обученную базовую модель дообучают на написанных людьми демонстрациях — например, хороших ответах на примеры запросов. Это учит её ожидаемому формату и тону.
2. Обучение модели вознаграждения: Модель SFT генерирует несколько ответов на каждый запрос, а разметчики ранжируют их. В InstructGPT около 40 привлечённых исполнителей ранжировали от 4 до 9 ответов на запрос. Копию модели с одним скалярным выходом обучают ставить предпочтительным ответам более высокие оценки, чем отклонённым.
3. Обучение с подкреплением: Модель SFT становится политикой и оптимизируется с помощью проксимальной оптимизации политики (PPO), чтобы максимизировать оценку модели вознаграждения за вычетом штрафа, пропорционального расхождению KL с моделью SFT. Штраф удерживает политику вблизи связного текста, который видела модель вознаграждения, и не даёт ей смещаться к странным ответам, которые модель вознаграждения случайно оценивает слишком высоко.

Коэффициент KL, обычно обозначаемый β, определяет, насколько далеко может сдвинуться политика. У целевой функции с регуляризацией KL есть точный оптимум: вероятности эталонной модели, перевзвешенные экспонентой от награды, делённой на β. Этот пример на NumPy вычисляет его для четырёх возможных ответов:

import numpy as np

# Four candidate responses: probability under the fine-tuned reference model and reward-model score
reference = np.array([0.50, 0.30, 0.15, 0.05])
reward = np.array([0.0, 1.0, 2.0, 4.0])

for beta in [10.0, 1.0, 0.1]:
    # Optimal policy for "maximize expected reward - beta * KL(policy || reference)"
    policy = reference * np.exp(reward / beta)
    policy /= policy.sum()
    kl = (policy * np.log(policy / reference)).sum()
    print(f"beta={beta:>4}: policy={policy.round(2)}, expected reward={policy @ reward:.2f}, KL={kl:.2f}")

При β = 10 выводится политика [0.46 0.3 0.17 0.07], почти совпадающая с эталонной; при β = 0.1 выводится политика [0. 0. 0. 1.], в которой вся вероятность переходит к ответу, которому эталонная модель давала лишь 5%; значение KL при этом равно 3.00. Малое β позволяет получить наивысшую оценку модели вознаграждения, но если модель вознаграждения завышает оценку этому редкому ответу, политика учится использовать ошибку вместо того, чтобы радовать людей. Метод прямой оптимизации предпочтений (DPO) использует этот же точный оптимум, чтобы обучаться непосредственно на парах предпочтений, без отдельной модели вознаграждения и цикла RL.

Где применяют RLHF#

• Чат-ассистенты: Разметчики InstructGPT предпочитали ответы модели RLHF с 1,3 миллиарда параметров ответам GPT-3 со 175 миллиардами параметров. Чат-модели Llama 2 от Meta настраивали с помощью двух отдельных моделей вознаграждения: одной для полезности и одной для безопасности.
• Суммаризация: Модели суммаризации OpenAI 2020 года, обученные на обратной связи от людей, создавали сводки, которые оценщики предпочитали эталонным сводкам, написанным людьми и входившим в набор данных.
• Генерация изображений: Модели вознаграждения, обученные на оценках людьми сгенерированных изображений, используют для дообучения моделей преобразования текста в изображение, чтобы они точнее следовали запросам и создавали изображения, которые нравятся людям.
• Робототехника и управление: Для задач, где успех легко оценить, но трудно определить, например для естественной походки или безопасной траектории в толпе, люди сравнивают короткие видеоролики с попытками робота вместо того, чтобы задавать функцию вознаграждения.

Модели «зрение — язык» крупных поставщиков проходят ту же настройку предпочтений, что и текстовые чат-боты. В агентах Ultralytics Platform детектор Ultralytics YOLO26 определяет, какие изображения нужно рассмотреть внимательнее, а одна из таких моделей из списка моделей Platform, например Google Gemini, следует подсказке рабочего процесса и описывает изображения.

Ограничения#

Разметка данных с учётом человеческих предпочтений медленная и дорогая, а оценщики не всегда согласны друг с другом, поэтому модель вознаграждения усваивает среднее их вкусовых предпочтений вместе с их слепыми зонами. Кроме того, оценщики поощряют уверенные и соглашательские ответы: исследование Anthropic пяти ассистентов показало, что данные о предпочтениях людей отдают преимущество ответам, совпадающим с высказанными взглядами пользователя; это одна из причин угодливости ИИ. Агрессивная оптимизация любой обученной модели вознаграждения в конечном счёте приводит к взлому функции вознаграждения: оценка модели вознаграждения продолжает расти, а реальное качество падает.

RLHF и смежные методы#

• Стандартное обучение с подкреплением: Среда задаёт фиксированную награду, например счёт в игре. RLHF учится определять награду по оценкам людей, поскольку никакая фиксированная награда не отражает цель полностью.
• Моделирование вознаграждения: Модель вознаграждения — один из компонентов RLHF: сеть, которая преобразует человеческие рейтинги в оценку, которую может оптимизировать алгоритм RL.
• Конституционный ИИ: Вместо людей предпочтительные ответы размечает модель ИИ, руководствующаяся письменными принципами. Этот вариант называется обучением с подкреплением на основе обратной связи от ИИ (RLAIF).
• Обучение с подкреплением на проверяемых наградах (RLVR): Программа проверяет каждый ответ — например, результат математического вычисления или модульный тест — и выдаёт награду. RLVR, обычно в сочетании с групповой оптимизацией относительной политики (GRPO), используют для обучения моделей рассуждений, а современные конвейеры постобучения применяют оба подхода: проверяемые награды, когда есть проверяющая система, и модели вознаграждения в стиле RLHF для открытых запросов.