Reinforcement Learning with Verifiable Rewards (RLVR)
Обучение с подкреплением на основе проверяемых вознаграждений (RLVR) обучает модели с помощью автоматических проверок, например успешного прохождения модульных тестов или совпадения с известным ответом на математическую задачу.
Обучение с подкреплением с верифицируемой наградой (RLVR) — это способ обучать большие языковые модели (LLM) и другие генеративные модели с помощью обучения с подкреплением, при котором награду определяет программа, проверяющая каждый ответ на соответствие известному правильному результату. Математический ответ либо совпадает с эталоном, либо нет; сгенерированный код либо проходит модульные тесты, либо не проходит. Такие проверки дешевы и объективны, поэтому RLVR можно применять на протяжении многих тысяч шагов обучения; это ключевой метод для моделей рассуждения, которые перед ответом проходят длинную цепочку рассуждений. AI2 ввела название метода в отчете Tülu 3 в ноябре 2024 года, а DeepSeek-R1 привлекла к нему широкое внимание в январе 2025 года: модель R1-Zero научилась хорошо рассуждать пошагово, используя только основанные на правилах награды за точность и формат, без предварительного обучения с учителем.
Как работает RLVR#
Обучение начинается с предварительно обученной модели, обычно дообученной следованию инструкциям, и набора запросов, ответы на которые может проверить программа. Для каждого запроса модель генерирует несколько ответов, верификатор оценивает каждый из них, а алгоритм градиента политики, такой как проксимальная оптимизация политики (PPO) или групповая относительная оптимизация политики (GRPO), повышает вероятность ответов, получивших оценку выше ожидаемой — в GRPO это означает выше среднего по группе, — и снижает вероятность остальных. Ограничение обновлений, а во многих схемах и штраф KL, удерживают обновленную модель близко к исходной. Модель не видит готового решения: она узнает только, какие из ее собственных попыток оказались успешными, поэтому каждая усиливаемая ею схема рассуждения создана самой моделью.
Верификатор и сравнение внутри группы умещаются в несколько строк. В этом наброске оцениваются четыре сгенерированных ответа на один математический запрос: из тега \boxed{} извлекается итоговый ответ — именно такой формат ответа DeepSeek-R1 требовала для математики, — после чего вычисляются относительные преимущества GRPO внутри группы:
import re
import numpy as np
reference = "42" # известный ответ на обучающий запрос
completions = [ # группа ответов, сгенерированных для одного запроса
"6 * 7 = 42, so the answer is \\boxed{42}",
"Adding the terms gives \\boxed{41}",
"The product is 42.", # число верное, но итоговый ответ не указан в требуемом формате
"Check: 7 * 6 = 42. \\boxed{42}",
]
# Верификатор: извлечь итоговый ответ в рамке и сравнить его с эталоном
rewards = []
for text in completions:
match = re.search(r"\\boxed\{([^}]*)\}", text)
rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)
# Преимущества в стиле GRPO: каждая награда относительно среднего по группе, с нормализацией по стандартному отклонению группы
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))Выводятся награды [1. 0. 0. 1.] и преимущества [ 1. -1. -1. 1.]. Два правильных ответа подкрепляются, а вероятность третьего снижается, хотя в нем есть число 42: итоговый ответ не указан в требуемом формате.
Что делает награду верифицируемой#
Для верифицируемой награды нужны эталон и программа, которая сравнивает с ним ответ. Вот несколько распространенных верификаторов:
- Ответы по математике: итоговый ответ извлекается и сравнивается с эталоном после нормализации эквивалентных форм, таких как
1/2и0.5; с этим справляются библиотеки вроде Math-Verify. - Код: сгенерированные программы запускаются в изолированной среде и проверяются модульными тестами; награда зависит от того, прошли ли тесты и какая их доля пройдена.
- Следование инструкциям: программа может проверять такие ограничения, как лимит слов, наличие обязательных ключевых слов или корректность JSON. В Tülu 3 RLVR применялась для такого точного следования инструкциям наряду с математическими задачами.
- Формат: небольшая награда начисляется за размещение рассуждений и итогового ответа в ожидаемых тегах; DeepSeek-R1 сочетала эту награду с наградой за точность.
- Задачи компьютерного зрения: пересечение над объединением размеченных рамок используется для оценки ответов о локализации объектов, а детекторы объектов проверяют сгенерированные изображения.
GenEval использует детектор объектов, чтобы проверять, содержатся ли в сгенерированном изображении объекты, количество, цвета и расположение, заданные запросом, а Flow-GRPO использовала такие оценки на основе правил в качестве награды и повысила точность GenEval у Stable Diffusion 3.5 Medium с 63% до 95%. Детектор Ultralytics YOLO26 может выполнять ту же функцию: запрос вроде «четыре человека на автобусной остановке» превращается в награду за подсчет:
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0]) # class 0 = person
n_found, n_requested = len(results[0].boxes), 4
# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")RLVR, RLHF и награды за процесс#
RLVR — один из способов превратить обратную связь в обучающий сигнал:
- Обучение с подкреплением на основе обратной связи от людей (RLHF): выходные данные оценивает модель награды, обученная на сравнениях предпочтений людей. Этот подход учитывает субъективные качества, например тон и полезность, но у обученного оценщика есть слепые зоны, которыми может воспользоваться стратегия. По этой причине DeepSeek-R1 отказалась от нейронных моделей награды для рассуждений; на финальном этапе обучения она сочетала награды на основе правил для запросов на рассуждение с обученными моделями награды для общих запросов.
- Модели награды за процесс (PRM): оценивают каждый промежуточный шаг рассуждения. RLVR обычно вознаграждает только итоговый результат: такую награду дешевле получить, и ее сложнее обмануть.
- Прямая оптимизация предпочтений (DPO): DPO обучается офлайн на фиксированных парах предпочтительных и отклоненных ответов, без генерации ответов и верификатора во время обучения.
В обучающих конвейерах источник награды часто выбирается отдельно для каждого запроса; если нет ни проверяющей программы, ни человеческих меток, используется обратная связь от ИИ в духе конституционного ИИ:
Преимущества и ограничения#
Поскольку для награды не требуется участие человека в цикле, RLVR масштабируется вместе с вычислительными ресурсами и количеством задач, ответы на которые можно проверить, и позволяет получать поведение, которое никто заранее не прописывал: во время обучения ответы DeepSeek-R1-Zero становились все длиннее, поскольку модель училась перепроверять и пересматривать собственные решения. Библиотеки, такие как тренер TRL GRPO от Hugging Face, принимают пользовательскую функцию награды, поэтому к ним можно подключить любой из описанных выше верификаторов.
Метод применим только к задачам с проверяемыми ответами, а слабый верификатор открывает путь к взлому награды: модель для генерации кода, которую награждают за прохождение тестов, может научиться обрабатывать отдельные случаи или изменять сами тесты вместо исправления кода. Исследователи также расходятся во мнениях о том, что именно дает RLVR. В исследовании моделей, обученных с RLVR, за 2025 год обнаружили, что они превосходят свои базовые модели, если на каждую задачу дается одна попытка, но базовые модели решают больше задач, когда им разрешено много попыток. Это говорит о том, что RLVR главным образом повышает вероятность решений, которые базовая модель уже могла генерировать. В последующей статье образец считался правильным, только если правильными были и ответ, и цепочка рассуждений; по этой метрике CoT-Pass@K модель Qwen2.5-32B, обученная с RLVR, опережала базовую модель при всех значениях K вплоть до 1 024 на AIME 2024 и AIME 2025.










