Лицензия YOLO
Назад к глоссарию Ultralytics

Reinforcement Learning with Verifiable Rewards (RLVR)

Обучение с подкреплением на основе проверяемых вознаграждений (RLVR) обучает модели с помощью автоматических проверок, например успешного прохождения модульных тестов или совпадения с известным ответом на математическую задачу.

Обучение с подкреплением с верифицируемой наградой (RLVR) — это способ обучать большие языковые модели (LLM) и другие генеративные модели с помощью обучения с подкреплением, при котором награду определяет программа, проверяющая каждый ответ на соответствие известному правильному результату. Математический ответ либо совпадает с эталоном, либо нет; сгенерированный код либо проходит модульные тесты, либо не проходит. Такие проверки дешевы и объективны, поэтому RLVR можно применять на протяжении многих тысяч шагов обучения; это ключевой метод для моделей рассуждения, которые перед ответом проходят длинную цепочку рассуждений. AI2 ввела название метода в отчете Tülu 3 в ноябре 2024 года, а DeepSeek-R1 привлекла к нему широкое внимание в январе 2025 года: модель R1-Zero научилась хорошо рассуждать пошагово, используя только основанные на правилах награды за точность и формат, без предварительного обучения с учителем.

Как работает RLVR#

Обучение начинается с предварительно обученной модели, обычно дообученной следованию инструкциям, и набора запросов, ответы на которые может проверить программа. Для каждого запроса модель генерирует несколько ответов, верификатор оценивает каждый из них, а алгоритм градиента политики, такой как проксимальная оптимизация политики (PPO) или групповая относительная оптимизация политики (GRPO), повышает вероятность ответов, получивших оценку выше ожидаемой — в GRPO это означает выше среднего по группе, — и снижает вероятность остальных. Ограничение обновлений, а во многих схемах и штраф KL, удерживают обновленную модель близко к исходной. Модель не видит готового решения: она узнает только, какие из ее собственных попыток оказались успешными, поэтому каждая усиливаемая ею схема рассуждения создана самой моделью.

Верификатор и сравнение внутри группы умещаются в несколько строк. В этом наброске оцениваются четыре сгенерированных ответа на один математический запрос: из тега \boxed{} извлекается итоговый ответ — именно такой формат ответа DeepSeek-R1 требовала для математики, — после чего вычисляются относительные преимущества GRPO внутри группы:

import re

import numpy as np

reference = "42"  # известный ответ на обучающий запрос
completions = [  # группа ответов, сгенерированных для одного запроса
    "6 * 7 = 42, so the answer is \\boxed{42}",
    "Adding the terms gives \\boxed{41}",
    "The product is 42.",  # число верное, но итоговый ответ не указан в требуемом формате
    "Check: 7 * 6 = 42. \\boxed{42}",
]

# Верификатор: извлечь итоговый ответ в рамке и сравнить его с эталоном
rewards = []
for text in completions:
    match = re.search(r"\\boxed\{([^}]*)\}", text)
    rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)

# Преимущества в стиле GRPO: каждая награда относительно среднего по группе, с нормализацией по стандартному отклонению группы
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))

Выводятся награды [1. 0. 0. 1.] и преимущества [ 1. -1. -1. 1.]. Два правильных ответа подкрепляются, а вероятность третьего снижается, хотя в нем есть число 42: итоговый ответ не указан в требуемом формате.

Что делает награду верифицируемой#

Для верифицируемой награды нужны эталон и программа, которая сравнивает с ним ответ. Вот несколько распространенных верификаторов:

  • Ответы по математике: итоговый ответ извлекается и сравнивается с эталоном после нормализации эквивалентных форм, таких как 1/2 и 0.5; с этим справляются библиотеки вроде Math-Verify.
  • Код: сгенерированные программы запускаются в изолированной среде и проверяются модульными тестами; награда зависит от того, прошли ли тесты и какая их доля пройдена.
  • Следование инструкциям: программа может проверять такие ограничения, как лимит слов, наличие обязательных ключевых слов или корректность JSON. В Tülu 3 RLVR применялась для такого точного следования инструкциям наряду с математическими задачами.
  • Формат: небольшая награда начисляется за размещение рассуждений и итогового ответа в ожидаемых тегах; DeepSeek-R1 сочетала эту награду с наградой за точность.
  • Задачи компьютерного зрения: пересечение над объединением размеченных рамок используется для оценки ответов о локализации объектов, а детекторы объектов проверяют сгенерированные изображения.

GenEval использует детектор объектов, чтобы проверять, содержатся ли в сгенерированном изображении объекты, количество, цвета и расположение, заданные запросом, а Flow-GRPO использовала такие оценки на основе правил в качестве награды и повысила точность GenEval у Stable Diffusion 3.5 Medium с 63% до 95%. Детектор Ultralytics YOLO26 может выполнять ту же функцию: запрос вроде «четыре человека на автобусной остановке» превращается в награду за подсчет:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])  # class 0 = person
n_found, n_requested = len(results[0].boxes), 4

# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")

RLVR, RLHF и награды за процесс#

RLVR — один из способов превратить обратную связь в обучающий сигнал:

  • Обучение с подкреплением на основе обратной связи от людей (RLHF): выходные данные оценивает модель награды, обученная на сравнениях предпочтений людей. Этот подход учитывает субъективные качества, например тон и полезность, но у обученного оценщика есть слепые зоны, которыми может воспользоваться стратегия. По этой причине DeepSeek-R1 отказалась от нейронных моделей награды для рассуждений; на финальном этапе обучения она сочетала награды на основе правил для запросов на рассуждение с обученными моделями награды для общих запросов.
  • Модели награды за процесс (PRM): оценивают каждый промежуточный шаг рассуждения. RLVR обычно вознаграждает только итоговый результат: такую награду дешевле получить, и ее сложнее обмануть.
  • Прямая оптимизация предпочтений (DPO): DPO обучается офлайн на фиксированных парах предпочтительных и отклоненных ответов, без генерации ответов и верификатора во время обучения.

В обучающих конвейерах источник награды часто выбирается отдельно для каждого запроса; если нет ни проверяющей программы, ни человеческих меток, используется обратная связь от ИИ в духе конституционного ИИ:

Преимущества и ограничения#

Поскольку для награды не требуется участие человека в цикле, RLVR масштабируется вместе с вычислительными ресурсами и количеством задач, ответы на которые можно проверить, и позволяет получать поведение, которое никто заранее не прописывал: во время обучения ответы DeepSeek-R1-Zero становились все длиннее, поскольку модель училась перепроверять и пересматривать собственные решения. Библиотеки, такие как тренер TRL GRPO от Hugging Face, принимают пользовательскую функцию награды, поэтому к ним можно подключить любой из описанных выше верификаторов.

Метод применим только к задачам с проверяемыми ответами, а слабый верификатор открывает путь к взлому награды: модель для генерации кода, которую награждают за прохождение тестов, может научиться обрабатывать отдельные случаи или изменять сами тесты вместо исправления кода. Исследователи также расходятся во мнениях о том, что именно дает RLVR. В исследовании моделей, обученных с RLVR, за 2025 год обнаружили, что они превосходят свои базовые модели, если на каждую задачу дается одна попытка, но базовые модели решают больше задач, когда им разрешено много попыток. Это говорит о том, что RLVR главным образом повышает вероятность решений, которые базовая модель уже могла генерировать. В последующей статье образец считался правильным, только если правильными были и ответ, и цепочка рассуждений; по этой метрике CoT-Pass@K модель Qwen2.5-32B, обученная с RLVR, опережала базовую модель при всех значениях K вплоть до 1 024 на AIME 2024 и AIME 2025.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения