Reinforcement Learning with Verifiable Rewards (RLVR)

Обучение с подкреплением с проверяемыми наградами (RLVR) — это передовая парадигма обучения, используемая для улучшения способностей моделей искусственного интеллекта (ИИ) к рассуждению и решению задач. В отличие от традиционных методов обучения, основанных на предпочтениях людей, RLVR использует детерминированные системы на основе правил для оценки результатов работы модели. Предоставляя объективную бинарную награду — например, компилируется ли сгенерированный код или правильно ли решено математическое уравнение, — RLVR позволяет моделям учиться через неограниченное исследование. Этот цикл объективной обратной связи является ключевым двигателем недавних прорывов в создании высокоэффективных моделей рассуждения, позволяя им находить оптимальные и сложные логические пути без постоянного вмешательства человека.

Link to this sectionОсновные принципы RLVR#

В стандартных средах машинного обучения (ML) ИИ-агент учится путем максимизации сигнала награды. В RLVR этот сигнал награды генерируется жесткой программной системой, а не субъективным суждением человека. Процесс обучения опирается на несколько фундаментальных шагов:

• Стратегия исследования: Модель генерирует несколько потенциальных решений или путей рассуждения для заданной подсказки, часто используя промптинг «цепочка рассуждений» для разбивки сложных задач.
• Детерминированная верификация: Внешний инструмент, такой как компилятор Python, калькулятор или система восприятия компьютерного зрения (CV), проверяет итоговый результат на соответствие объективным критериям успеха.
• Оптимизация политики: Если результат верифицируемо правилен, модель получает положительную награду. Затем политика модели обновляется с использованием алгоритмов оптимизации, таких как Group Relative Policy Optimization (GRPO) или Proximal Policy Optimization (PPO), чтобы отдавать предпочтение успешным путям рассуждения.

Этот подход значительно улучшает эффективность задержки вывода модели во время обучения и стимулирует развитие эмерджентных способностей к рассуждению — техника, недавно примененная для обучения высокоэффективных моделей, таких как DeepSeek-R1.

Link to this sectionRLVR против RLHF и PRM#

Важно отличать RLVR от других парадигм выравнивания и обучения в экосистеме ИИ:

• против Обучения с подкреплением на основе отзывов людей (RLHF): RLHF опирается на обученную систему моделирования награды, обученную на субъективных предпочтениях людей. RLVR устраняет узкое место в виде «человека в цикле», опираясь исключительно на объективные, программные истины, что делает его высокомасштабируемым для задач с однозначными правильными или неправильными ответами.
• против Модели вознаграждения процессов (PRM): В то время как PRM обеспечивают гранулярную, пошаговую обратную связь на протяжении всей траектории рассуждения модели, RLVR обычно фокусируется на верифицируемом результате в конце процесса. Однако недавние исследования 2025 года показывают, что оптимизация для получения итоговой проверяемой награды в RLVR неявно стимулирует и правильные промежуточные шаги рассуждения.

Link to this sectionРеальные приложения#

RLVR меняет способы обучения сложных ИИ-систем в различных детерминированных областях:

• Математическое рассуждение: Крупные модели рассуждения, такие как серия OpenAI o-series, используют RLVR для доказательства сложных математических теорем. Верификатор действует как движок, который окончательно доказывает, верен ли выведенный моделью ответ, что значительно повышает производительность на тестовых наборах данных.
• Разработка программного обеспечения и генерация кода: ИИ-ассистенты для написания кода используют RLVR для написания, отладки и оптимизации кода. Верифицируемая награда достигается, когда сгенерированный код успешно компилируется и проходит набор автоматизированных модульных тестов.
• Автономные агенты компьютерного зрения: В физических средах автономные агенты получают верифицируемые награды при достижении целевого пункта назначения или успешном манипулировании объектом. Модели компьютерного зрения действуют как проверяющие условия верификаторы в этих пространствах.

Link to this sectionРеализация проверяемой награды в Vision AI#

В физических и визуальных средах модели восприятия, такие как Ultralytics YOLO26, могут служить программным верификатором в цикле RLVR. Например, если цель ИИ-агента — переместить объект в определенную зону, модель YOLO может верифицировать успех путем обнаружения присутствия объекта в этой зоне.

Следующий фрагмент кода на Python демонстрирует концептуальный программный верификатор с использованием пакета ultralytics.

from ultralytics import YOLO

# Load a YOLO26 model to act as the programmatic verifier
verifier_model = YOLO("yolo26n.pt")


def get_verifiable_reward(image_path: str, target_class: int) -> float:
    """Returns a verifiable reward of 1.0 if the target object is detected."""
    results = verifier_model(image_path)

    # Check if the desired class (e.g., 0 for 'person') exists in the detections
    detected_classes = results[0].boxes.cls.tolist()
    if target_class in detected_classes:
        return 1.0  # Verifiable success
    return 0.0  # Verifiable failure


# Simulate an agent's environment state check
reward = get_verifiable_reward("https://ultralytics.com/images/bus.jpg", target_class=0)
print(f"RLVR Reward Signal: {reward}")

Используя облачные платформы, такие как Ultralytics Platform, для развертывания этих верификаторов восприятия, разработчики могут создавать надежные, масштабируемые конвейеры RLVR, которые обучают следующее поколение автономных агентов и агентов рассуждения.