Process Reward Model (PRM)

Модель вознаграждения за процесс (PRM) — это модель вознаграждения, которая оценивает каждый промежуточный шаг решения, обычно вычисляя вероятность его правильности, а не оценивая только итоговый ответ. Модель вознаграждения за результат (ORM) оценивает решение целиком по конечному результату: она может поощрить правильный ответ, полученный неверным путём, и не сообщает, на каком шаге ошиблось неправильное решение. Во время инференса PRM ранжируют и направляют варианты решений больших языковых моделей (LLMs) и моделей рассуждения, а также дают пошаговые сигналы вознаграждения для обучения с подкреплением. В 2022 году исследователи DeepMind сравнили оба вида обратной связи на школьных математических задачах: обратная связь по результату позволила достичь сопоставимой доли ошибок в итоговых ответах, затратив меньше усилий на разметку, однако для сокращения с 14,0% до 3,4% ошибок рассуждения в решениях с правильными ответами понадобилась обратная связь по процессу.

Давай проверим пошагово#

Статья OpenAI 2023 года «Давай проверим пошагово» сделала PRM широко известными. Разметчики вручную отметили около 800 000 шагов из 75 000 решений 12 000 задач в наборе данных соревнования MATH как положительные, отрицательные или нейтральные; OpenAI выпустила метки под названием PRM800K. Выбрав лучшее из 1 860 решений, сгенерированных GPT-4, PRM решила 78,2% задач в репрезентативной подвыборке тестового набора MATH. Для ORM этот показатель составил 72,4%, а для голосования большинством — 69,6%. Разметчикам показывали решения, которые текущая PRM оценивала высоко, хотя они приводили к неправильному ответу. Такой подход к активному обучению повысил эффективность разметки примерно в 2,6 раза.

Как обучают PRM#

Обычно PRM — это дообученная LLM, которая учится предсказывать в конце каждого шага, верен ли он; обучение выполняется с помощью функции перекрёстной энтропии — функции потерь, рассчитанной по меткам шагов. Подробная ручная разметка данных обходится дорого, поэтому опубликованный в декабре 2023 года метод Math-Shepherd автоматизировал этот процесс: для каждого шага генерировалось несколько вариантов продолжения, а шаг помечался в зависимости от того, приводили ли продолжения к известному правильному ответу. Использование этой PRM для вознаграждения каждого шага во время обучения с PPO повысило точность Mistral-7B на GSM8K с 77,9% до 84,1%, а на MATH — с 28,6% до 33,0%. Однако автоматические метки содержат шум: в исследовании 2025 года команда Qwen компании Alibaba обнаружила, что такие оценки методом Монте-Карло дают менее качественные PRM, чем человеческие метки или метки, полученные от LLM в роли судьи. Команда выпустила ProcessBench — бенчмарк, оценивающий, насколько хорошо PRM находит первый неверный шаг.

Использование оценок PRM#

Во время инференса PRM превращает оценки шагов в выбор решения. При выборке best-of-N генерируется несколько решений целиком, после чего оставляют решение с лучшей совокупной оценкой. В статье «Давай проверим пошагово» перемножали вероятности шагов и обнаружили, что минимальная оценка шага работает примерно так же:

import torch

# PRM outputs for three sampled solutions: probability that each step is correct
solutions = {
    "A": torch.tensor([0.97, 0.93, 0.95, 0.94]),
    "B": torch.tensor([0.99, 0.24, 0.96, 0.98]),  # flawed second step, confident ending
    "C": torch.tensor([0.91, 0.88, 0.90]),
}

for name, steps in solutions.items():
    print(f"{name}: last step {steps[-1]:.2f}, product {steps.prod():.3f}, min {steps.min():.2f}")

# Best-of-N reranking: pick the solution with the highest product of step scores
best = max(solutions, key=lambda name: solutions[name].prod())
print(f"Selected solution: {best}")

Последний шаг решения B получил самую высокую оценку уверенности — 0,98, но оценка второго шага составляет 0,24. Поэтому произведение равно 0,224, а минимум — 0,24, и PRM выбирает решение A с произведением 0,806. При ранжировании только по последнему шагу была бы выбрана модель B. Обучение Ultralytics YOLO также оценивает каждый промежуточный шаг запуска, а не только его конец: при настройке val=True тренер выполняет валидацию после каждой эпохи, оценивает веса по значению fitness, равному mAP50-95 для обнаружения, и сохраняет эпоху с лучшей оценкой как best.pt рядом с итоговым last.pt.

PRM также может направлять поиск до завершения решения. Лучевой поиск на каждом шаге оставляет только частичные решения с самыми высокими оценками; поиск по дереву Монте-Карло (MCTS) использует те же оценки, чтобы выбирать ветви для дальнейшего развития. Исследование масштабирования вычислений во время тестирования, проведённое Google DeepMind и Калифорнийским университетом в Беркли, показало: если подбирать метод поиска PRM под сложность задачи, можно достичь результата выборки best-of-N, потратив на вычисления во время тестирования до четырёх раз меньше:

Ограничения и связанные термины#

Команда DeepSeek-R1 попробовала PRM, но отказалась от них по трём причинам: при общих рассуждениях сложно однозначно определить мелкий шаг; трудно автоматизировать проверку правильности промежуточного шага, а ручная разметка обходится дорого; обученная PRM провоцирует взлом функции вознаграждения при масштабном обучении. Вместо этого DeepSeek-R1 обучалась с помощью оптимизации групповой относительной политики (GRPO) на основе правил проверки итогового ответа. Этот подход известен как обучение с подкреплением и проверяемыми вознаграждениями (RLVR). Модели вознаграждения в обучении с подкреплением на основе обратной связи от людей (RLHF) оценивают ответы целиком по сравнениям человеческих предпочтений, поэтому для текста с открытым концом они выступают моделями вознаграждения за результат. PRM проверяет шаги по мере создания цепочки рассуждений, а цепочка проверки (CoVe) заставляет модель проверять готовый ответ, задавая и отвечая на проверочные вопросы.