Process Reward Model (PRM)

Для оценки сложных моделей искусственного интеллекта недостаточно просто проверить правильность итогового ответа. Высокоспециализированный метод обучения с подкреплением присваивает математические оценки каждому промежуточному шагу, который делает ИИ при выполнении задачи, предоставляя плотную обратную связь на уровне шагов. Такой детальный подход гарантирует, что модель не только приходит к правильному результату, но и следует логичными, безопасными и проверяемыми путями для его достижения.

Link to this sectionProcess Reward Models vs. Outcome Reward Models#

В более широком контексте моделирования вознаграждения важно различать надзор на основе процесса и на основе результата. Традиционные Outcome Reward Models (ORMs) предоставляют единственное, разреженное вознаграждение в самом конце генерации. Хотя ORMs проще обучать, они страдают от серьезного недостатка в сложных задачах: они могут непреднамеренно поощрять модели, которые приходят к правильному ответу через ошибочную логику или галлюцинации.

Process Reward Model (PRM) решает эту проблему путем оценки всей траектории рассуждений. Как популяризировано фундаментальными исследованиями OpenAI в таких статьях, как Let's Verify Step by Step, PRM применяет пошаговый надзор к каждой мысли или действию. Это критический компонент современных конвейеров обучения с подкреплением на основе отзывов людей (RLHF), так как он активно направляет оптимизацию политики с использованием таких алгоритмов, как Proximal Policy Optimization (PPO).

Link to this sectionРеальные приложения#

PRMs меняют то, как Large Language Models (LLMs) и автономные системы работают в средах с высокими ставками:

• Математические рассуждения: Оценивая уравнения строка за строкой, PRMs позволяют моделям использовать такие алгоритмы, как Best-of-N (BoN) sampling или Monte Carlo Tree Search (MCTS), для изучения нескольких путей решения и выбора наиболее логически обоснованной последовательности.
• Генерация кода: При создании программного обеспечения недостаточно просто проверить, запускается ли финальный скрипт. PRMs обеспечивают надзор за процессом, оценивая отдельные функции и логические блоки, чтобы гарантировать, что код эффективен, безопасен и пригоден для обслуживания.
• Исследование операций и визуальные агенты: Недавние достижения в 2025 и 2026 годах расширили использование PRMs за пределы текста. Например, исследование операций теперь использует PRMs для проверки сложных алгоритмов планирования. Аналогично, визуальные AI агенты, оснащенные мощными движками computer vision, такими как Ultralytics YOLO26, получают пошаговые вознаграждения за навигацию в физической среде, а не просто одно вознаграждение за достижение цели.

Link to this sectionРеализация обратной связи на уровне шагов#

Обучение PRM требует управления обширными наборами данных, где каждый подшаг оценивается людьми или более сильными моделями ИИ. Управление этими интенсивными рабочими процессами аннотирования данных упрощается с помощью облачных инструментов, таких как Ultralytics Platform, которые оптимизируют организацию и развертывание проектов.

Во время инференса или оптимизации модели PRM рассчитывает кумулятивную потерю или вознаграждение на основе цепочки шагов. Следующий концептуальный фрагмент Python с использованием torch демонстрирует, как вознаграждения на уровне шагов штрафуются, если промежуточный шаг не удается, что является распространенным подходом в документации PyTorch для оценки последовательностей:

import torch

# Simulate reward scores from a PRM for 3 consecutive reasoning steps
# Scores represent the probability of correctness for each step (0.0 to 1.0)
step_rewards = torch.tensor([0.95, 0.80, 0.15], requires_grad=True)

# The PRM aggregates the scores, heavily penalizing the poor 3rd step
# Negative log-likelihood is commonly used to optimize the trajectory
prm_loss = -torch.log(step_rewards).mean()

print(f"Calculated PRM Loss: {prm_loss.item():.4f}")
# During RLHF, this loss would guide hyperparameter tuning and model updates

Гарантируя, что каждый промежуточный шаг соответствует ожидаемому поведению, разработчики могут развертывать высоконадежные системы. Сочетание надзора на уровне процесса с непрерывной настройкой гиперпараметров позволяет моделям нового поколения по-настоящему безопасно и эффективно рассуждать при решении задач.