Модель вознаграждения за выполнение процессов (PRM)

Оценка сложных моделей искусственного интеллекта требует нечто большего, чем просто проверка правильности конечного результата. Высокоспециализированный метод обучения с подкреплением присваивает математические оценки каждому промежуточному шагу, который ИИ выполняет в ходе решения задачи, обеспечивая подробную обратную связь на уровне отдельных шагов. Такой детализированный подход гарантирует, что модель не только достигает нужного результата, но и следует к нему по логическим, безопасным и поддающимся проверке путям.

Модели вознаграждения за процесс против моделей вознаграждения за результат

В более широком контексте моделирования вознаграждений важно различать надзор, ориентированный на процесс, и надзор, ориентированный на результат. Традиционные модели вознаграждения по результату (ORM) предоставляют однократное, редкое вознаграждение в самом конце генерации. Хотя ORM проще обучать, у них есть серьезный недостаток при решении сложных задач: они могут непреднамеренно вознаграждать модели, которые приходят к правильному ответу с помощью ошибочной логики или галлюцинаций.

Модель вознаграждения за процесс (PRM) решает эту проблему путем оценки всей траектории рассуждений. Как показано в основополагающих исследованиях OpenAI, представленных в таких работах, как «Let's Verify Step by Step», PRM применяет пошаговый контроль к каждой мысли или действию. Это является критически важным компонентом передовых потоков обучения с подкреплением на основе обратной связи от человека (RLHF) , поскольку она активно направляет оптимизацию политики с помощью таких алгоритмов, как проксимальная оптимизация политики (PPO).

Применение в реальном мире

PRM меняют подход к тому, как крупные языковые модели (LLM) и автономные системы работают в условиях, где на карту поставлено многое:

• Математическое моделирование: благодаря построчному вычислению уравнений PRM позволяют моделям использовать такие алгоритмы, как выборка «Best-of-N» (BoN) или поиск по дереву Монте-Карло (MCTS), для изучения нескольких путей решения и выбора наиболее логически обоснованной последовательности.
• Генерация кода: при создании программного обеспечения недостаточно просто проверить, запускается ли конечный скрипт. Системы PRM обеспечивают контроль над процессом, оценивая отдельные функции и логические блоки, чтобы гарантировать эффективность, безопасность и удобство сопровождения кода.
• Исследование операций и визуальные агенты: последние достижения в 2025 и 2026 годах позволили расширить применение PRM за пределы текстовых данных. Например, в области исследования операций PRM теперь используются для проверки сложных алгоритмов планирования. Аналогичным образом, визуальные ИИ-агенты, оснащенные надежными движками компьютерного зрения, такими как Ultralytics , получают пошаговые вознаграждения за навигацию в физической среде, а не просто однократное вознаграждение за достижение конечной точки.

Реализация обратной связи на уровне шагов

Обучение модели PRM требует работы с обширными наборами данных, при этом каждый промежуточный этап оценивается людьми или более мощными моделями искусственного интеллекта. Управление этими ресурсоемкими рабочими процессами аннотирования данных упрощается благодаря облачным инструментам, таким как Ultralytics , которые оптимизируют организацию и развертывание проектов.

Во время вывода или оптимизация модели, PRM вычисляет совокупную потерю или вознаграждение на основе цепочки шагов. Ниже приведен концептуальный Python , использующий torch показывает, как вознаграждения за прохождение отдельных этапов уменьшаются в случае неудачи на промежуточном этапе — это распространенный подход, встречающийся в PyTorch для оценки последовательностей:

import torch

# Simulate reward scores from a PRM for 3 consecutive reasoning steps
# Scores represent the probability of correctness for each step (0.0 to 1.0)
step_rewards = torch.tensor([0.95, 0.80, 0.15], requires_grad=True)

# The PRM aggregates the scores, heavily penalizing the poor 3rd step
# Negative log-likelihood is commonly used to optimize the trajectory
prm_loss = -torch.log(step_rewards).mean()

print(f"Calculated PRM Loss: {prm_loss.item():.4f}")
# During RLHF, this loss would guide hyperparameter tuning and model updates

Обеспечивая соответствие каждого промежуточного этапа ожидаемому поведению, разработчики могут развертывать высоконадежные системы. Сочетание контроля на уровне процессов с непрерывной настройкой гиперпараметров позволяет моделям нового поколения действительно безопасно и эффективно решать задачи.