Process Reward Model (PRM)

Việc đánh giá các mô hình trí tuệ nhân tạo phức tạp đòi hỏi nhiều hơn là chỉ kiểm tra xem câu trả lời cuối cùng có đúng hay không. Một kỹ thuật học tăng cường chuyên sâu gán các điểm số toán học cho từng bước trung gian mà AI thực hiện trong quá trình xử lý tác vụ, cung cấp phản hồi dày đặc ở cấp độ bước. Cách tiếp cận chi tiết này đảm bảo rằng mô hình không chỉ đi đến đích đúng mà còn tuân theo các lộ trình logic, an toàn và có thể xác minh để đạt được điều đó.

Link to this sectionProcess Reward Model so với Outcome Reward Model#

Trong bối cảnh rộng hơn của Reward Modeling, điều quan trọng là phải phân biệt giữa giám sát dựa trên quy trình và dựa trên kết quả. Các Outcome Reward Model (ORM) truyền thống cung cấp một phần thưởng duy nhất, thưa thớt ở ngay phần cuối của quá trình tạo. Mặc dù ORM dễ huấn luyện hơn, nhưng chúng chịu một hạn chế lớn trong các tác vụ phức tạp: chúng có thể vô tình thưởng cho các mô hình đi đến câu trả lời đúng thông qua logic sai lệch hoặc hallucination.

Một Process Reward Model (PRM) giải quyết vấn đề này bằng cách đánh giá toàn bộ quỹ đạo suy luận. Như được phổ biến bởi các nghiên cứu của OpenAI nền tảng trong các bài báo như Let's Verify Step by Step, một PRM áp dụng giám sát từng bước cho mỗi suy nghĩ hoặc hành động. Đây là một thành phần quan trọng của các pipeline Reinforcement Learning from Human Feedback (RLHF) tiên tiến, vì nó chủ động hướng dẫn tối ưu hóa chính sách bằng cách sử dụng các thuật toán như Proximal Policy Optimization (PPO).

Link to this sectionCác ứng dụng trong thực tế#

Các PRM đang làm thay đổi cách các Large Language Models (LLM) và các hệ thống tự hành vận hành trong các môi trường đòi hỏi độ chính xác cao:

• Mathematical Reasoning: Bằng cách đánh giá các phương trình theo từng dòng, PRM cho phép các mô hình sử dụng các thuật toán như Best-of-N (BoN) sampling hoặc Monte Carlo Tree Search (MCTS) để khám phá nhiều lộ trình giải pháp và chọn ra chuỗi logic hợp lý nhất.
• Code Generation: Khi tạo phần mềm, việc chỉ kiểm tra xem script cuối cùng có chạy được hay không là chưa đủ. PRM cung cấp giám sát quy trình, chấm điểm các hàm và khối logic riêng lẻ để đảm bảo mã nguồn hiệu quả, an toàn và dễ bảo trì.
• Operations Research and Visual Agents: Những tiến bộ gần đây trong năm 2025 và 2026 đã mở rộng PRM ra ngoài văn bản. Ví dụ, nghiên cứu vận trù học hiện đang sử dụng PRM để xác thực các thuật toán lập lịch phức tạp. Tương tự, các AI agent thị giác được trang bị các công cụ computer vision mạnh mẽ như Ultralytics YOLO26 nhận được phần thưởng từng bước để điều hướng trong môi trường vật lý, thay vì chỉ nhận một phần thưởng duy nhất khi đạt đến đích.

Link to this sectionTriển khai phản hồi cấp độ bước#

Huấn luyện một PRM đòi hỏi phải quản lý các tập dữ liệu mở rộng, nơi mỗi bước phụ được đánh giá bởi con người hoặc các mô hình AI mạnh hơn. Việc quản lý các quy trình data annotation chuyên sâu này trở nên đơn giản hơn với các công cụ dựa trên đám mây như Ultralytics Platform, giúp hợp lý hóa việc tổ chức và triển khai dự án.

Trong quá trình suy luận hoặc model optimization, PRM tính toán một hàm loss hoặc phần thưởng tích lũy dựa trên chuỗi các bước. Đoạn mã Python khái niệm sau đây sử dụng torch minh họa cách các phần thưởng cấp độ bước bị trừ điểm nếu một bước trung gian thất bại, một cách tiếp cận phổ biến được tìm thấy trong tài liệu PyTorch để tính điểm chuỗi:

import torch

# Simulate reward scores from a PRM for 3 consecutive reasoning steps
# Scores represent the probability of correctness for each step (0.0 to 1.0)
step_rewards = torch.tensor([0.95, 0.80, 0.15], requires_grad=True)

# The PRM aggregates the scores, heavily penalizing the poor 3rd step
# Negative log-likelihood is commonly used to optimize the trajectory
prm_loss = -torch.log(step_rewards).mean()

print(f"Calculated PRM Loss: {prm_loss.item():.4f}")
# During RLHF, this loss would guide hyperparameter tuning and model updates

Bằng cách đảm bảo rằng mọi bước trung gian đều phù hợp với hành vi mong đợi, các nhà phát triển có thể triển khai các hệ thống có độ tin cậy cao. Việc kết hợp giám sát cấp quy trình với hyperparameter tuning liên tục cho phép các mô hình thế hệ mới thực sự suy luận qua các vấn đề một cách an toàn và hiệu quả.