Process Reward Model (PRM)

Model thưởng theo tiến trình (PRM) là một model thưởng chấm điểm từng bước trung gian của một lời giải, thường là xác suất bước đó đúng, thay vì chỉ chấm đáp án cuối cùng. Model thưởng theo kết quả (ORM) đánh giá toàn bộ lời giải dựa trên kết quả, nên có thể thưởng cho đáp án đúng đạt được qua các bước sai và không cung cấp tín hiệu về điểm mà lời giải sai đi chệch hướng. PRM xếp hạng và hướng dẫn các lời giải ứng viên của mô hình ngôn ngữ lớn (LLMs) và model suy luận tại thời điểm suy luận, đồng thời cung cấp phần thưởng ở cấp bước cho học tăng cường. Năm 2022, các nhà nghiên cứu DeepMind so sánh hai kiểu giám sát trên bài toán toán học cấp tiểu học: phản hồi dựa trên kết quả đạt tỷ lệ lỗi đáp án cuối tương tự với ít nhãn hơn, nhưng cần phản hồi dựa trên tiến trình để giảm lỗi suy luận trong các lời giải có đáp án đúng từ 14.0% xuống 3.4%.

Hãy xác minh từng bước#

Bài báo năm 2023 của OpenAI Let's Verify Step by Step đã giúp PRM được biết đến rộng rãi. Người gán nhãn đánh dấu khoảng 800,000 bước trong 75,000 lời giải cho 12,000 bài toán thuộc dataset cuộc thi MATH là tích cực, tiêu cực hoặc trung tính; OpenAI phát hành nhãn dưới tên PRM800K. Khi chọn lời giải tốt nhất trong 1,860 lời giải lấy mẫu từ bộ sinh dựa trên GPT-4, PRM giải được 78.2% một tập con đại diện của tập kiểm thử MATH, so với 72.4% của ORM và 69.6% của bỏ phiếu đa số. Người gán nhãn được cho xem các lời giải mà PRM hiện tại đánh giá cao nhưng dẫn đến đáp án sai — một hình thức học chủ động giúp quá trình gán nhãn hiệu quả dữ liệu hơn khoảng 2.6 lần.

Cách huấn luyện PRM#

PRM thường là một LLM được fine-tune để dự đoán bước đó có đúng hay không ở cuối mỗi bước, bằng hàm loss cross-entropy so với nhãn bước. Gán nhãn dữ liệu thủ công ở mức chi tiết này rất tốn kém, nên Math-Shepherd, công bố vào tháng 12 năm 2023, tự động tạo nhãn: với mỗi bước, phương pháp lấy mẫu một số phần hoàn tất và gán nhãn bước dựa trên việc các phần hoàn tất đó có đạt được đáp án đúng đã biết hay không. Dùng PRM này để thưởng cho từng bước trong quá trình huấn luyện PPO đã nâng độ chính xác GSM8K của Mistral-7B từ 77.9% lên 84.1% và độ chính xác MATH từ 28.6% lên 33.0%. Tuy nhiên, nhãn tự động có nhiễu: một nghiên cứu năm 2025 của nhóm Qwen thuộc Alibaba nhận thấy các ước lượng Monte Carlo như vậy huấn luyện PRM yếu hơn nhãn của con người hoặc nhãn do LLM đóng vai trò giám khảo tạo ra; nhóm cũng phát hành ProcessBench, một benchmark đo khả năng tìm bước sai đầu tiên của PRM.

Sử dụng điểm PRM#

Khi suy luận, PRM chuyển điểm số từng bước thành lựa chọn. Lấy mẫu Best-of-N tạo một số lời giải hoàn chỉnh rồi giữ lời giải có điểm tổng hợp cao nhất; trong phương pháp Let's Verify Step by Step, xác suất từng bước được nhân với nhau và điểm số bước thấp nhất cho kết quả gần tương đương:

import torch

# PRM outputs for three sampled solutions: probability that each step is correct
solutions = {
    "A": torch.tensor([0.97, 0.93, 0.95, 0.94]),
    "B": torch.tensor([0.99, 0.24, 0.96, 0.98]),  # flawed second step, confident ending
    "C": torch.tensor([0.91, 0.88, 0.90]),
}

for name, steps in solutions.items():
    print(f"{name}: last step {steps[-1]:.2f}, product {steps.prod():.3f}, min {steps.min():.2f}")

# Best-of-N reranking: pick the solution with the highest product of step scores
best = max(solutions, key=lambda name: solutions[name].prod())
print(f"Selected solution: {best}")

Bước cuối của lời giải B có độ tin cậy cao nhất, đạt 0.98, nhưng bước thứ hai chỉ đạt 0.24, khiến tích giảm xuống 0.224 và giá trị thấp nhất còn 0.24; PRM do đó chọn lời giải A với tích 0.806. Nếu chỉ xếp hạng theo bước cuối thì kết quả đã chọn B. Quá trình huấn luyện Ultralytics YOLO cũng chấm điểm mọi bước trung gian của một lần chạy thay vì chỉ chấm kết quả cuối: với val=True mặc định, trainer chạy validation sau mỗi epoch, chấm trọng số bằng giá trị fitness tương đương mAP50-95 cho tác vụ phát hiện và lưu epoch có điểm cao nhất dưới dạng best.pt, bên cạnh last.pt cuối cùng.

PRM cũng có thể hướng dẫn tìm kiếm trước khi hoàn tất bất kỳ lời giải nào. Beam search chỉ giữ lại các lời giải từng phần có điểm cao nhất ở mỗi bước; tìm kiếm cây Monte Carlo (MCTS) dùng cùng điểm số để quyết định nhánh nào cần mở rộng; một nghiên cứu về mở rộng compute ở thời điểm kiểm thử của Google DeepMind và UC Berkeley cho thấy chọn phương pháp tìm kiếm PRM theo độ khó của từng bài toán đạt kết quả ngang với lấy mẫu Best-of-N nhưng dùng ít hơn đến bốn lần compute tại thời điểm kiểm thử:

Giới hạn và thuật ngữ liên quan#

Nhóm DeepSeek-R1 đã thử PRM rồi loại bỏ vì ba lý do: khó định nghĩa một bước chi tiết trong suy luận tổng quát; khó tự động đánh giá tính đúng đắn của bước trung gian và tốn kém khi gán nhãn thủ công; đồng thời PRM đã học có thể dẫn đến khai thác phần thưởng trong quá trình huấn luyện quy mô lớn. Thay vào đó, DeepSeek-R1 học thông qua Tối ưu hóa chính sách tương đối theo nhóm (GRPO) từ các phép kiểm tra dựa trên quy tắc cho đáp án cuối — phương pháp được gọi là học tăng cường với phần thưởng có thể xác minh (RLVR). Các model thưởng trong học tăng cường từ phản hồi của con người (RLHF) chấm điểm toàn bộ phản hồi dựa trên so sánh sở thích của con người, khiến chúng trở thành model thưởng theo kết quả cho văn bản mở. PRM kiểm tra từng bước khi chuỗi suy luận được tạo; còn chuỗi xác minh (CoVe) yêu cầu model kiểm tra câu trả lời đã hoàn tất của chính nó bằng cách đặt và trả lời các câu hỏi xác minh.