Process Reward Model (PRM)

نموذج مكافأة العملية (PRM) هو نموذج مكافأة يقيّم كل خطوة وسيطة من الحل، عادةً باحتمال صحة الخطوة، بدلًا من تقييم الإجابة النهائية فقط. أما نموذج مكافأة النتيجة (ORM) فيحكم على الحل كاملًا من خلال نتيجته، لذا قد يكافئ إجابة صحيحة توصل إليها المرء بخطوات خاطئة، ولا يقدم أي إشارة إلى موضع انحراف الحل الخاطئ. وترتب نماذج PRM الحلول المرشحة التي تنتجها النماذج اللغوية الكبيرة (LLMs) ونماذج الاستدلال وتوجهها وقت الاستدلال، كما توفر مكافآت على مستوى الخطوة لـالتعلم المعزز. وقارن باحثو DeepMind عام 2022 بين نوعي الإشراف في مسائل الرياضيات المدرسية: فحقق التقييم المستند إلى النتيجة معدل أخطاء مشابهًا في الإجابات النهائية مع قدر أقل من التوسيم، لكن التقييم المستند إلى العملية كان لازمًا لخفض أخطاء الاستدلال في الحلول ذات الإجابات الصحيحة من 14.0% إلى 3.4%.

لنتحقق خطوةً بخطوة#

أكسبت ورقة OpenAI لعام 2023 لنتحقق خطوةً بخطوة نماذج PRM شهرةً واسعة. ووسم المقيّمون البشريون نحو 800,000 خطوة من 75,000 حل لـ12,000 مسألة في مجموعة بيانات مسابقة MATH على أنها إيجابية أو سلبية أو محايدة، وأصدرت OpenAI هذه التسميات باسم PRM800K. وباختيار أفضل حل من بين 1,860 حلًا أخذت عيناتها من مولّد يستند إلى GPT-4، حل نموذج PRM نسبة 78.2% من مجموعة تمثيلية فرعية من مجموعة اختبار MATH، مقابل 72.4% لنموذج ORM و69.6% لتصويت الأغلبية. وعُرض على المقيّمين حلولٌ صنفها نموذج PRM الحالي بدرجة عالية لكنها انتهت إلى إجابة خاطئة، وهو شكل من التعلم النشط جعل عملية التوسيم أكثر كفاءة بنحو 2.6 مرة من حيث البيانات.

كيفية تدريب نموذج PRM#

عادةً ما يكون PRM نموذج LLM مضبوطًا بدقة للتنبؤ بصحة كل خطوة عند نهايتها، ويُدرّب باستخدام دالة خسارة الانتروبيا المتقاطعة مقابل تسميات الخطوات. إن وسم البيانات البشري بهذا المستوى من التفصيل مكلف؛ لذا أنشأته Math-Shepherd آليًا، وفق ما نُشر في ديسمبر 2023: إذ أخذت عدة إكمالات من كل خطوة، وصنّفت الخطوة بناءً على ما إذا كانت تلك الإكمالات قد وصلت إلى الإجابة الصحيحة المعروفة. أدى استخدام PRM هذا لمكافأة كل خطوة أثناء تدريب PPO إلى رفع دقة Mistral-7B على GSM8K من 77.9% إلى 84.1%، وعلى MATH من 28.6% إلى 33.0%. لكن التسميات الآلية مشوشة: فقد وجدت دراسة أجراها فريق Qwen في Alibaba عام 2025 أن التقديرات بأسلوب مونت كارلو درّبت نماذج PRM أضعف من تلك المدرّبة على تسميات بشرية أو تسميات أصدرها LLM يؤدي دور المحكّم، وأصدر الفريق ProcessBench، وهو معيار يقيس مدى جودة PRM في العثور على أول خطوة خاطئة.

استخدام درجات PRM#

أثناء الاستدلال، يحول نموذج PRM درجات الخطوات إلى اختيار. إذ يولّد أخذ العينات بطريقة الأفضل من بين N عدة حلول كاملة ويحتفظ بالحل ذي أفضل درجة مجمعة، وقد ضربت ورقة «لنتحقق خطوةً بخطوة» احتمالات الخطوات، فكان أداء استخدام أقل درجة للخطوات مماثلًا تقريبًا:

import torch

# PRM outputs for three sampled solutions: probability that each step is correct
solutions = {
    "A": torch.tensor([0.97, 0.93, 0.95, 0.94]),
    "B": torch.tensor([0.99, 0.24, 0.96, 0.98]),  # flawed second step, confident ending
    "C": torch.tensor([0.91, 0.88, 0.90]),
}

for name, steps in solutions.items():
    print(f"{name}: last step {steps[-1]:.2f}, product {steps.prod():.3f}, min {steps.min():.2f}")

# Best-of-N reranking: pick the solution with the highest product of step scores
best = max(solutions, key=lambda name: solutions[name].prod())
print(f"Selected solution: {best}")

الحل B لديه أعلى درجة ثقة في الخطوة الأخيرة، وهي 0.98، لكن درجة خطوته الثانية 0.24؛ لذا ينخفض حاصل ضرب درجاته إلى 0.224 ويبلغ الحد الأدنى 0.24، فيختار PRM الحل A الذي يبلغ حاصل ضرب درجاته 0.806. ولو اقتصر الترتيب على الخطوة الأخيرة لاختير الحل B. وبالمثل، يقيّم تدريب Ultralytics YOLO كل خطوة وسيطة في التشغيل بدلًا من نهايته فقط: باستخدام val=True الافتراضي، يتحقق المدرّب بعد كل حقبة، ويقيّم الأوزان وفق قيمة ملاءمة تساوي mAP50-95 في الاكتشاف، ويحفظ الحقبة الأعلى تقييمًا باسم best.pt بجوار last.pt النهائي.

يمكن لنموذج PRM أيضًا توجيه البحث قبل اكتمال أي حل. فلا يحتفظ البحث الحزمي إلا بالحلول الجزئية الأعلى تقييمًا عند كل خطوة، ويستخدم بحث شجرة مونت كارلو (MCTS) الدرجات نفسها لتحديد الفروع التي ينبغي توسيعها، ووجدت دراسة عن توسيع الحوسبة وقت الاختبار أجرتها Google DeepMind وUC Berkeley أن اختيار طريقة بحث PRM بحسب صعوبة كل مسألة يضاهي أخذ العينات بطريقة الأفضل من بين N، مع حوسبة وقت اختبار أقل بما يصل إلى أربعة أضعاف:

القيود والمصطلحات ذات الصلة#

جرّب فريق DeepSeek-R1 نماذج PRM ثم تخلى عنها لثلاثة أسباب: يصعب تعريف الخطوة الدقيقة في الاستدلال العام، ويصعب أتمتة الحكم على صحة الخطوة الوسيطة وتكلف عملية توسيمها يدويًا، كما أن نموذج PRM المتعلم يفتح المجال أمام التحايل على المكافأة أثناء التدريب واسع النطاق. وبدلًا من ذلك، تعلّم DeepSeek-R1 باستخدام تحسين السياسة النسبي للمجموعة (GRPO) اعتمادًا على عمليات تحقق قائمة على قواعد للإجابة النهائية، وهو النهج المعروف باسم التعلم المعزز بمكافآت قابلة للتحقق (RLVR). وتقيّم نماذج المكافأة في التعلم المعزز من التغذية الراجعة البشرية (RLHF) الاستجابات الكاملة استنادًا إلى مقارنات التفضيلات البشرية، ما يجعلها نماذج مكافأة للنتيجة في النصوص المفتوحة. ويفحص نموذج PRM الخطوات أثناء كتابة سلسلة الأفكار، فيما يجعل التحقق المتسلسل (CoVe) النموذج يفحص إجابته المكتملة بنفسه عبر طرح أسئلة تحقق والإجابة عنها.