Process Reward Model (PRM)

يتطلب تقييم نماذج الذكاء الاصطناعي المعقدة أكثر من مجرد التحقق من صحة الإجابة النهائية. تقوم تقنية تعلم معزز متخصصة للغاية بتعيين درجات رياضية لكل خطوة وسيطة يتخذها الذكاء الاصطناعي أثناء أداء المهمة، مما يوفر تعليقات مكثفة على مستوى الخطوة. يضمن هذا النهج الدقيق أن النموذج لا يصل إلى الوجهة الصحيحة فحسب، بل يتبع أيضًا مسارات منطقية وآمنة وقابلة للتحقق للوصول إلى هناك.

Link to this sectionنماذج مكافأة العملية مقابل نماذج مكافأة النتيجة#

في السياق الأوسع لـ نمذجة المكافأة، من المهم التمييز بين الإشراف القائم على العملية والإشراف القائم على النتيجة. توفر نماذج مكافأة النتيجة (ORMs) التقليدية مكافأة واحدة متفرقة في نهاية التوليد تمامًا. في حين أن نماذج ORMs أسهل في التدريب، فإنها تعاني من عيب كبير في المهام المعقدة: يمكنها مكافأة النماذج التي تصل إلى الإجابة الصحيحة من خلال منطق معيب أو هلوسة عن غير قصد.

يعالج نموذج مكافأة العملية (PRM) هذا الأمر من خلال تقييم مسار التفكير بأكمله. كما شاع في أبحاث OpenAI التأسيسية في أوراق بحثية مثل لنتحقق خطوة بخطوة، يطبق PRM إشرافًا مرحليًا على كل فكرة أو إجراء. يعد هذا مكونًا حاسمًا في خطوط أنابيب التعلم المعزز من التغذية الراجعة البشرية (RLHF) المتقدمة، حيث يوجه بنشاط تحسين السياسة باستخدام خوارزميات مثل تحسين السياسة القريبة (PPO).

Link to this sectionتطبيقات العالم الحقيقي#

تُحدث نماذج PRM تحولًا في كيفية عمل نماذج اللغات الكبيرة (LLMs) والأنظمة المستقلة في البيئات عالية المخاطر:

• الاستدلال الرياضي: من خلال تقييم المعادلات سطرًا بسطر، تسمح نماذج PRM للنماذج باستخدام خوارزميات مثل أخذ عينات الأفضل من N (BoN) أو بحث شجرة مونت كارلو (MCTS) لاستكشاف مسارات حل متعددة واختيار التسلسل الأكثر منطقية.
• توليد الكود: عند إنشاء البرمجيات، لا يكفي مجرد التحقق مما إذا كان البرنامج النصي النهائي يعمل. توفر نماذج PRM إشرافًا على العملية، حيث تقوم بتسجيل نقاط الوظائف الفردية وكتل المنطق لضمان أن الكود فعال وآمن وقابل للصيانة.
• بحوث العمليات والوكلاء المرئيون: أدت التطورات الأخيرة في عامي 2025 و 2026 إلى توسيع نماذج PRM إلى ما هو أبعد من النص. على سبيل المثال، تستخدم بحوث العمليات الآن PRMs للتحقق من خوارزميات الجدولة المعقدة. وبالمثل، تتلقى وكلاء الذكاء الاصطناعي المرئيون المجهزون بمحركات رؤية حاسوبية قوية مثل Ultralytics YOLO26 مكافآت خطوة بخطوة للتنقل في البيئات المادية، بدلاً من مجرد مكافأة واحدة للوصول إلى الوجهة.

Link to this sectionتنفيذ التغذية الراجعة على مستوى الخطوة#

يتطلب تدريب نموذج PRM إدارة مجموعات بيانات واسعة النطاق حيث يتم تقييم كل خطوة فرعية بواسطة البشر أو نماذج ذكاء اصطناعي أقوى. يتم تبسيط إدارة سير عمل تعليقات البيانات المكثفة هذه باستخدام أدوات سحابية مثل منصة Ultralytics، التي تعمل على تبسيط تنظيم المشروع ونشره.

أثناء الاستدلال أو تحسين النموذج، يحسب نموذج PRM خسارة تراكمية أو مكافأة بناءً على سلسلة الخطوات. يوضح مقتطف كود Python المفاهيمي التالي الذي يستخدم torch كيفية معاقبة المكافآت على مستوى الخطوة إذا فشلت خطوة وسيطة، وهو نهج شائع موجود في وثائق PyTorch لتسجيل التسلسل:

import torch

# Simulate reward scores from a PRM for 3 consecutive reasoning steps
# Scores represent the probability of correctness for each step (0.0 to 1.0)
step_rewards = torch.tensor([0.95, 0.80, 0.15], requires_grad=True)

# The PRM aggregates the scores, heavily penalizing the poor 3rd step
# Negative log-likelihood is commonly used to optimize the trajectory
prm_loss = -torch.log(step_rewards).mean()

print(f"Calculated PRM Loss: {prm_loss.item():.4f}")
# During RLHF, this loss would guide hyperparameter tuning and model updates

من خلال ضمان توافق كل خطوة وسيطة مع السلوك المتوقع، يمكن للمطورين نشر أنظمة موثوقة للغاية. يسمح الجمع بين الإشراف على مستوى العملية وضبط المعاملات الفائقة المستمر لنماذج الجيل التالي بالتفكير حقًا في المشكلات بشكل آمن وفعال.