Reinforcement Learning with Verifiable Rewards (RLVR)

يعد التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR) نموذج تدريب متقدم يُستخدم لتعزيز قدرات الاستنتاج وحل المشكلات في نماذج الذكاء الاصطناعي (AI). وعلى عكس طرق التدريب التقليدية التي تعتمد على بيانات التفضيل المشروحة بشريًا، يستخدم RLVR أنظمة قائمة على القواعد حتمية لتقييم مخرجات النموذج. ومن خلال توفير مكافأة ثنائية موضوعية — مثل ما إذا كان جزء من الكود البرمجي الذي تم إنشاؤه يعمل أو ما إذا تم حل معادلة رياضية بشكل صحيح — يتيح RLVR للنماذج التعلم من خلال استكشاف غير مقيد. تعد حلقة التغذية الراجعة الموضوعية هذه محركًا رئيسيًا وراء الاختراقات الأخيرة في نماذج الاستنتاج عالية الكفاءة، مما يمكنها من اكتشاف مسارات منطقية مثالية ومعقدة دون تدخل بشري مستمر.

Link to this sectionالمبادئ الأساسية لـ RLVR#

في بيئات التعلم الآلي (ML) القياسية، يتعلم وكيل الذكاء الاصطناعي (AI agent) من خلال تعظيم إشارة المكافأة. في RLVR، يتم إنشاء إشارة المكافأة هذه بواسطة نظام برمجي صارم بدلاً من التقدير البشري الذاتي. تعتمد عملية التعلم على بضع خطوات أساسية:

• استراتيجية الاستكشاف: يقوم النموذج بإنشاء حلول متعددة محتملة أو مسارات استنتاج لمطالبة معينة، وغالبًا ما يستخدم التوجيه بسلسلة الأفكار لتقسيم المهام المعقدة.
• التحقق الحتمي: تقوم أداة خارجية — مثل مترجم Python، أو حاسبة، أو نظام إدراك الرؤية الحاسوبية (CV) — بالتحقق من المخرجات النهائية مقابل معايير نجاح موضوعية.
• تحسين السياسة: إذا كانت المخرجات صحيحة بشكل قابل للتحقق، يحصل النموذج على مكافأة إيجابية. يتم بعد ذلك تحديث سياسة النموذج باستخدام خوارزميات التحسين مثل تحسين السياسة النسبية للمجموعة (GRPO) أو تحسين السياسة القريبة (PPO) لتفضيل مسارات الاستنتاج الناجحة.

يعمل هذا النهج على تحسين كفاءة زمن انتقال الاستنتاج للنموذج بشكل كبير أثناء التدريب ويشجع على قدرات استنتاج ناشئة، وهي تقنية استُخدمت مؤخرًا لتدريب نماذج عالية القدرة مثل DeepSeek-R1.

Link to this sectionRLVR مقابل RLHF و PRMs#

من المهم التمييز بين RLVR ونماذج المحاذاة والتدريب الأخرى في نظام الذكاء الاصطناعي البيئي:

• مقابل التعلم التعزيزي من التغذية الراجعة البشرية (RLHF): يعتمد RLHF على نظام نمذجة المكافأة تم تعلمه وتدريبه على تفضيلات بشرية ذاتية. يلغي RLVR عنق الزجاجة المتمثل في وجود إنسان في الحلقة من خلال الاعتماد بشكل صارم على الحقائق البرمجية الموضوعية، مما يجعله قابلاً للتطوير بشكل كبير للمهام التي لها إجابات صحيحة أو خاطئة محددة.
• مقابل نموذج مكافأة العملية (PRM): بينما توفر PRMs تغذية راجعة تفصيلية خطوة بخطوة طوال مسار استنتاج النموذج، يركز RLVR عادةً على النتيجة القابلة للتحقق في نهاية العملية. ومع ذلك، تشير أبحاث حديثة لعام 2025 إلى أن التحسين من أجل مكافأة نهائية قابلة للتحقق في RLVR يحفز ضمنيًا خطوات الاستنتاج الوسيطة الصحيحة أيضًا.

Link to this sectionتطبيقات العالم الحقيقي#

يعمل RLVR على تحويل كيفية تدريب أنظمة الذكاء الاصطناعي المعقدة عبر مختلف المجالات الحتمية:

• الاستنتاج الرياضي: تستفيد نماذج الاستنتاج الكبيرة مثل سلسلة o من OpenAI من RLVR لحل النظريات الرياضية المعقدة. يعمل أداة التحقق كمحرك يثبت بشكل قاطع ما إذا كانت الإجابة المشتقة للنموذج صحيحة، مما يعزز أداء مجموعة بيانات المعيار بشكل كبير.
• هندسة البرمجيات وتوليد الكود: يستخدم مساعدو البرمجة بالذكاء الاصطناعي RLVR لكتابة وتصحيح وتحسين الكود. يتم تحقيق المكافأة القابلة للتحقق عندما يترجم الكود الذي تم إنشاؤه بنجاح ويجتاز مجموعة من اختبارات الوحدة المؤتمتة.
• وكلاء الرؤية المستقلون: في البيئات المادية، يتلقى الوكلاء المستقلون مكافآت قابلة للتحقق عند الوصول إلى وجهة مستهدفة أو معالجة جسم ما بنجاح. تعمل نماذج الرؤية كمدقق للشرط القابل للتحقق في هذه المساحات.

Link to this sectionتنفيذ مكافأة قابلة للتحقق في رؤية الذكاء الاصطناعي#

في البيئات المادية والبصرية، يمكن لنماذج الإدراك مثل Ultralytics YOLO26 أن تعمل كمدقق برمجي في حلقة RLVR. على سبيل المثال، إذا كان هدف وكيل الذكاء الاصطناعي هو نقل جسم إلى منطقة معينة، يمكن لنموذج YOLO التحقق من النجاح عن طريق اكتشاف وجود الجسم في تلك المنطقة.

يوضح مقتطف Python التالي مدققًا برمجيًا مفاهيميًا باستخدام حزمة ultralytics.

from ultralytics import YOLO

# Load a YOLO26 model to act as the programmatic verifier
verifier_model = YOLO("yolo26n.pt")


def get_verifiable_reward(image_path: str, target_class: int) -> float:
    """Returns a verifiable reward of 1.0 if the target object is detected."""
    results = verifier_model(image_path)

    # Check if the desired class (e.g., 0 for 'person') exists in the detections
    detected_classes = results[0].boxes.cls.tolist()
    if target_class in detected_classes:
        return 1.0  # Verifiable success
    return 0.0  # Verifiable failure


# Simulate an agent's environment state check
reward = get_verifiable_reward("https://ultralytics.com/images/bus.jpg", target_class=0)
print(f"RLVR Reward Signal: {reward}")

من خلال الاستفادة من المنصات السحابية مثل منصة Ultralytics لنشر مدققات الإدراك هذه، يمكن للمطورين بناء خطوط أنابيب RLVR قوية وقابلة للتوسع تعمل على تدريب الجيل القادم من الوكلاء المستقلين ووكلاء الاستنتاج.