ترخيص YOLO
العودة إلى مسرد Ultralytics

Reinforcement Learning with Verifiable Rewards (RLVR)

يدرّب التعلّم المعزّز باستخدام المكافآت القابلة للتحقق (RLVR) النماذج على فحوصات آلية، مثل اجتياز اختبارات الوحدات أو مطابقة إجابة رياضية معروفة.

التعلّم المعزز بالمكافآت القابلة للتحقق (RLVR) طريقة لتدريب النماذج اللغوية الكبيرة (LLMs) وغيرها من النماذج التوليدية باستخدام التعلّم المعزز، حيث تأتي المكافأة من برنامج يقارن كل مخرج بنتيجة صحيحة معروفة. فإما أن تطابق إجابة الرياضيات الإجابة المرجعية أو لا، وإما أن يجتاز الكود المولّد اختبارات الوحدة أو يفشل فيها. وهذه الاختبارات قليلة التكلفة وموضوعية، لذا يمكن لـRLVR العمل لآلاف خطوات التدريب، وهو أسلوب أساسي وراء نماذج الاستدلال التي تتبع سلسلة تفكير طويلة قبل الإجابة. وسمّى AI2 هذه الطريقة في تقرير Tülu 3 في نوفمبر 2024، ثم لفت DeepSeek-R1 إليها اهتمامًا واسعًا في يناير 2025، حين تعلّم نموذج R1-Zero استدلالًا قويًا خطوة بخطوة من مكافآت الدقة والتنسيق القائمة على القواعد وحدها، من دون ضبط دقيق خاضع للإشراف مسبق.

آلية عمل RLVR#

يبدأ التدريب بنموذج مدرّب مسبقًا، غالبًا ما يكون مضبوطًا على التعليمات، ومجموعة من المطالبات التي يستطيع برنامج التحقق من إجاباتها. يولّد النموذج عدة استجابات لكل مطالبة، ويقيّم المدقّق كل استجابة، ثم ترفع خوارزمية تدرّج السياسة، مثل تحسين السياسة النسبية القريبة (PPO) أو تحسين السياسة النسبية للمجموعة (GRPO)، احتمال الاستجابات التي نالت تقييمًا أفضل من المتوقع، أي أعلى من متوسط المجموعة في GRPO، وتخفض احتمال الاستجابات الأخرى. ويُبقي القص، وفي كثير من وصفات التدريب عقوبة KL، النموذج المحدّث قريبًا من نقطة بدايته. ولا يُعرض على النموذج حل مشروح قط؛ فهو يتعلم فقط أي محاولاته نجحت، لذا فإن كل نمط استدلال يعززه هو نمط أنتجه بنفسه.

يمكن كتابة المدقّق والمقارنة داخل المجموعة في بضعة أسطر. يقيّم هذا المثال التوضيحي أربع إجابات مأخوذة لعينة واحدة من مطالبة رياضية، وذلك باستخراج الإجابة النهائية من وسم \boxed{}، وهو تنسيق الإجابة الذي اشترطه DeepSeek-R1 للرياضيات، ثم يحسب مزايا GRPO النسبية للمجموعة:

import re

import numpy as np

reference = "42"  # ⁨الإجابة المعروفة لمطالبة التدريب⁩
completions = [  # ⁨مجموعة من الاستجابات المأخوذة للمطالبة نفسها⁩
    "6 * 7 = 42, so the answer is \\boxed{42}",
    "Adding the terms gives \\boxed{41}",
    "The product is 42.",  # ⁨الرقم صحيح، لكن لا توجد إجابة نهائية بالتنسيق المطلوب⁩
    "Check: 7 * 6 = 42. \\boxed{42}",
]

# ⁨المدقّق: استخرج الإجابة النهائية الموضوعة داخل مربع وقارنها بالإجابة المرجعية⁩
rewards = []
for text in completions:
    match = re.search(r"\\boxed\{([^}]*)\}", text)
    rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)

# ⁨مزايا على نمط GRPO: كل مكافأة مقارنة بمتوسط المجموعة، ومقيسة بانحراف المجموعة المعياري⁩
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))

يطبع مكافآت [1. 0. 0. 1.] ومزايا [ 1. -1. -1. 1.]. ويُعزَّز الردان الصحيحان، بينما يُخفَّض تقييم الرد الثالث رغم احتوائه على 42، لأنه لا يذكر إجابة نهائية بالتنسيق المطلوب.

ما الذي يجعل المكافأة قابلة للتحقق#

تحتاج المكافأة القابلة للتحقق إلى حقيقة مرجعية وبرنامج يقارن المخرج بها. ومن المدقّقات الشائعة:

  • إجابات الرياضيات: تُحلل الإجابة النهائية وتُقارن بالإجابة المرجعية بعد توحيد الصيغ المتكافئة مثل 1/2 و0.5، وهي عملية تتولاها مكتبات مثل Math-Verify.
  • الكود: تُشغّل البرامج المولّدة داخل بيئة معزولة مقابل اختبارات الوحدة، وتُحدد المكافأة بحسب اجتياز الاختبارات أو النسبة التي اجتازتها.
  • اتباع التعليمات: قيود يستطيع البرنامج اختبارها، مثل حد الكلمات أو الكلمات المفتاحية المطلوبة أو صحة JSON. وطبّق Tülu 3 تقنية RLVR على هذا النوع من اتباع التعليمات بدقة إلى جانب الرياضيات.
  • التنسيق: مكافأة صغيرة لوضع الاستدلال والإجابة النهائية ضمن الوسوم المتوقعة، وهو ما جمعه DeepSeek-R1 مع مكافأة الدقة.
  • مهام الرؤية: يقيس التقاطع على الاتحاد مع الصناديق الموسومة إجابات تحديد مواضع العناصر، وتتحقق كواشف الكائنات من الصور المولّدة.

يستخدم GenEval كاشف كائنات للتحقق من احتواء الصورة المولّدة على الكائنات والأعداد والألوان والمواضع التي طلبتها المطالبة، واستخدم Flow-GRPO تلك التقييمات القائمة على القواعد مكافأةً لرفع دقة GenEval في Stable Diffusion 3.5 Medium من 63% إلى 95%. ويمكن لكاشف Ultralytics YOLO26 أن يعمل مدقّقًا من النوع نفسه، فيحوّل مطالبة مثل «أربعة أشخاص عند موقف حافلات» إلى مكافأة للعد:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])  # class 0 = person
n_found, n_requested = len(results[0].boxes), 4

# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")

RLVR مقارنةً بـRLHF ومكافآت خطوات الاستدلال#

تندرج RLVR إلى جانب أساليب أخرى لتحويل التقييم إلى إشارة تدريب:

  • التعلّم المعزز من التغذية الراجعة البشرية (RLHF): يقيّم نموذج المكافأة المتعلّم من مقارنات التفضيلات البشرية المخرجات. ويغطي صفات ذاتية مثل النبرة ومدى الفائدة، لكن قد توجد نقاط عمياء لدى المقيّم المتعلّم تستغلها السياسة. ولهذا تجنب DeepSeek-R1 نماذج المكافأة العصبية للاستدلال، وفي مرحلة التدريب النهائية جمع بين المكافآت القائمة على القواعد لمطالبات الاستدلال ونماذج المكافأة المتعلّمة للمطالبات العامة.
  • نماذج مكافأة خطوات الاستدلال (PRMs): تقيّم هذه النماذج كل خطوة وسيطة في الاستدلال. وتكافئ RLVR عادةً النتيجة النهائية فقط، ما يقلل تكلفة التقييم ويصعّب التحايل عليه.
  • تحسين التفضيل المباشر (DPO): يتعلم DPO دون اتصال من أزواج ثابتة من الاستجابات المفضلة والمرفوضة، من دون أخذ عينات أو استخدام مدقّق أثناء التدريب.

غالبًا ما تختار مسارات التدريب مصدر المكافأة مطالبةً بمطالبة، وتلجأ إلى التغذية الراجعة من الذكاء الاصطناعي على نهج الذكاء الاصطناعي الدستوري عند غياب المدقّق والتسميات البشرية:

نقاط القوة والقيود#

لأن المكافأة لا تتطلب وجود إنسان ضمن الحلقة، يمكن توسيع RLVR بالاعتماد على القدرة الحاسوبية وتوافر المسائل القابلة للتحقق، كما أنه ينتج سلوكيات لم يكتبها أحد: فقد طالت استجابات DeepSeek-R1-Zero تدريجيًا أثناء التدريب، إذ تعلم النموذج إعادة التحقق من عمله ومراجعته. وتقبل مكتبات مثل مدرّب TRL GRPO من Hugging Face دالة مكافأة مخصصة، لذا يمكن إدماج أي مدقّق، مثل الأمثلة أعلاه، مباشرةً.

لا تنطبق الطريقة إلا على المهام ذات الإجابات القابلة للتحقق، ويتيح المدقّق الضعيف فرصةً لـالتحايل على المكافأة: فقد يتعلم نموذج برمجة يُكافأ على اجتياز الاختبارات معالجة حالات خاصة أو تعديل الاختبارات بدلًا من إصلاح الكود. كما يختلف الباحثون حول ما تضيفه RLVR. وجدت دراسة عام 2025 للنماذج المدرّبة باستخدام RLVR أنها تفوقت على نماذجها الأساسية بمحاولة واحدة لكل مسألة، بينما حلت النماذج الأساسية مسائل أكثر عند السماح بمحاولات متعددة، ما يشير إلى أن RLVR تركز غالبًا الاحتمالات على حلول كان النموذج الأساسي قادرًا على إنتاجها أصلًا. واشترطت ورقة بحثية لاحقة صحة الإجابة وسلسلة الاستدلال معًا لاعتبار العينة صحيحة، ووفق مقياس CoT-Pass@K هذا ظل نموذج Qwen2.5-32B المدرّب باستخدام RLVR متقدمًا على نموذجه الأساسي لكل K حتى 1,024 في AIME 2024 وAIME 2025.

استكشف الحلول

الرؤية الحاسوبية في الرياضة

الرؤية الحاسوبية في الرياضة

اكتشف كيف يعزّز Ultralytics YOLO الرؤية الحاسوبية الرياضية عبر تتبّع اللاعبين والكرة، وتحليلات الأداء، ورؤى التدريب، وإعادة تأهيل الرياضيين.
معرفة المزيد
الرؤية الحاسوبية للصور الجوية

الرؤية الحاسوبية للصور الجوية

حوّل صور الطائرات المسيّرة والصور الجوية إلى رؤى آنية للزراعة وتربية الأحياء المائية والحفاظ على البيئة والتحليل الجغرافي المكاني باستخدام Ultralytics YOLO.
معرفة المزيد
الرؤية الحاسوبية في قطاع الطيران والفضاء

الرؤية الحاسوبية في قطاع الطيران والفضاء

طبّق الرؤية الحاسوبية في مجال الطيران والفضاء باستخدام Ultralytics YOLO لفحص الطائرات، واكتشاف الأجسام الغريبة على المدارج (FOD)، والعمليات الأرضية في المطارات، واكتشاف عيوب المواد المركّبة.
معرفة المزيد
الرؤية الحاسوبية في مجال الأمن

الرؤية الحاسوبية في مجال الأمن

احمِ كل موقع باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري مراقبة المحيط، واكتشاف التهديدات، والتعرف على لوحات المركبات، والسلامة في مكان العمل.
معرفة المزيد
الرؤية الحاسوبية في الروبوتات

الرؤية الحاسوبية في الروبوتات

عزّز أداء الآلات الذكية باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري في الروبوتات الملاحة الذاتية والإدراك وتعقب الأجسام والتحكم الآني.
معرفة المزيد
الرؤية الحاسوبية في الخدمات اللوجستية

الرؤية الحاسوبية في الخدمات اللوجستية

بسّط العمليات اللوجستية باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري فحص الطرود وفرزها وتتبع المركبات ومراقبة سلامة المستودعات في الوقت الفعلي.
معرفة المزيد
الرؤية الحاسوبية في تجارة التجزئة

الرؤية الحاسوبية في تجارة التجزئة

أعِد تصور تجارة التجزئة باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري تتبع المخزون ومراقبة الرفوف وإدارة الطوابير واستخلاص رؤى أذكى عن العملاء.
معرفة المزيد
الرؤية الحاسوبية في الرعاية الصحية

الرؤية الحاسوبية في الرعاية الصحية

أنشئ حلولًا للرعاية الصحية باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي البصري في الرعاية الصحية سرعة التصوير الطبي، وكفاءة التشخيص، ومراقبة المرضى.
معرفة المزيد
الرؤية الحاسوبية في التصنيع

الرؤية الحاسوبية في التصنيع

حسّن التصنيع باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية مراقبة الجودة واكتشاف العيوب والالتزام بمعدات الوقاية الشخصية وأتمتة خطوط التجميع.
معرفة المزيد
الرؤية الحاسوبية في قطاع السيارات

الرؤية الحاسوبية في قطاع السيارات

طبّق الرؤية الحاسوبية في قطاع السيارات باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية سلامة الطرق ومساعدة السائق وأتمتة المركبات لإنشاء طرق أكثر ذكاءً.
معرفة المزيد
الرؤية الحاسوبية في الزراعة

الرؤية الحاسوبية في الزراعة

أدخل الذكاء الاصطناعي البصري إلى الزراعة الذكية باستخدام نماذج Ultralytics YOLO. عزّز مراقبة المحاصيل وتتبع الماشية والزراعة الدقيقة لزيادة الإنتاجية وتحسينها.
معرفة المزيد

لنبنِ مستقبل الذكاء الاصطناعي معًا!

ابدأ رحلتك نحو مستقبل تعلّم الآلة