Reinforcement Learning

التعلم المعزز (RL) فرع من التعلم الآلي (ML)، يتعلم فيه الوكيل اتخاذ سلسلة من القرارات عبر تجربة أفعال في بيئة وتلقي مكافآت أو عقوبات، بهدف جمع أكبر قدر ممكن من المكافآت بمرور الوقت. لا يخبر أحد الوكيل بالفعل الصحيح؛ بل يكتشف الأفعال المجدية، بما فيها الأفعال التي لا تظهر مكافأتها إلا بعد خطوات كثيرة، مثل نقلة شطرنج تكسب قطعة بعد عشر نقلات. وهذا ما يجعل التعلم المعزز النهج المعتاد لمسائل التحكم التسلسلي: لعب الألعاب وتوجيه الروبوتات وتدريب نماذج اللغة الكبيرة (LLMs) على تقديم إجابات يفضلها الناس أو يمكن لبرنامج التحقق منها. وقد نال ريتشارد ساتون وأندرو بارتو، اللذان أسّس كتابهما المجال الحديث، جائزة ACM A.M. تورنغ لعام 2024 تقديرًا لعملهما الرائد في التعلم المعزز.

آلية عمل التعلم المعزز#

تُصاغ مسائل التعلم المعزز رسميًا باعتبارها عملية قرار ماركوفية (MDP). في كل خطوة زمنية، يلاحظ الوكيل الحالة الراهنة، ويختار فعلًا من فضاء الأفعال الخاص به، ويتلقى مكافأة مع الحالة التالية. وهدفه هو العائد، أي مجموع المكافآت المستقبلية، حيث يجعل عامل الخصم الذي تتراوح قيمته بين 0 و1 المكافآت البعيدة أقل وزنًا من الآنية. والمكافأة هي الوصف الوحيد للمهمة الذي يتلقاه الوكيل، لذا قد يؤدي تصميمها بإهمال إلى التحايل على المكافأة، حيث يحقق الوكيل درجة عالية من دون تنفيذ ما قصده المصمم.

• الوكيل: المتعلم وصانع القرار، مثل وحدة تحكم روبوت أو برنامج يلعب لعبة.
• البيئة: كل ما يتفاعل معه الوكيل، من محاكي فيزيائي إلى أرضية مستودع حقيقية.
• الحالة: المعلومات التي يتصرف الوكيل بناءً عليها، مثل زوايا المفاصل أو وضعية لوحة اللعب أو السمات المستخرجة من إطار كاميرا.
• الفعل: خيار متاح للوكيل، إما متقطعًا (يسار أو يمين) أو مستمرًا (زاوية توجيه).
• المكافأة: رقم تعيده البيئة بعد كل فعل، موجب عند إحراز تقدم وسالب عند ارتكاب أخطاء أو إهدار الوقت.
• السياسة: قاعدة الوكيل لاختيار فعل في كل حالة، وهي ما يحسّنه التدريب.
• دالة القيمة: العائد المتوقع من حالة ما، أو من تنفيذ فعل معين في حالة ما، وهي تتيح للوكيل تقييم الأفعال وفق عواقبها طويلة الأمد.

لأن الوكيل لا يتعلم إلا من الأفعال التي يجرّبها، فعليه الموازنة بين الاستكشاف، أي تجربة أفعال لا يُعرف مقدار قيمتها، والاستغلال، أي اختيار الفعل الذي يبدو الأفضل حاليًا. ومن القواعد الشائعة قاعدة الجشع مع الاحتمال إبسيلون: يتصرف الوكيل عشوائيًا باحتمال صغير، ويتصرف بطريقة جشعة فيما عدا ذلك. يستخدم مثال NumPy هذا خوارزمية Q-learning، وهي خوارزمية كلاسيكية تتعلم قيمة كل زوج من حالة وفعل، لتعليم وكيل السير في ممر من ست خلايا وصولًا إلى مكافأة في الطرف الآخر:

import numpy as np

rng = np.random.default_rng(0)
# ⁨ممر من 6 خلايا: ابدأ في الخلية 0، واحصل على مكافأة +1 عند بلوغ الخلية 5؛ الإجراء 0 = اليسار، والإجراء 1 = اليمين⁩
n_states, goal = 6, 5
Q = np.zeros((n_states, 2))  # ⁨العائد المقدّر لكل (حالة، إجراء)⁩
alpha, gamma, epsilon = 0.5, 0.9, 0.2  # ⁨معدل التعلّم، ومعامل الخصم، ومعدل الاستكشاف⁩

for episode in range(200):
    state = 0
    while state != goal:
        # ⁨استكشف باحتمال epsilon، وإلا فاستغل الإجراء المعروف بأنه الأفضل⁩
        action = rng.integers(2) if rng.random() < epsilon else Q[state].argmax()
        next_state = max(0, state - 1) if action == 0 else state + 1
        reward = 1.0 if next_state == goal else 0.0
        # ⁨تحديث Q-learning: تحرّك نحو المكافأة مضافًا إليها أفضل قيمة للحالة التالية بعد خصمها⁩
        Q[state, action] += alpha * (reward + gamma * Q[next_state].max() - Q[state, action])
        state = next_state

print("Greedy policy:", ["left" if a == 0 else "right" for a in Q[:goal].argmax(axis=1)])
print("Value of moving right:", Q[:goal, 1].round(2))

يطبع سياسة من right في كل خلية، وقيمًا من [0.66 0.73 0.81 0.9 1. ]. لم تُمنح المكافأة إلا في الخلية الأخيرة، لكن التحديث نشرها إلى الخلف، وتساوي قيمة كل خطوة تبتعد عن الهدف 0.9 من قيمة الخطوة التالية، وهذا هو معامل الخصم في عمله بالضبط.

عائلات خوارزميات التعلّم المعزّز#

تخزّن الأساليب الجدولية مثل الأسلوب أعلاه قيمةً لكل حالة، لكن ذلك لا يعود عمليًا عندما تكون الحالات صورًا من كاميرا أو زوايا مفاصل مستمرة. يستبدل التعلّم المعزّز العميق الجدولَ بـشبكة عصبية تعمّم التعلّم على الحالات المتشابهة، وتختلف عائلات الخوارزميات الرئيسية بحسب ما تتعلمه تلك الشبكة:

تتعلم الوكلاء الخالية من النموذج اعتمادًا على الخبرة الواقعية أو المحاكاة فحسب، بينما تتعلم الوكلاء القائمة على النموذج نموذجًا للعالم يتنبأ باستجابة البيئة، ثم تخطط بالاستعانة به، كما في التحكم التنبؤي بالنموذج أو البحث الشجري لمونت كارلو. أصبح تحسين السياسة القريب (PPO)، الذي يحدّ من مقدار التغيير الذي يمكن أن يُدخله كل تحديث على السياسة، الأسلوب الافتراضي لتدرّج السياسة في الروبوتات وتدريب النماذج اللغوية، كما كيّفه تحسين السياسة النسبي للمجموعة (GRPO) للاستدلال لدى نماذج LLM عبر الاستغناء عن الناقد المتعلَّم. ويشرح Spinning Up من OpenAI هذه الخوارزميات من خلال تطبيقات مرجعية.

تطبيقات عملية#

• الألعاب: جمعت AlphaGo من DeepMind بين الشبكات العصبية العميقة والبحث الشجري والتعلّم المعزّز باللعب الذاتي، لتفوز على بطل Go لي سيدول بأربع مباريات مقابل واحدة في مارس 2016.
• الروبوتات: تُدرَّب متحكمات الحركة للروبوتات رباعية الأرجل والبشرية الشكل باستخدام التعلّم المعزّز عبر آلاف الروبوتات المحاكاة المتوازية، وغالبًا مع تنويع عشوائي للاحتكاك والكتل والتضاريس، لكي تنتقل السياسة إلى العتاد الحقيقي.
• مواءمة النماذج اللغوية: تُضبط مساعدات المحادثة بدقة باستخدام التعلّم المعزّز بالاستناد إلى نموذج مكافأة مُدرَّب على مقارنات التفضيلات البشرية، وتُدرَّب نماذج الاستدلال بالتعلّم المعزّز بالاستناد إلى أدوات تحقق آلية تفحص إجابات الرياضيات أو تشغّل اختبارات الوحدات.
• أنظمة التوصية: يتيح التعامل مع سلسلة من التوصيات بوصفها قرارات للنظام تحسين التفاعل طويل الأمد بدلًا من تحسين النقرة التالية.

تُدرَّب معظم سياسات الروبوتات في المحاكاة، لأن الوكيل قد يحتاج إلى ملايين المحاولات ولأن العتاد الحقيقي قابل للتعطل؛ وتشغّل أطر عمل مثل NVIDIA Isaac Lab آلاف البيئات على وحدة GPU واحدة، بينما تقلّص العشوائية النطاقية الفجوة بين الفيزياء المحاكاة والحقيقية. تعمل أنظمة التعلّم المعزّز المعتمدة على الكاميرا عادةً على مخرجات نموذج إدراك بدلًا من وحدات البكسل الخام: إذ ينشر Ultralytics YOLO26، عند تشغيله على روبوت عبر تكامل ROS، فئات الكائنات في كل إطار من إطارات الكاميرا، ومسافة كل كائن عند استخدام كاميرا عمق، على هيئة رسائل خفيفة يمكن للسياسة اتخاذها حالةً لها.

التعلّم المعزّز مقارنةً بالنماذج ذات الصلة#

• التعلّم الخاضع للإشراف: تأتي كل عينة تدريب ومعها الإجابة الصحيحة. أما وكيل التعلّم المعزّز فلا يحصل إلا على مكافأة قياسية، غالبًا ما تتأخر، وتحدد أفعاله بنفسه البيانات التي يراها لاحقًا.
• التعلّم غير الخاضع للإشراف: يكتشف النموذج البنية، مثل العناقيد، في البيانات غير المصنفة، من دون أفعال ينفذها أو مكافأة يسعى إلى تعظيمها.
• عملية اتخاذ القرار ماركوف: تحدد MDP صياغة المسألة، أما التعلّم المعزّز فهو عائلة الأساليب التي تحلّها بالاستناد إلى الخبرة من دون تزويدها باحتمالات الانتقال.
• التعلّم بالتقليد: ينسخ الوكيل عروضًا توضيحية من خبير، وغالبًا ما يتم ذلك ببساطة عبر الاستنساخ السلوكي، ولا يستطيع بسهولة التفوق على معلّمه، بينما يمكن للتعلّم المعزّز اكتشاف استراتيجيات لم يعرضها أي خبير. وغالبًا ما يُجمع بين النهجين: تعلّم AlphaGo أولًا من 30 مليون وضعية في مباريات بشرية، ثم تحسّن باللعب الذاتي، بينما تجاوز خليفته AlphaGo Zero البيانات البشرية تمامًا وفاز على ذلك الإصدار من AlphaGo بنتيجة 100 مباراة مقابل صفر.