Reinforcement Learning from Human Feedback (RLHF)

التعلم المعزز من الملاحظات البشرية (RLHF) أسلوب تدريب يحسّن نموذج الذكاء الاصطناعي باستخدام أحكام الناس على مخرجاته بدلًا من هدف مكتوب يدويًا. يقارن المقيّمون البشر أزواجًا أو مجموعات من استجابات النموذج، ويتعلم نموذج المكافأة التنبؤ بالاستجابة التي سيفضلونها، ثم يستخدم التعلم المعزز الضبط الدقيق للنموذج الأصلي لإنتاج استجابات يقيّمها نموذج المكافأة بدرجات عالية. وُجد RLHF لأن صفات مثل المساعدة والصدق والنبرة يسهل على الناس تمييزها ويكاد يستحيل التعبير عنها في دالة خسارة. استخدمه Christiano وآخرون عام 2017 لتعليم الوكلاء سلوكيات جديدة في ألعاب Atari ومحاكيات الروبوتات، انطلاقًا من نحو ساعة من المقارنات البشرية، وأصبح المرحلة النهائية القياسية في تدريب النماذج اللغوية الكبيرة (LLMs) وأنظمة الذكاء الاصطناعي التوليدي الأخرى بعد إصدار OpenAI لنموذج InstructGPT وChatGPT عام 2022.

آلية عمل RLHF#

تتألف الوصفة الكلاسيكية، الموضحة في ورقة InstructGPT، من ثلاث مراحل:

1. الضبط الدقيق الخاضع للإشراف (SFT): يُضبط نموذج أساسي مدرَّب مسبقًا بدقة باستخدام أمثلة توضيحية كتبها أشخاص، مثل إجابات جيدة لمطالبات نموذجية، ما يعلّمه التنسيق والنبرة المتوقّعين.
2. تدريب نموذج المكافأة: يولّد نموذج SFT عدة استجابات لكل مطالبة، ثم يرتبها المصنّفون. وقد رتّب نحو 40 متعاقدًا في InstructGPT ما بين 4 و9 استجابات لكل مطالبة. ويُدرَّب نموذج مماثل له بمخرج قياسي واحد ليمنح الاستجابات المفضلة درجات أعلى من الاستجابات المرفوضة.
3. التعلّم المعزّز: يصبح نموذج SFT سياسة، ويُحسَّن باستخدام تحسين السياسة القريب (PPO) لتعظيم درجة نموذج المكافأة، بعد طرح عقوبة تتناسب مع تباعد KL عن نموذج SFT. وتُبقي العقوبة السياسة قريبة من النص السلس الذي شاهده نموذج المكافأة، وتمنعها من الانحراف نحو مخرجات غريبة قد يمنحها نموذج المكافأة درجات أعلى من استحقاقها.

يحدد معامل KL، الذي يُكتب عادةً β، مقدار التغيير المسموح به في السياسة. ولهدف KL المنظّم حل أمثل دقيق، هو الاحتمالات المرجعية بعد إعادة ترجيحها بالأسّ الناتج عن قسمة المكافأة على β؛ وهذا ما يحسبه مثال NumPy لأربع استجابات مرشحة:

import numpy as np

# Four candidate responses: probability under the fine-tuned reference model and reward-model score
reference = np.array([0.50, 0.30, 0.15, 0.05])
reward = np.array([0.0, 1.0, 2.0, 4.0])

for beta in [10.0, 1.0, 0.1]:
    # Optimal policy for "maximize expected reward - beta * KL(policy || reference)"
    policy = reference * np.exp(reward / beta)
    policy /= policy.sum()
    kl = (policy * np.log(policy / reference)).sum()
    print(f"beta={beta:>4}: policy={policy.round(2)}, expected reward={policy @ reward:.2f}, KL={kl:.2f}")

يطبع سياسة من [0.46 0.3 0.17 0.07] عند β = 10، تكاد تطابق السياسة المرجعية، وسياسة من [0. 0. 0. 1.] عند β = 0.1، حيث تنتقل كل الاحتمالات إلى الاستجابة التي لم يمنحها النموذج المرجعي سوى 5%، مع تباعد KL يبلغ 3.00. يتيح انخفاض β الحصول على أعلى درجة من نموذج المكافأة، وإذا بالغ نموذج المكافأة في تقدير تلك الاستجابة النادرة، تكون السياسة قد تعلمت استغلال خطأ بدلًا من إرضاء الناس. ويستخدم تحسين التفضيل المباشر (DPO) الحل الأمثل نفسه بصيغته المغلقة للتدريب على أزواج التفضيلات مباشرةً، من دون نموذج مكافأة منفصل أو دورة تعلّم معزّز.

استخدامات RLHF#

• مساعدات المحادثة: فضّل المصنّفون في InstructGPT مخرجات نموذج RLHF ذي 1.3 مليار معلمة على مخرجات GPT-3 ذي 175 مليار معلمة. وضُبطت نماذج المحادثة Llama 2 من Meta باستخدام نموذجي مكافأة منفصلين، أحدهما للإفادة والآخر للسلامة.
• التلخيص: أنتجت نماذج التلخيص من OpenAI، المدرّبة على الملاحظات البشرية في عام 2020، ملخصات فضّلها المقيمون على الملخصات المرجعية التي كتبها البشر في مجموعة البيانات.
• توليد الصور: تُستخدم نماذج المكافأة المدرّبة على تقييمات البشر للصور المولّدة لضبط نماذج تحويل النص إلى صورة بدقة، كي تلتزم بالمطالبات بأمانة وتنتج صورًا مستحسنة لدى الناس.
• الروبوتات والتحكم: في المهام التي يسهل الحكم على نجاحها ويصعب تعريفها، مثل المشية الطبيعية أو المسار الآمن وسط حشد، يقارن الناس مقاطع فيديو قصيرة لمحاولات الروبوت بدلًا من كتابة دالة مكافأة.

تتلقى نماذج الرؤية واللغة من كبرى الجهات المزوّدة ضبط التفضيلات نفسه الذي تتلقاه روبوتات المحادثة النصية. في وكلاء Ultralytics Platform، يحدد كاشف Ultralytics YOLO26 الصور التي تحتاج إلى فحص أدق، ثم يتبع أحد هذه النماذج من قائمة نماذج Platform، مثل Google Gemini، موجّه سير العمل لوصفها.

القيود#

إن تصنيف البيانات وفق التفضيلات البشرية بطيء ومكلف، كما يختلف المقيمون فيما بينهم، لذا يتعلم نموذج المكافأة متوسط أذواقهم إلى جانب نقاطهم العمياء. ويكافئ المقيمون أيضًا الإجابات الواثقة والمسايرة: فقد وجدت دراسة أجرتها Anthropic على خمسة مساعدين أن بيانات التفضيلات البشرية تفضّل الاستجابات التي توافق آراء المستخدم المعلنة، وهذا أحد مصادر مجاملة الذكاء الاصطناعي. ويؤدي التحسين المكثف مقابل أي مكافأة متعلَّمة في نهاية المطاف إلى التحايل على المكافأة، حيث تستمر درجة نموذج المكافأة في الارتفاع بينما تنخفض الجودة الفعلية.

RLHF مقارنةً بالأساليب ذات الصلة#

• التعلّم المعزّز التقليدي: توفر البيئة مكافأة ثابتة، مثل نتيجة لعبة. أما RLHF فيتعلم المكافأة من الأحكام البشرية لعدم وجود مكافأة ثابتة تجسّد الهدف.
• نمذجة المكافأة: نموذج المكافأة أحد مكونات RLHF؛ فهو الشبكة التي تحوّل الترتيبات البشرية إلى درجة يمكن لخوارزمية التعلّم المعزّز تحسينها.
• الذكاء الاصطناعي الدستوري: ينتج نموذج ذكاء اصطناعي، مسترشدًا بمبادئ مكتوبة، تسميات التفضيلات بدلًا من الناس؛ وهذا شكل يُسمى التعلّم المعزّز من ملاحظات الذكاء الاصطناعي (RLAIF).
• التعلّم المعزّز بمكافآت قابلة للتحقق (RLVR): يتحقق برنامج من كل إجابة، مثل نتيجة رياضية أو اختبار وحدة، ويقدّم المكافأة. ويُدرّب RLVR نماذج الاستدلال، عادةً باستخدام تحسين السياسة النسبي للمجموعة (GRPO)، كما تجمع مسارات التدريب اللاحق الحديثة بينه وبين الأسلوب الشبيه بـRLHF: فتستخدم المكافآت القابلة للتحقق عندما تتوفر أداة تحقق، ونماذج المكافأة الشبيهة بـRLHF للمطالبات مفتوحة النهاية.