التعلم بالتعزيز من خلال التغذية الراجعة البشرية (RLHF)

التعلم المعزز من التغذية الراجعة البشرية (RLHF) هي تقنية متقدمة للتعلم الآلي (ML) مصممة لمواءمة نماذج الذكاء الاصطناعي (AI) مع القيم البشرية المعقدة والذاتية. وبدلاً من الاعتماد على دالة مكافأة محددة مسبقاً، يستخدم التعلم المعزز من التغذية الراجعة البشرية التفضيلات البشرية لتدريب "نموذج مكافأة" يوجه عملية التعلم في الذكاء الاصطناعي. هذا النهج فعال بشكل خاص للمهام التي يكون فيها تعريف الأداء "الجيد" دقيقًا أو ذاتيًا أو يصعب تحديده بمقياس بسيط، مثل توليد حوار آمن ومفيد ومتماسك.

كيف يعمل RLHF؟

تتضمن عملية التعلم بالتقوية من خلال التغذية الراجعة البشرية (RLHF) عادةً ثلاث خطوات رئيسية:

1. التدريب المسبق لنموذج اللغة: تبدأ العملية بنموذج لغوي أساسي كبير (LLM) تم تدريبه مسبقًا على مجموعة كبيرة من البيانات النصية. هذا النموذج الأولي، الذي يشبه النموذج الأساسي، لديه فهم واسع للغة ولكنه ليس متخصصًا بعد لأسلوب أو مهمة محددة. يمكن أن يتبع هذه الخطوة اختياريًا ضبط دقيق تحت الإشراف على مجموعة بيانات عالية الجودة.
2. تدريب نموذج المكافأة: هذا هو جوهر RLHF. يتم تقديم العديد من النواتج التي تم إنشاؤها بواسطة نموذج مُدرَّب مسبقًا استجابةً لمطلب ما. ويقومون بترتيب هذه المخرجات من الأفضل إلى الأسوأ بناءً على معايير مثل الفائدة والصدق والأمان. ثم تُستخدم بيانات التفضيل هذه لتدريب نموذج مكافأة منفصل. يتعلم نموذج المكافأة التنبؤ بالمخرجات التي يفضلها الإنسان، مما يجسد الحكم البشري بشكل فعال.
3. الضبط الدقيق باستخدام التعلّم المعزز: يتم ضبط النموذج المدرب مسبقًا بشكل أكبر باستخدام التعلم المعزز (RL). في هذه المرحلة، يولد النموذج (الذي يعمل كوكيل) مخرجات، ويوفر نموذج المكافأة درجة "مكافأة" لكل مخرج. هذه العملية، التي غالبًا ما تتم إدارتها باستخدام خوارزميات مثل التحسين الأمثل للسياسة التقريبية (PPO)، تشجع نموذج الذكاء الاصطناعي على تعديل معلماته لتوليد استجابات تزيد من المكافأة، وبالتالي مواءمة سلوكه مع التفضيلات البشرية المكتسبة. وقد أثبتت الأعمال الرائدة التي قامت بها مؤسسات مثل OpenAI وDebMind فعاليتها.

تطبيقات واقعية

لقد كان التعلم بالتقوية من خلال التغذية الراجعة البشرية فعالاً في تطوير أنظمة الذكاء الاصطناعي الحديثة.

• روبوتات الدردشة الآلية المتقدمة: تستخدم روبوتات الدردشة الآلية الرائدة في مجال الذكاء الاصطناعي مثل روبوتات الدردشة التفاعلية (ChatGPT) من OpenAI وClaude من Anthropic، وذلك لضمان أن تكون استجاباتها ليست دقيقة فحسب، بل غير ضارة وأخلاقية ومتوافقة مع نية المستخدم. يساعد ذلك في التخفيف من مشاكل مثل توليد محتوى متحيز أو سام، وهو تحدٍ شائع في الذكاء الاصطناعي التوليدي واسع النطاق.
• تفضيلات القيادة الذاتية: عند تطوير الذكاء الاصطناعي للسيارات ذاتية القيادة، يمكن أن يدمج الذكاء الاصطناعي للذكاء الاصطناعي في السيارات ذاتية القيادة التغذية الراجعة من السائقين حول سلوكيات المحاكاة، مثل الراحة أثناء تغيير المسار أو اتخاذ القرار في المواقف الغامضة. وهذا يساعد الذكاء الاصطناعي على تعلم أنماط القيادة التي تبدو بديهية وجديرة بالثقة بالنسبة للبشر، مما يكمل مهام الرؤية الحاسوبية التقليدية مثل اكتشاف الأجسام التي تقوم بها نماذج مثل Ultralytics YOLO11.

مقارنة بين RLHF والمفاهيم ذات الصلة

من المهم التفريق بين RLHF وتقنيات تعلم الذكاء الاصطناعي الأخرى.

• التعلم المعزز: يتطلب التعلم المعزز القياسي من المطورين هندسة دالة المكافأة يدويًا لتحديد السلوك المطلوب. وهذا أمر بسيط بالنسبة للألعاب ذات النتائج الواضحة ولكنه صعب بالنسبة للمهام المعقدة في العالم الحقيقي. يحل RLHF هذه المشكلة من خلال تعلم دالة المكافأة من التغذية الراجعة البشرية، مما يجعلها مناسبة للمشاكل التي لا تحتوي على مقياس واضح للنجاح.
• التعلّم الخاضع للإشراف: يقوم التعلم الخاضع للإشراف بتدريب النماذج على مجموعات بيانات ذات إجابات "صحيحة" واحدة. هذا النهج أقل فعالية في المهام الإبداعية أو الذاتية حيث توجد إجابات جيدة متعددة. يسمح استخدام RLHF لتصنيفات التفضيل (على سبيل المثال، "أ أفضل من ب") بتجاوز الغموض وتعلم السلوكيات الدقيقة.

التحديات والاتجاهات المستقبلية

على الرغم من قوتها، تواجه تقنية RLHF تحديات. فجمع التغذية الراجعة البشرية عالية الجودة أمر مكلف ويمكن أن يؤدي إلى تحيز مجموعة البيانات إذا لم يكن واضعو العلامات متنوعين. وبالإضافة إلى ذلك، قد يكتشف الذكاء الاصطناعي طرقاً "للتلاعب" بنموذج المكافأة، وهي ظاهرة تُعرف باسم اختراق المكافآت.

تستكشف الأبحاث المستقبلية طرقًا أكثر كفاءة للتغذية الراجعة وبدائل مثل الذكاء الاصطناعي الدستوري (Constitutional AI)، الذي يستخدم مبادئ مُولَّدة بواسطة الذكاء الاصطناعي لتوجيه النموذج. يتطلب تطبيق التعلم بالتعزيز من خلال التغذية الراجعة البشرية (RLHF) خبرة في مجالات متعددة من التعلم الآلي، ولكن أدوات مثل مكتبة TRL من Hugging Face تجعلها أكثر سهولة. توفر منصات مثل Ultralytics HUB بنية تحتية لإدارة مجموعات البيانات و تدريب النماذج، والتي تعد أساسًا لمهام المواءمة المتقدمة و عمليات تعلم الآلة القوية (MLOps).