Reward Modeling

نمذجة المكافآت هي تدريب شبكة عصبية، تُسمى نموذج المكافأة، على تقييم مخرجات نظام الذكاء الاصطناعي بالطريقة التي يحكم بها عليها البشر. في التعلم المعزز القياسي، توفر البيئة مكافأة، مثل نتيجة لعبة. لكن أهدافًا كثيرة لا تملك نتيجة كهذه: فمن السهل الحكم على إجابة مفيدة أو صورة جيدة التكوين أو روبوت يسلّم كوبًا برفق، بينما يصعب تعريفها برمجيًا. يتعلم نموذج المكافأة هذا الحكم من التغذية الراجعة البشرية، وعادةً من المقارنات بين مخرجين، ثم يقيّم المخرجات الجديدة تلقائيًا بسرعة واتساق أكبر بكثير مما يستطيع البشر. نماذج المكافأة هي المكوّن الذي يجعل التعلم المعزز من التغذية الراجعة البشرية (RLHF) ممكنًا، كما تُستخدم أيضًا لإعادة ترتيب الإجابات المرشحة وتصفية بيانات التدريب وتقييم النماذج.

كيفية تدريب نموذج المكافأة#

تتألف بيانات التدريب من مقارنات. يرى الأشخاص مطالبةً مع إجابتين أو أكثر من النموذج، ويختارون الأفضل؛ ففي عمل OpenAI على InstructGPT، رتّب المقيّمون من 4 إلى 9 إجابات لكل مطالبة، وأصبح كل زوج من إجابات الترتيب مقارنة تدريبية. يُستخدم الترتيب بدلًا من الدرجات المطلقة لأن اتفاق الناس على أي إجابتين أفضل أكبر بكثير من اتفاقهم على ما إذا كانت إجابة تستحق 6 أم 7 من 10.

عادةً ما يكون نموذج المكافأة نموذجًا لغويًا كبيرًا (LLM) مُدرّبًا مسبقًا، وغالبًا ما يكون النموذج الجاري مواءمته، مع استبدال طبقة الإخراج برأس خطي يحوّل التضمين النهائي إلى رقم واحد. يستخدم التدريب نموذج Bradley-Terry للمقارنات الثنائية، الذي ينص على أن احتمال تفضيل الأشخاص للإجابة A على الإجابة B هو دالة سيغمويد للفرق بين مكافأتيهما. والخسارة هي اللوغاريتم السالب لذلك الاحتمال للإجابة التي اختارها الأشخاص فعلًا. يدرّب مثال PyTorch هذا رأس مكافأة خطيًا على 2,000 مقارنة محاكاة:

import torch
import torch.nn.functional as F

torch.manual_seed(0)
# 2,000 preference pairs: embeddings of two responses to the same prompt
# Simulated raters prefer the response with higher hidden quality, with some noise
hidden_quality = torch.randn(64)
a, b = torch.randn(2000, 64), torch.randn(2000, 64)
a_wins = (a @ hidden_quality + torch.randn(2000) * 2 > b @ hidden_quality).unsqueeze(1)
chosen, rejected = torch.where(a_wins, a, b), torch.where(a_wins, b, a)

# Reward model: a linear head mapping a response embedding to one scalar score
reward_model = torch.nn.Linear(64, 1)
optimizer = torch.optim.Adam(reward_model.parameters(), lr=0.01)
train, test = slice(0, 1500), slice(1500, 2000)
for step in range(300):
    # Bradley-Terry loss: maximize the probability that the chosen response scores higher
    margin = reward_model(chosen[train]) - reward_model(rejected[train])
    loss = -F.logsigmoid(margin).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

accuracy = (reward_model(chosen[test]) > reward_model(rejected[test])).float().mean()
print(f"Held-out pairs ranked like the raters: {accuracy:.1%}")

يطبع 94.8%. يتعارض المقيّمون المحاكون الصاخبون أنفسهم مع ترتيب الجودة الخالي من الضوضاء في نحو 5% من تلك الأزواج المحجوبة، لذا تعلّم نموذج المكافأة التفضيل بقدر ما تسمح به تسمياته، رغم أنه لم يرَ أي درجة مطلقة. وتُستخدم أيضًا الدقة الزوجية على المقارنات المحجوبة لمقارنة نماذج المكافأة الحقيقية، مثلًا في معيار RewardBench. ولأن الخسارة تعتمد على الفروق بين المكافآت فقط، يكون مقياس الدرجات اعتباطيًا، وكثيرًا ما تطبّعه مسارات العمل قبل RL.

أنواع نماذج المكافأة#

• نماذج مكافأة النتيجة: تقيّم إجابة أو حلقة كاملة، وهي الخيار القياسي في RLHF.
• نماذج مكافأة العملية: تقيّم كل خطوة وسيطة في الحل. تحتوي مجموعة بيانات PRM800K من OpenAI على 800,000 تسمية بشرية على مستوى الخطوة لحلول رياضية.
• نماذج المكافأة التوليدية: يكتب LLM يعمل حكمًا نقدًا أو قرارًا، ما يتيح لنموذج واحد تقييم أنواع كثيرة من المهام وشرح درجاته.
• نماذج المكافأة الضمنية: يدرّب التحسين المباشر للتفضيلات (DPO) السياسة على أزواج التفضيلات مباشرةً، وتعمل نسبة الاحتمالية اللوغاريتمية للسياسة إلى نموذجها المرجعي بوصفها المكافأة.
• نماذج مكافأة الصور: دُرّب ImageReward على 137,000 مقارنة خبيرة لصور مولّدة، ويُستخدم لضبط نماذج تحويل النص إلى صورة بدقة لتنتج نتائج جذابة ومتوافقة مع المطالبة.

يستخدم تعلم الروبوتات الفكرة نفسها مع نماذج الرؤية. ينتج مصنّف صور دُرّب على إطارات كاميرا صنّفها الأشخاص بوصفها محاولات ناجحة أو فاشلة، مثل وضع كوب قائمًا أو إسقاطه، احتمالًا للنجاح يعمل مكافأةً لسياسة تعلم. ويمكن لنموذج Ultralytics YOLO26 مدرّب على هذه الإطارات باستخدام مهمة التصنيف أن يؤدي هذا الدور، فيقيّم كل إطار من المحاولة خلال أجزاء من الألف من الثانية.

الحفاظ على دقة نموذج المكافأة#

لا يكون نموذج المكافأة دقيقًا إلا في المخرجات المشابهة لبيانات تدريبه. ومع تحسن السياسة، تنتج إجابات لم يرها نموذج المكافأة من قبل، لذا جمع فريق Llama 2 من Meta مقارنات جديدة على مخرجات أحدث نموذج وأعاد تدريب نموذج المكافأة قبل كل جولة جديدة من RL:

يؤدي الإفراط في التحسين مقابل أي مكافأة متعلَّمة إلى التحايل على المكافأة. استخدمت دراسة OpenAI حول الإفراط في تحسين نموذج المكافأة نموذج مكافأة «ذهبيًا» كبيرًا بدلًا من المقيّمين البشر، ووجدت أنه بينما حُسّنت سياسة مقابل نموذج مكافأة بديل أصغر، ارتفعت الدرجة الذهبية أولًا ثم انخفضت، في حين واصلت الدرجة البديلة الارتفاع، وتضاءل الأثر تدريجيًا مع نمو النموذج البديل. كما تلتقط نماذج المكافأة تحيزات المقيّمين، مثل تفضيل الإجابات الأطول أو الأكثر استرضاءً، ثم يضخّم RL هذه التحيزات لتتحول إلى إسهاب وتملّق. تحدّ عقوبة KL تجاه النموذج الأصلي، ومجموعات نماذج المكافأة، وإعادة التدريب المنتظمة على مقارنات جديدة من الضرر.

نمذجة المكافآت مقابل المصطلحات ذات الصلة#

• RLHF: مسار العمل الكامل الذي يشمل الضبط الدقيق الخاضع للإشراف، ونمذجة المكافآت من المقارنات البشرية، وتحسين RL. نمذجة المكافآت هي مرحلته الثانية.
• دالة المكافأة: مكافأة مكتوبة يدويًا، مثل +1 عند بلوغ هدف. يُتعلّم نموذج المكافأة من البيانات لأن أحدًا لا يستطيع كتابة الدالة.
• المكافآت القابلة للتحقق: يتحقق برنامج من الإجابة بمقارنتها بحل معروف، مثل اختبار وحدة أو نتيجة رياضية مرجعية، وهذا أصعب استغلالًا من نموذج متعلَّم، لكنه لا يعمل إلا عندما يمكن التحقق من الإجابات.
• التعلم المعزز العكسي: يستنتج دالة مكافأة من عروض خبراء للمهمة، بينما تتعلم نمذجة المكافآت في RLHF من مقارنات الأشخاص لمخرجات النظام نفسه.