Direct Preference Optimization

تحسين التفضيلات المباشر (DPO) طريقة لمواءمة نموذج لغة كبير (LLM) مع التفضيلات البشرية، وذلك بتدريبه مباشرةً على أزواج من الإجابات، إحداها مفضلة والأخرى مرفوضة، باستخدام دالة خسارة واحدة بأسلوب التصنيف. ويحقق هدف التعلم المعزز من التغذية الراجعة البشرية (RLHF) دون نموذج مكافأة منفصل أو حلقة تعلم معزز تأخذ عينات من النموذج أثناء التدريب. قدّمه Rafael Rafailov وArchit Sharma وEric Mitchell وStefano Ermon وChristopher Manning وChelsea Finn في جامعة ستانفورد عام 2023 في ورقتهم تحسين التفضيلات المباشر: نموذجك اللغوي هو في الحقيقة نموذج مكافأة، التي عُرضت في NeurIPS 2023. وتتمثل فكرته الأساسية في أن نموذج اللغة قيد التدريب يحدد مكافأته الضمنية بنفسه، ولذلك يُدرَّب نموذج المكافأة والسياسة في خطوة واحدة.

آلية عمل DPO#

كل مثال تدريبي عبارة عن موجّه وإجابة مختارة وأخرى مرفوضة، كما يصنّفها أشخاص أو نموذج آخر. يبدأ التدريب من نموذج خضع بالفعل لـالضبط الدقيق الخاضع للإشراف، وعادةً ما يكون ضبط التعليمات، ويحتفظ بنسخة مجمّدة منه لتكون مرجعًا. يقارن DPO، لكل إجابة، لوغاريتم احتمالها وفق النموذج قيد التدريب بلوغاريتم احتمالها وفق النموذج المرجعي. وتساوي المكافأة الضمنية للإجابة β مضروبًا في نسبة لوغاريتم الاحتمال، وتكون الخسارة سالب لوغاريتم دالة سيغمويد لمكافأة الإجابة المختارة مطروحًا منها مكافأة الإجابة المرفوضة. ويؤدي تقليلها إلى رفع احتمال الإجابة المختارة مقارنةً بالمرفوضة، مع تحديثات أكبر للأزواج التي لا يزال النموذج يرتبها على نحو خاطئ.

يؤدي المعامل β دور عقوبة KL في RLHF. وأظهر Rafailov وزملاؤه أن تعظيم المكافأة المقيّد بـKL والمستخدم في RLHF له سياسة مثلى مغلقة الصيغة: احتمالات المرجع بعد إعادة وزنها بأسّ المكافأة مقسومًا على β. ثم أعادوا ترتيب هذه الصيغة للتعبير عن المكافأة من خلال السياسة نفسها. وكلما صغرت β، زادت حرية التدريب في إبعاد النموذج عن المرجع.

ينفّذ مثال PyTorch هذا عشر خطوات من DPO على GPT-2 من مكتبة Transformers التابعة لـHugging Face، مستخدمًا زوجين من تفضيلات خدمة العملاء، ثم يختبر زوجًا ثالثًا لم يسبق للنموذج أن تدرب عليه:

import copy

import torch
import torch.nn.functional as F
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
policy = AutoModelForCausalLM.from_pretrained("gpt2")
reference = copy.deepcopy(policy).requires_grad_(False)  # frozen copy of the starting model
optimizer = torch.optim.Adam(policy.parameters(), lr=1e-5)

# Preference pairs: (prompt, chosen reply, rejected reply)
train = [
    ("My order arrived broken.", " Sorry about that, we will send a replacement today.", " That is not our problem."),
    ("I was charged twice.", " Sorry for the trouble, we have refunded the extra charge.", " Check your bank again."),
]
held_out = ("My package is a week late.", " Sorry for the delay, we will track it down for you.", " Be more patient.")


def log_prob(model, prompt, reply):
    """Sum of the log-probabilities the model gives the reply tokens after the prompt."""
    ids = tokenizer(f"Customer: {prompt}\nAgent:{reply}", return_tensors="pt").input_ids
    token_logps = model(ids).logits[0, :-1].log_softmax(-1).gather(1, ids[0, 1:, None])
    return token_logps[-len(tokenizer(reply).input_ids) :].sum()


def margin(prompt, chosen, rejected):
    """Policy-to-reference log-ratio of the chosen reply minus that of the rejected reply."""
    chosen_ratio = log_prob(policy, prompt, chosen) - log_prob(reference, prompt, chosen)
    return chosen_ratio - (log_prob(policy, prompt, rejected) - log_prob(reference, prompt, rejected))


for step in range(10):
    loss = sum(-F.logsigmoid(0.1 * margin(*pair)) for pair in train) / len(train)  # DPO loss, beta = 0.1
    if step in {0, 9}:
        print(f"Step {step}: training loss {loss.item():.3f}")
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

with torch.no_grad():
    print(f"Held-out margin: {margin(*held_out).item():+.1f}")

يطبع المثال خسارة تدريب مقدارها 0.693 عند الخطوة 0، وهي ln 2، لأن السياسة لا تزال مطابقة للمرجع ولكلتا الإجابتين مكافأة ضمنية تساوي صفرًا. وبحلول الخطوة 9 تصبح الخسارة 0.047، وهامش الاختبار المحجوب +7.8: ففي شكوى لم يسبق له رؤيتها، رفع النموذج لوغاريتم احتمال الرد الاعتذاري مقارنةً بالمرجع بمقدار يفوق الرد المتجاهل بـ7.8.

مقارنة DPO وRLHF#

يدرّب RLHF التقليدي نموذج مكافأة على أزواج التفضيلات، ثم يحسّن نموذج اللغة وفقًا له باستخدام تحسين سياسة الثبات (PPO)، الذي يحتاج إلى عينات جديدة من النموذج في كل خطوة، ويحتفظ في الذاكرة بسياسة ونموذج قيمة ونموذج مكافأة ونموذج مرجعي. أما DPO فلا يحتاج إلا إلى السياسة والمرجع، ويتدرب على مجموعة بيانات ثابتة مثل التعلم الخاضع للإشراف المعتاد؛ لذا يسهل ضبطه ويقلّ كثيرًا ما يتطلبه تشغيله من موارد. وفي التجارب الأصلية، تفوق DPO على PPO في التحكم بمشاعر مراجعات الأفلام المولّدة ضمن ميزانية KL محددة. وفي تلخيص منشورات Reddit من مجموعة TL;DR، حكم GPT-4 بأن ملخصات DPO أفضل من المراجع التي كتبها البشر في 61% من الحالات عند درجة حرارة أخذ عينات 0، مقابل 57% لـPPO عند أفضل درجة حرارة له. وعلى بيانات الحوار المفيد وغير الضار من Anthropic، كان DPO الطريقة الوحيدة المختبرة ذات الكفاءة الحسابية التي حسّنت الإجابات المفضلة في مجموعة البيانات.

تكمن المفاضلة في أن DPO لا يتعلم إلا من الأزواج المقدمة إليه. أما أساليب التعلم المعزز عبر الإنترنت مثل تحسين السياسة النسبي للمجموعة (GRPO)، فتقيّم عينات جديدة من النموذج الحالي أثناء التدريب؛ ولهذا تهيمن على التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) في الرياضيات والبرمجة، حيث يمكن لمدقّق تقييم كل إجابة جديدة. ويمكن أيضًا أن تأتي تسميات التفضيل من نموذج ذكاء اصطناعي يسترشد بمبادئ مكتوبة، كما في الذكاء الاصطناعي الدستوري، ويُدرّب DPO على هذه التسميات بالطريقة نفسها.

استخدامات DPO#

أصبح DPO خطوة معيارية في مرحلة ما بعد التدريب لـروبوتات الدردشة ذات الأوزان المفتوحة. وطبّق Zephyr-7B-β من Hugging Face هذه الطريقة على بيانات UltraFeedback التي رتّبها الذكاء الاصطناعي، كما وُوئمت نماذج Meta Llama 3 عبر عدة جولات من الضبط الدقيق الخاضع للإشراف، أعقبها DPO. وتوفر مكتبة TRL أداة تدريب جاهزة لـDPO. وتستدعي واجهة Ultralytics لنماذج اللغة الكبيرة النماذج عبر أي نقطة نهاية متوافقة مع OpenAI، بما فيها الخوادم المحلية، بحيث يمكن لنموذج مفتوح مواءم بواسطة DPO كتابة الجانب النصي من مسار الرؤية في Ultralytics YOLO26.

يمكن تطبيق هذه الطريقة أيضًا على الصور. أعاد Diffusion-DPO صياغة الخسارة لـنماذج الانتشار، وضبط النموذج الأساسي Stable Diffusion XL بدقة على 851,000 تفضيل جماعي ثنائي من مجموعة بيانات Pick-a-Pic، محسنًا توافق الموجّهات والجاذبية البصرية في إنشاء الصور من النصوص. أما بالنسبة إلى نماذج الرؤية واللغة (VLMs)، فقد جمع RLHF-V تصحيحات بشرية على مستوى المقاطع للأوصاف الصورية المهلوسة، ودُرّب باستخدام صيغة كثيفة من DPO، ما خفّض معدل هلوسة النموذج الأساسي بنسبة 34.8% باستخدام 1400 عينة مشروحة فقط.

صيغ DPO المتنوعة#

• IPO (تحسين تفضيلات الهوية): يستبدل سيغمويد لوغاريتم الاحتمال بخسارة تربيعية نحو هامش ثابت، ما يمنع المكافآت الضمنية من النمو بلا حدود ويحدّ من فرط التخصيص عندما تفوز الإجابة نفسها دائمًا.
• KTO (تحسين Kahneman-Tversky): يتعلم من إجابات منفردة موسومة بأنها مرغوبة أو غير مرغوبة، فلا يحتاج إلى مقارنات مزدوجة.
• ORPO (تحسين تفضيلات نسبة الأرجحية): يستغني عن النموذج المرجعي ويضيف عقوبة نسبة الأرجحية إلى خسارة الضبط الدقيق الخاضع للإشراف، جامعًا ضبط التعليمات ومواءمة التفضيلات في مرحلة واحدة.
• SimPO (تحسين التفضيلات البسيط): يستخدم متوسط لوغاريتم احتمال الإجابة بعد تطبيعه بحسب الطول بوصفه مكافأتها، ويستغني عن النموذج المرجعي، ويتطلب هامشًا مستهدفًا بين مكافأتي الإجابة المختارة والمرفوضة.