Reinforcement Learning from Human Feedback (RLHF)

İnsan geri bildiriminden pekiştirmeli öğrenme (RLHF), el yazımı bir hedef yerine insanların model çıktıları hakkındaki yargılarını kullanarak bir yapay zekâ modelini geliştiren bir eğitim yöntemidir. İnsan değerlendiriciler model yanıtı çiftlerini veya kümelerini karşılaştırır; bir ödül modeli, hangi yanıtı tercih edeceklerini tahmin etmeyi öğrenir ve ardından pekiştirmeli öğrenme, özgün modeli ince ayarlayarak ödül modelinin yüksek puan verdiği yanıtları üretmesini sağlar. Yardımseverlik, dürüstlük ve üslup gibi nitelikleri insanların tanıması kolay, bunları bir kayıp fonksiyonu olarak yazması ise neredeyse imkânsız olduğundan RLHF kullanılır. Christiano ve diğerleri, 2017'de yaklaşık bir saatlik insan karşılaştırmalarından Atari oyunlarında ve robot simülatörlerinde yeni davranışlar öğrenen ajanlar eğitmek için bu yöntemi kullandı. OpenAI'nin InstructGPT ve ChatGPT'sinin 2022'de yayımlanmasının ardından RLHF, büyük dil modelleri (LLM'ler) ve diğer üretken yapay zekâ sistemleri için standart son aşama hâline geldi.

RLHF Nasıl Çalışır#

InstructGPT makalesinde açıklanan klasik tarif üç aşamadan oluşur:

1. Denetimli ince ayar (SFT): Önceden eğitilmiş temel model, örnek istemlere verilen iyi yanıtlar gibi insanlar tarafından yazılmış gösterimler üzerinde ince ayarlanır; böylece beklenen biçimi ve üslubu öğrenir.
2. Ödül modeli eğitimi: SFT modeli her istem için birkaç yanıt üretir ve etiketleyiciler bu yanıtları sıralar. InstructGPT'nin yaklaşık 40 yüklenicisi, her istem için 4 ila 9 yanıtı sıraladı. Modelin tek bir skaler çıktı üreten bir kopyası, tercih edilen yanıtlara reddedilenlerden daha yüksek puan vermek üzere eğitilir.
3. Pekiştirmeli öğrenme: SFT modeli bir politika hâline gelir ve ödül modelinin puanını en üst düzeye çıkarmak için Proximal Policy Optimization (PPO) ile optimize edilir; SFT modelinden KL ıraksamasına orantılı bir ceza çıkarılır. Bu ceza, politikayı ödül modelinin gördüğü akıcı metinlere yakın tutar ve ödül modelinin tesadüfen fazla yüksek puan verdiği tuhaf çıktılara doğru sapmasını önler.

Genellikle β ile gösterilen KL katsayısı, politikanın ne kadar değişebileceğini belirler. KL düzenlemeli amaç fonksiyonunun tam bir optimumu vardır: referans olasılıkların, ödülün β'ye bölümünün üstel değeriyle yeniden ağırlıklandırılmış hâli. Bu NumPy örneği, dört aday yanıt için bu değeri hesaplar:

import numpy as np

# Four candidate responses: probability under the fine-tuned reference model and reward-model score
reference = np.array([0.50, 0.30, 0.15, 0.05])
reward = np.array([0.0, 1.0, 2.0, 4.0])

for beta in [10.0, 1.0, 0.1]:
    # Optimal policy for "maximize expected reward - beta * KL(policy || reference)"
    policy = reference * np.exp(reward / beta)
    policy /= policy.sum()
    kl = (policy * np.log(policy / reference)).sum()
    print(f"beta={beta:>4}: policy={policy.round(2)}, expected reward={policy @ reward:.2f}, KL={kl:.2f}")

β = 10'da referansa neredeyse eşdeğer olan [0.46 0.3 0.17 0.07] politikasını ve β = 0.1'de [0. 0. 0. 1.] politikasını yazdırır. İkinci durumda tüm olasılık, referans modelin yalnızca %5 olasılık verdiği yanıta kayar ve KL 3.00 olur. Küçük bir β en yüksek ödül modeli puanını sağlar; ödül modeli bu nadir yanıta gereğinden yüksek puan verirse politika insanları memnun etmek yerine bir hatayı kullanmayı öğrenmiş olur. Direct Preference Optimization (DPO), ayrı bir ödül modeli veya RL döngüsü kullanmadan tercih çiftleri üzerinde doğrudan eğitim yapmak için aynı kapalı biçimli optimumdan yararlanır.

RLHF Nerelerde Kullanılır#

• Sohbet asistanları: InstructGPT etiketleyicileri, 1,3 milyar parametreli RLHF modelinin çıktılarını 175 milyar parametreli GPT-3'ün çıktılarından daha çok tercih etti. Meta'nın Llama 2 sohbet modelleri, biri yardımseverlik, diğeri güvenlik için olmak üzere iki ayrı ödül modeline göre ayarlandı.
• Özetleme: OpenAI'nin 2020'de insan geri bildirimiyle eğittiği özetleme modelleri, değerlendiricilerin veri kümelerindeki insanlar tarafından yazılmış referans özetlere kıyasla daha çok tercih ettiği özetler üretti.
• Görüntü üretimi: Üretilen görüntülere ilişkin insan puanlarıyla eğitilen ödül modelleri, metinden görüntüye modelleri istemlere daha sadık ve insanların daha çekici bulduğu görüntüler üretmeleri için ince ayarlamakta kullanılır.
• Robotik ve kontrol: Doğal görünen bir yürüyüş veya kalabalıkta güvenli bir rota gibi, başarısı kolayca değerlendirilebilen ama tanımlanması zor görevlerde insanlar ödül fonksiyonu yazmak yerine robotun denemelerine ait kısa video klipleri karşılaştırır.

Büyük sağlayıcıların görsel-dil modelleri, metin sohbet robotlarıyla aynı tercih ayarlarından geçirilir. Ultralytics Platform Agents içinde bir Ultralytics YOLO26 algılayıcı, hangi görüntülerin daha yakından incelenmesi gerektiğine karar verir; Platform model listesi içindeki Google Gemini gibi bu modellerden biri de iş akışının istemini izleyerek görüntüleri açıklar.

Sınırlamalar#

İnsan tercihlerine dayalı veri etiketleme yavaş ve maliyetlidir; ayrıca değerlendiriciler birbiriyle aynı fikirde olmayabilir. Bu yüzden ödül modeli, değerlendiricilerin kör noktalarıyla birlikte tercih ortalamalarını da öğrenir. Değerlendiriciler kendinden emin ve uzlaşmacı yanıtları da ödüllendirir: Beş asistanı inceleyen bir Anthropic çalışması, insan tercih verilerinin kullanıcının belirttiği görüşlerle örtüşen yanıtları desteklediğini ortaya koydu; bu, yapay zekâda dalkavukluğun kaynaklarından biridir. Öğrenilmiş herhangi bir ödüle karşı aşırı optimizasyon sonunda, ödül modeli puanının yükselmeye devam ederken gerçek kalitenin düştüğü ödül hilesine yol açar.

RLHF ve İlgili Yöntemler#

• Standart pekiştirmeli öğrenme: Ortam, oyun puanı gibi sabit bir ödül sağlar. Hiçbir sabit ödül hedefi tam olarak karşılamadığında RLHF ödülü insan yargılarından öğrenir.
• Ödül modelleme: Ödül modeli, RLHF'nin bileşenlerinden biridir; insan sıralamalarını RL algoritmasının optimize edebileceği bir puana dönüştüren ağdır.
• Anayasal yapay zekâ: İnsanlar yerine yazılı ilkeler doğrultusunda bir yapay zekâ modeli tercih etiketleri üretir; bu yaklaşım, yapay zekâ geri bildiriminden pekiştirmeli öğrenme (RLAIF) olarak adlandırılan bir çeşittir.
• Doğrulanabilir ödüllerle pekiştirmeli öğrenme (RLVR): Bir program, matematik sonucu veya birim testi gibi her yanıtı denetleyerek ödül sağlar. Genellikle Group Relative Policy Optimization (GRPO) ile uygulanan RLVR, akıl yürütme modellerini eğitir. Modern eğitim sonrası işlem hatları her iki yöntemi de kullanır: denetleyici mevcut olduğunda doğrulanabilir ödüller, açık uçlu istemlerde ise RLHF tarzı ödül modelleri.