Reward Modeling

Ödül modellemesi, bir ödül modeli adı verilen sinir ağını, insanların değerlendireceği şekilde bir yapay zekâ sisteminin çıktılarına puan verecek biçimde eğitme uygulamasıdır. Standart pekiştirmeli öğrenmede ortam, örneğin bir oyun puanı gibi bir ödül sağlar. Pek çok hedefin böyle bir puanı yoktur: yararlı bir yanıt, iyi düzenlenmiş bir görüntü veya bir bardağı nazikçe uzatan bir robotu değerlendirmek kolay, kodla tanımlamak ise zordur. Bir ödül modeli bu değerlendirmeyi insan geri bildirimlerinden, genellikle iki çıktı arasındaki karşılaştırmalardan öğrenir; ardından yeni çıktılara insanların yapabileceğinden çok daha hızlı ve tutarlı biçimde otomatik olarak puan verir. Ödül modelleri, insan geri bildiriminden pekiştirmeli öğrenmeyi (RLHF) mümkün kılan bileşendir; ayrıca aday yanıtları yeniden sıralamak, eğitim verilerini filtrelemek ve modelleri değerlendirmek için de kullanılır.

Ödül Modeli Nasıl Eğitilir#

Eğitim verileri karşılaştırmalardan oluşur. İnsanlar bir istemi ve modelden gelen iki veya daha fazla yanıtı görüp daha iyi olanı seçer; OpenAI'nin InstructGPT çalışmasında etiketleyiciler her istem için 4 ila 9 yanıtı sıraladı ve her sıralamadaki yanıt çifti bir eğitim karşılaştırmasına dönüştü. Mutlak puanlar yerine sıralama kullanılır; çünkü insanlar, iki yanıttan hangisinin daha iyi olduğu konusunda, bir yanıtın 10 üzerinden 6 mı yoksa 7 mi hak ettiği konusunda olduklarından çok daha fazla uzlaşır.

Ödül modeli genellikle önceden eğitilmiş bir büyük dil modelidir (LLM); çoğu zaman hizalanan modelin kendisidir ve çıkış katmanı, son gömme vektörünü tek bir sayıya dönüştüren doğrusal bir başlıkla değiştirilir. Eğitimde ikili karşılaştırmalar için Bradley-Terry modeli kullanılır. Bu modele göre, insanların A yanıtını B yanıtına tercih etme olasılığı, ödülleri arasındaki farkın sigmoid fonksiyonundan geçirilmiş değeridir. Kayıp, insanların gerçekten seçtiği yanıtın bu olasılığının negatif logaritmasıdır. Bu PyTorch örneği, benzetilmiş 2.000 karşılaştırma üzerinde doğrusal bir ödül başlığını eğitir:

import torch
import torch.nn.functional as F

torch.manual_seed(0)
# 2,000 preference pairs: embeddings of two responses to the same prompt
# Simulated raters prefer the response with higher hidden quality, with some noise
hidden_quality = torch.randn(64)
a, b = torch.randn(2000, 64), torch.randn(2000, 64)
a_wins = (a @ hidden_quality + torch.randn(2000) * 2 > b @ hidden_quality).unsqueeze(1)
chosen, rejected = torch.where(a_wins, a, b), torch.where(a_wins, b, a)

# Reward model: a linear head mapping a response embedding to one scalar score
reward_model = torch.nn.Linear(64, 1)
optimizer = torch.optim.Adam(reward_model.parameters(), lr=0.01)
train, test = slice(0, 1500), slice(1500, 2000)
for step in range(300):
    # Bradley-Terry loss: maximize the probability that the chosen response scores higher
    margin = reward_model(chosen[train]) - reward_model(rejected[train])
    loss = -F.logsigmoid(margin).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

accuracy = (reward_model(chosen[test]) > reward_model(rejected[test])).float().mean()
print(f"Held-out pairs ranked like the raters: {accuracy:.1%}")

94.8% çıktısını yazdırır. Gürültülü benzetim değerlendiricileri, ayrılmış çiftlerin yaklaşık %5'inde gürültüsüz kalite sıralamasıyla çelişir; dolayısıyla ödül modeli, tek bir mutlak puan bile görmemiş olsa da etiketlerin izin verdiği ölçüde tercihi öğrenmiştir. Ayrılmış karşılaştırmalardaki ikili doğruluk, gerçek ödül modellerini karşılaştırmak için de kullanılır; örneğin RewardBench kıyaslama testinde. Kayıp yalnızca ödüller arasındaki farklara bağlı olduğundan puanların ölçeği keyfidir ve işlem hatları pekiştirmeli öğrenme öncesinde puanları çoğunlukla normalleştirir.

Ödül Modeli Türleri#

• Sonuç ödülü modelleri: Pekiştirmeli öğrenme insan geri bildirimiyle (RLHF) uygulamalarında standart tercih olan, tamamlanmış bir yanıtı veya bölümü puanlar.
• Süreç ödülü modelleri: Bir çözümün her ara adımını puanlar. OpenAI'nin PRM800K veri kümesi, matematik çözümlerindeki adımlar için insanlar tarafından verilmiş 800.000 etiket içerir.
• Üretken ödül modelleri: Hakem olarak çalışan bir LLM eleştiri veya karar yazar; böylece tek bir model pek çok görev türünü değerlendirebilir ve verdiği puanları açıklayabilir.
• Örtük ödül modelleri: Doğrudan Tercih Optimizasyonu (DPO), politikayı doğrudan tercih çiftleri üzerinde eğitir; politikanın referans modele göre log-olasılık oranı da ödül işlevi görür.
• Görüntü ödül modelleri: ImageReward, üretilen görüntüler üzerinde uzmanların yaptığı 137.000 karşılaştırmayla eğitildi ve metinden görüntü üreten modelleri istemlere sadık, çekici sonuçlar verecek biçimde ince ayarlamak için kullanılıyor.

Robot öğrenmesi aynı fikri görüntü modelleriyle kullanır. İnsanların başarılı veya başarısız denemeler olarak etiketlediği kamera kareleriyle eğitilmiş bir görüntü sınıflandırıcı, örneğin dik duran veya devrilen bir bardak görüntüsünden başarı olasılığını üretir; bu olasılık, öğrenen bir politika için ödül görevi görür. Bu tür karelerle sınıflandırma görevi üzerinde eğitilmiş bir Ultralytics YOLO26 modeli de aynı rolü üstlenir ve bir denemenin her karesine milisaniyeler içinde puan verir.

Ödül Modelinin Doğruluğunu Korumak#

Bir ödül modeli yalnızca eğitim verilerine benzeyen çıktılarda doğrudur. Politika geliştikçe ödül modelinin daha önce hiç görmediği yanıtlar üretir; bu nedenle Meta'nın Llama 2 ekibi, en yeni modelin çıktıları üzerinde yeni karşılaştırmalar topladı ve her yeni pekiştirmeli öğrenme turundan önce ödül modelini yeniden eğitti:

Öğrenilmiş herhangi bir ödüle karşı aşırı optimizasyon yapmak ödül hilesine yol açar. OpenAI'nin ödül modeli aşırı optimizasyonu üzerine çalışması, insan değerlendiriciler yerine büyük bir "altın" ödül modeli kullandı ve politika daha küçük bir vekil ödül modeline göre optimize edilirken altın puanın önce yükselip sonra düştüğünü, vekil puanın ise artmaya devam ettiğini; vekil model büyüdükçe bu etkinin düzgün biçimde azaldığını buldu. Ödül modelleri ayrıca daha uzun veya daha uzlaşmacı yanıtları tercih etmek gibi değerlendirici önyargılarını da öğrenir; pekiştirmeli öğrenme bunları ayrıntıcı anlatıma ve yağcılığa dönüştürerek güçlendirir. Özgün modele yönelen bir KL cezası, ödül modeli toplulukları ve yeni karşılaştırmalarla düzenli yeniden eğitim, zararı sınırlar.

Ödül Modellemesi ve İlgili Terimler#

• RLHF: Denetimli ince ayar, insan karşılaştırmalarından ödül modelleme ve pekiştirmeli öğrenme optimizasyonundan oluşan tüm işlem hattıdır. Ödül modelleme, bu hattın ikinci aşamasıdır.
• Ödül işlevi: Bir hedefe ulaşmak için +1 vermek gibi elle yazılmış bir ödüldür. İşlevi yazabilecek kimse olmadığında ödül modeli verilerden öğrenilir.
• Doğrulanabilir ödüller: Bir program, yanıtı birim testi veya referans matematik sonucu gibi bilinen bir çözümle karşılaştırır. Bu ödülleri kullanmak, öğrenilmiş bir modeli kandırmaktan daha zordur; ancak yalnızca yanıtların doğrulanabildiği yerlerde işe yarar.
• Ters pekiştirmeli öğrenme: Görevin uzman gösterimlerinden bir ödül işlevi çıkarır; RLHF için ödül modelleme ise insanların sistemin kendi çıktıları hakkındaki karşılaştırmalarından öğrenir.