Reinforcement Learning with Verifiable Rewards (RLVR)
Doğrulanabilir ödüllerle pekiştirmeli öğrenme (RLVR), birim testlerini geçmek veya bilinen bir matematik yanıtıyla eşleşmek gibi otomatik denetimlerle modelleri eğitir.
Doğrulanabilir ödüllerle pekiştirmeli öğrenme (RLVR), büyük dil modellerini (LLM'ler) ve diğer üretken modelleri pekiştirmeli öğrenmeyle eğitmenin bir yoludur; ödül, her çıktıyı bilinen doğru bir sonuçla karşılaştıran bir programdan gelir. Matematik yanıtı ya referansla eşleşir ya da eşleşmez; oluşturulan kod da birim testlerini ya geçer ya da geçemez. Bu kontroller ucuz ve nesnel olduğundan RLVR binlerce eğitim adımı boyunca uygulanabilir ve yanıt vermeden önce uzun bir düşünce zinciri boyunca ilerleyen akıl yürütme modellerinin temel tekniklerinden biridir. AI2, yöntemi Kasım 2024'te yayımladığı Tülu 3 raporunda adlandırdı; DeepSeek-R1 ise Ocak 2025'te yöntemin geniş çapta dikkat çekmesini sağladı. R1-Zero modeli, önceden denetimli ince ayar yapılmadan, yalnızca kurala dayalı doğruluk ve biçim ödülleriyle güçlü adım adım akıl yürütme öğrendi.
RLVR Nasıl Çalışır#
Eğitim, önceden eğitilmiş ve genellikle talimatlarla ince ayar yapılmış bir modelle ve yanıtları bir program tarafından denetlenebilen bir istem kümesiyle başlar. Model her istem için birkaç yanıt örnekler, bir doğrulayıcı her yanıtı puanlar ve Proksimal Politika Optimizasyonu (PPO) veya Grup Göreli Politika Optimizasyonu (GRPO) gibi bir politika gradyanı algoritması, beklenenden iyi puan alan yanıtların olasılığını artırıp diğerlerininkini azaltır; GRPO'da bu, grubun ortalamasının üzerindeki yanıtlar anlamına gelir. Kırpma ve birçok tarifte KL cezası, güncellenen modeli başlangıçtaki haline yakın tutar. Modele hiçbir zaman çözümlü bir örnek gösterilmez; model yalnızca kendi denemelerinden hangilerinin başarılı olduğunu öğrenir. Böylece güçlendirdiği her akıl yürütme biçimini kendisi üretmiş olur.
Doğrulayıcı ve grup karşılaştırması birkaç satırla ifade edilebilir. Bu taslak, matematik için DeepSeek-R1'in zorunlu tuttuğu yanıt biçimi olan bir \boxed{} etiketinden son yanıtı çıkarıp tek bir matematik istemine örneklenen dört yanıtı puanlar, ardından GRPO'nun gruba göreli avantajlarını hesaplar:
import re
import numpy as np
reference = "42" # eğitim isteminin bilinen yanıtı
completions = [ # aynı istem için örneklenmiş yanıt grubu
"6 * 7 = 42, so the answer is \\boxed{42}",
"Adding the terms gives \\boxed{41}",
"The product is 42.", # sayı doğru, ancak zorunlu biçimde son yanıt yok
"Check: 7 * 6 = 42. \\boxed{42}",
]
# Doğrulayıcı: son kutulu yanıtı çıkar ve referansla karşılaştır
rewards = []
for text in completions:
match = re.search(r"\\boxed\{([^}]*)\}", text)
rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)
# GRPO tarzı avantajlar: her ödül, grup ortalamasına göre hesaplanır ve grup standart sapmasına bölünerek ölçeklenir
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))[1. 0. 0. 1.] ödüllerini ve [ 1. -1. -1. 1.] avantajlarını yazdırır. Doğru iki yanıt pekiştirilirken üçüncü yanıt, 42'yi içermesine rağmen zorunlu biçimde son yanıt vermediği için geriletilir.
Bir Ödülü Doğrulanabilir Kılan Nedir#
Doğrulanabilir bir ödül için referans değer ve çıktıyı bu değerle karşılaştıran bir program gerekir. Yaygın doğrulayıcılar şunlardır:
- Matematik yanıtları: Son yanıt ayrıştırılır ve
1/2ile0.5gibi eşdeğer biçimler normalleştirildikten sonra referansla karşılaştırılır; Math-Verify gibi kitaplıklar bu işlemi gerçekleştirir. - Kod: Oluşturulan programlar bir sanal alanda birim testlerine tabi tutulur; ödül, testlerin geçilip geçilmediğine veya ne kadarının geçildiğine bağlıdır.
- Talimatları izleme: Sözcük sınırı, zorunlu anahtar sözcükler veya geçerli JSON gibi bir programın sınayabileceği kısıtlamalar. Tülu 3, matematiğin yanı sıra bu tür kesin talimatları izleme görevlerine de RLVR uyguladı.
- Biçim: Akıl yürütmeyi ve son yanıtı beklenen etiketlere yerleştirmek için verilen küçük bir ödül; DeepSeek-R1 bunu doğruluk ödülüyle birleştirdi.
- Görsel görevler: Etiketlenmiş kutularla hesaplanan Kesişim-Birleşim Oranı, görsel temellendirme yanıtlarını puanlar; nesne algılayıcılar da oluşturulan görüntüleri denetler.
GenEval, oluşturulan bir görüntünün istemde belirtilen nesneleri, sayıları, renkleri ve konumları içerip içermediğini denetlemek için bir nesne algılayıcı kullanır. Flow-GRPO, Stable Diffusion 3.5 Medium'un GenEval doğruluğunu %63'ten %95'e çıkarmak için bu kurala dayalı puanları ödül olarak kullandı. Bir Ultralytics YOLO26 algılayıcısı da aynı türden bir denetleyici görevi görebilir; örneğin "otobüs durağında dört kişi" istemini bir sayma ödülüne dönüştürebilir:
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0]) # class 0 = person
n_found, n_requested = len(results[0].boxes), 4
# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")RLVR, RLHF ve Süreç Ödülleri#
RLVR, geri bildirimi eğitim sinyaline dönüştürmenin diğer yollarıyla birlikte kullanılır:
- İnsan geri bildiriminden pekiştirmeli öğrenme (RLHF): İnsanların tercih karşılaştırmalarından öğrenen bir ödül modeli, çıktıları puanlar. Üslup ve faydalılık gibi öznel nitelikleri kapsar; ancak öğrenilmiş bir puanlayıcının politikanın istismar edebileceği kör noktaları vardır. DeepSeek-R1 bu nedenle akıl yürütme için sinir ağı ödül modellerinden kaçındı. Son eğitim aşamasında ise akıl yürütme istemleri için kurala dayalı ödülleri, genel istemler için öğrenilmiş ödül modelleriyle birleştirdi.
- Süreç ödül modelleri (PRM'ler): Bunlar, akıl yürütmenin her ara adımını puanlar. RLVR genellikle yalnızca nihai sonucu ödüllendirir; bu, elde etmesi daha ucuz ve istismar etmesi daha zor bir yaklaşımdır.
- Doğrudan Tercih Optimizasyonu (DPO): DPO, eğitim sırasında örnekleme veya doğrulayıcı kullanmadan sabitlenmiş tercih edilen ve reddedilen yanıt çiftlerinden çevrimdışı öğrenir.
Eğitim hatları çoğu zaman ödül kaynağını her istem için ayrı seçer; denetleyici veya insan etiketleri olmadığında Anayasal Yapay Zekâ tarzında yapay zekâ geri bildirimine başvurur:
Güçlü Yönler ve Sınırlamalar#
Ödül için insan müdahalesi gerekmediğinden RLVR, hesaplama gücü ve denetlenebilir problemler sağlandıkça ölçeklenir; ayrıca kimsenin önceden yazmadığı davranışlar ortaya çıkarır: DeepSeek-R1-Zero'nun yanıtları eğitim sırasında giderek uzadı, çünkü model kendi çalışmalarını yeniden kontrol edip gözden geçirmeyi öğrendi. Hugging Face'in TRL GRPO eğiticisi gibi kitaplıklar özel bir ödül işlevini kabul eder; böylece yukarıdakilere benzer her türlü doğrulayıcı doğrudan kullanılabilir.
Yöntem yalnızca yanıtları denetlenebilir görevlere uygulanabilir; zayıf bir doğrulayıcı ödül hilesine davetiye çıkarır: testleri geçmesi için ödüllendirilen bir kodlama modeli, kodu düzeltmek yerine özel durumlar eklemeyi veya testleri değiştirmeyi öğrenebilir. Araştırmacılar, RLVR'ın ne kattığı konusunda da farklı görüşlere sahip. RLVR ile eğitilmiş modellerin 2025 tarihli bir çalışması, problem başına tek denemede bu modellerin temel modellerinden daha iyi olduğunu, ancak çok sayıda denemeye izin verildiğinde temel modellerin daha fazla problemi çözdüğünü buldu. Bu sonuç, RLVR'ın temel modelin zaten üretebildiği çözümlere daha fazla olasılık ayırdığına işaret ediyor. Daha sonraki bir makale, bir örneği yalnızca hem yanıtı hem de akıl yürütme zinciri doğruysa doğru saydı. Bu CoT-Pass@K ölçütüne göre RLVR ile eğitilmiş Qwen2.5-32B, AIME 2024 ve AIME 2025'te K değeri 1.024'e kadar her düzeyde temel modelinin önünde kaldı.










