YOLO'yu lisansla
Ultralytics Sözlüğüne dön

Reinforcement Learning with Verifiable Rewards (RLVR)

Doğrulanabilir ödüllerle pekiştirmeli öğrenme (RLVR), birim testlerini geçmek veya bilinen bir matematik yanıtıyla eşleşmek gibi otomatik denetimlerle modelleri eğitir.

Doğrulanabilir ödüllerle pekiştirmeli öğrenme (RLVR), büyük dil modellerini (LLM'ler) ve diğer üretken modelleri pekiştirmeli öğrenmeyle eğitmenin bir yoludur; ödül, her çıktıyı bilinen doğru bir sonuçla karşılaştıran bir programdan gelir. Matematik yanıtı ya referansla eşleşir ya da eşleşmez; oluşturulan kod da birim testlerini ya geçer ya da geçemez. Bu kontroller ucuz ve nesnel olduğundan RLVR binlerce eğitim adımı boyunca uygulanabilir ve yanıt vermeden önce uzun bir düşünce zinciri boyunca ilerleyen akıl yürütme modellerinin temel tekniklerinden biridir. AI2, yöntemi Kasım 2024'te yayımladığı Tülu 3 raporunda adlandırdı; DeepSeek-R1 ise Ocak 2025'te yöntemin geniş çapta dikkat çekmesini sağladı. R1-Zero modeli, önceden denetimli ince ayar yapılmadan, yalnızca kurala dayalı doğruluk ve biçim ödülleriyle güçlü adım adım akıl yürütme öğrendi.

RLVR Nasıl Çalışır#

Eğitim, önceden eğitilmiş ve genellikle talimatlarla ince ayar yapılmış bir modelle ve yanıtları bir program tarafından denetlenebilen bir istem kümesiyle başlar. Model her istem için birkaç yanıt örnekler, bir doğrulayıcı her yanıtı puanlar ve Proksimal Politika Optimizasyonu (PPO) veya Grup Göreli Politika Optimizasyonu (GRPO) gibi bir politika gradyanı algoritması, beklenenden iyi puan alan yanıtların olasılığını artırıp diğerlerininkini azaltır; GRPO'da bu, grubun ortalamasının üzerindeki yanıtlar anlamına gelir. Kırpma ve birçok tarifte KL cezası, güncellenen modeli başlangıçtaki haline yakın tutar. Modele hiçbir zaman çözümlü bir örnek gösterilmez; model yalnızca kendi denemelerinden hangilerinin başarılı olduğunu öğrenir. Böylece güçlendirdiği her akıl yürütme biçimini kendisi üretmiş olur.

Doğrulayıcı ve grup karşılaştırması birkaç satırla ifade edilebilir. Bu taslak, matematik için DeepSeek-R1'in zorunlu tuttuğu yanıt biçimi olan bir \boxed{} etiketinden son yanıtı çıkarıp tek bir matematik istemine örneklenen dört yanıtı puanlar, ardından GRPO'nun gruba göreli avantajlarını hesaplar:

import re

import numpy as np

reference = "42"  # eğitim isteminin bilinen yanıtı
completions = [  # aynı istem için örneklenmiş yanıt grubu
    "6 * 7 = 42, so the answer is \\boxed{42}",
    "Adding the terms gives \\boxed{41}",
    "The product is 42.",  # sayı doğru, ancak zorunlu biçimde son yanıt yok
    "Check: 7 * 6 = 42. \\boxed{42}",
]

# Doğrulayıcı: son kutulu yanıtı çıkar ve referansla karşılaştır
rewards = []
for text in completions:
    match = re.search(r"\\boxed\{([^}]*)\}", text)
    rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)

# GRPO tarzı avantajlar: her ödül, grup ortalamasına göre hesaplanır ve grup standart sapmasına bölünerek ölçeklenir
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))

[1. 0. 0. 1.] ödüllerini ve [ 1. -1. -1. 1.] avantajlarını yazdırır. Doğru iki yanıt pekiştirilirken üçüncü yanıt, 42'yi içermesine rağmen zorunlu biçimde son yanıt vermediği için geriletilir.

Bir Ödülü Doğrulanabilir Kılan Nedir#

Doğrulanabilir bir ödül için referans değer ve çıktıyı bu değerle karşılaştıran bir program gerekir. Yaygın doğrulayıcılar şunlardır:

  • Matematik yanıtları: Son yanıt ayrıştırılır ve 1/2 ile 0.5 gibi eşdeğer biçimler normalleştirildikten sonra referansla karşılaştırılır; Math-Verify gibi kitaplıklar bu işlemi gerçekleştirir.
  • Kod: Oluşturulan programlar bir sanal alanda birim testlerine tabi tutulur; ödül, testlerin geçilip geçilmediğine veya ne kadarının geçildiğine bağlıdır.
  • Talimatları izleme: Sözcük sınırı, zorunlu anahtar sözcükler veya geçerli JSON gibi bir programın sınayabileceği kısıtlamalar. Tülu 3, matematiğin yanı sıra bu tür kesin talimatları izleme görevlerine de RLVR uyguladı.
  • Biçim: Akıl yürütmeyi ve son yanıtı beklenen etiketlere yerleştirmek için verilen küçük bir ödül; DeepSeek-R1 bunu doğruluk ödülüyle birleştirdi.
  • Görsel görevler: Etiketlenmiş kutularla hesaplanan Kesişim-Birleşim Oranı, görsel temellendirme yanıtlarını puanlar; nesne algılayıcılar da oluşturulan görüntüleri denetler.

GenEval, oluşturulan bir görüntünün istemde belirtilen nesneleri, sayıları, renkleri ve konumları içerip içermediğini denetlemek için bir nesne algılayıcı kullanır. Flow-GRPO, Stable Diffusion 3.5 Medium'un GenEval doğruluğunu %63'ten %95'e çıkarmak için bu kurala dayalı puanları ödül olarak kullandı. Bir Ultralytics YOLO26 algılayıcısı da aynı türden bir denetleyici görevi görebilir; örneğin "otobüs durağında dört kişi" istemini bir sayma ödülüne dönüştürebilir:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])  # class 0 = person
n_found, n_requested = len(results[0].boxes), 4

# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")

RLVR, RLHF ve Süreç Ödülleri#

RLVR, geri bildirimi eğitim sinyaline dönüştürmenin diğer yollarıyla birlikte kullanılır:

  • İnsan geri bildiriminden pekiştirmeli öğrenme (RLHF): İnsanların tercih karşılaştırmalarından öğrenen bir ödül modeli, çıktıları puanlar. Üslup ve faydalılık gibi öznel nitelikleri kapsar; ancak öğrenilmiş bir puanlayıcının politikanın istismar edebileceği kör noktaları vardır. DeepSeek-R1 bu nedenle akıl yürütme için sinir ağı ödül modellerinden kaçındı. Son eğitim aşamasında ise akıl yürütme istemleri için kurala dayalı ödülleri, genel istemler için öğrenilmiş ödül modelleriyle birleştirdi.
  • Süreç ödül modelleri (PRM'ler): Bunlar, akıl yürütmenin her ara adımını puanlar. RLVR genellikle yalnızca nihai sonucu ödüllendirir; bu, elde etmesi daha ucuz ve istismar etmesi daha zor bir yaklaşımdır.
  • Doğrudan Tercih Optimizasyonu (DPO): DPO, eğitim sırasında örnekleme veya doğrulayıcı kullanmadan sabitlenmiş tercih edilen ve reddedilen yanıt çiftlerinden çevrimdışı öğrenir.

Eğitim hatları çoğu zaman ödül kaynağını her istem için ayrı seçer; denetleyici veya insan etiketleri olmadığında Anayasal Yapay Zekâ tarzında yapay zekâ geri bildirimine başvurur:

Güçlü Yönler ve Sınırlamalar#

Ödül için insan müdahalesi gerekmediğinden RLVR, hesaplama gücü ve denetlenebilir problemler sağlandıkça ölçeklenir; ayrıca kimsenin önceden yazmadığı davranışlar ortaya çıkarır: DeepSeek-R1-Zero'nun yanıtları eğitim sırasında giderek uzadı, çünkü model kendi çalışmalarını yeniden kontrol edip gözden geçirmeyi öğrendi. Hugging Face'in TRL GRPO eğiticisi gibi kitaplıklar özel bir ödül işlevini kabul eder; böylece yukarıdakilere benzer her türlü doğrulayıcı doğrudan kullanılabilir.

Yöntem yalnızca yanıtları denetlenebilir görevlere uygulanabilir; zayıf bir doğrulayıcı ödül hilesine davetiye çıkarır: testleri geçmesi için ödüllendirilen bir kodlama modeli, kodu düzeltmek yerine özel durumlar eklemeyi veya testleri değiştirmeyi öğrenebilir. Araştırmacılar, RLVR'ın ne kattığı konusunda da farklı görüşlere sahip. RLVR ile eğitilmiş modellerin 2025 tarihli bir çalışması, problem başına tek denemede bu modellerin temel modellerinden daha iyi olduğunu, ancak çok sayıda denemeye izin verildiğinde temel modellerin daha fazla problemi çözdüğünü buldu. Bu sonuç, RLVR'ın temel modelin zaten üretebildiği çözümlere daha fazla olasılık ayırdığına işaret ediyor. Daha sonraki bir makale, bir örneği yalnızca hem yanıtı hem de akıl yürütme zinciri doğruysa doğru saydı. Bu CoT-Pass@K ölçütüne göre RLVR ile eğitilmiş Qwen2.5-32B, AIME 2024 ve AIME 2025'te K değeri 1.024'e kadar her düzeyde temel modelinin önünde kaldı.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla