Reinforcement Learning with Verifiable Rewards (RLVR)

Doğrulanabilir Ödüllerle Pekiştirmeli Öğrenme (RLVR), yapay zeka (AI) modellerinin muhakeme ve problem çözme yeteneklerini geliştirmek için kullanılan gelişmiş bir eğitim paradigmasıdır. İnsan tarafından açıklanmış tercih verilerine dayanan geleneksel eğitim yöntemlerinin aksine RLVR, bir modelin çıktısını değerlendirmek için deterministik, kural tabanlı sistemlerden yararlanır. Üretilen bir kod parçasının derlenmesi veya matematiksel bir denklemin doğru çözülmesi gibi nesnel ve ikili bir ödül sunan RLVR, modellerin sınırsız keşif yoluyla öğrenmesini sağlar. Bu nesnel geri bildirim döngüsü, sürekli insan müdahalesi olmadan en uygun ve karmaşık mantık yollarını keşfetmelerini sağlayarak yüksek yetenekli muhakeme modellerindeki son dönem atılımlarının arkasındaki temel itici güçtür.

Link to this sectionRLVR'nin Temel İlkeleri#

Standart makine öğrenimi (ML) ortamlarında bir AI ajanı, bir ödül sinyalini maksimize ederek öğrenir. RLVR'de bu ödül sinyali, öznel insan yargısından ziyade katı bir programlama sistemi tarafından üretilir. Öğrenme süreci birkaç temel adıma dayanır:

• Keşif Stratejisi: Model, karmaşık görevleri parçalara ayırmak için genellikle düşünce zinciri (chain-of-thought) istemlerini kullanarak, belirli bir istem için birden fazla olası çözüm veya muhakeme yolu üretir.
• Deterministik Doğrulama: Bir Python derleyicisi, hesap makinesi veya bir bilgisayarlı görü (CV) algılama sistemi gibi harici bir araç, nihai çıktıyı nesnel başarı kriterlerine göre kontrol eder.
• Politika Optimizasyonu: Çıktı doğrulanabilir şekilde doğruysa, model olumlu bir ödül alır. Modelin politikası daha sonra başarılı muhakeme yollarını desteklemek için Group Relative Policy Optimization (GRPO) veya Proximal Policy Optimization (PPO) gibi optimizasyon algoritmaları kullanılarak güncellenir.

Bu yaklaşım, modelin eğitim sırasındaki çıkarım gecikmesi verimliliğini önemli ölçüde artırır ve ortaya çıkan muhakeme yeteneklerini destekler; bu teknik yakın zamanda DeepSeek-R1 gibi yüksek yetenekli modelleri eğitmek için kullanılmıştır.

Link to this sectionRLVR ile RLHF ve PRM Karşılaştırması#

RLVR'yi AI ekosistemindeki diğer hizalama ve eğitim paradigmalarından ayırmak önemlidir:

• RLHF ile karşılaştırma: RLHF, öznel insan tercihleri üzerine eğitilmiş, öğrenilmiş bir ödül modelleme sistemine dayanır. RLVR, yalnızca nesnel ve programatik gerçeklere güvenerek insan odaklı darboğazı ortadan kaldırır ve kesin doğru veya yanlış yanıtları olan görevler için oldukça ölçeklenebilir hale getirir.
• PRM ile karşılaştırma: PRM'ler, bir modelin muhakeme süreci boyunca adım adım ayrıntılı geri bildirim sağlarken, RLVR genellikle sürecin sonundaki doğrulanabilir sonuca odaklanır. Ancak 2025 tarihli güncel araştırmalar, RLVR'de nihai doğrulanabilir bir ödül için optimize etmenin, dolaylı olarak doğru ara muhakeme adımlarını da teşvik ettiğini göstermektedir.

Link to this sectionGerçek Dünya Uygulamaları#

RLVR, çeşitli deterministik alanlarda karmaşık AI sistemlerinin eğitilme biçimini dönüştürüyor:

• Matematiksel Muhakeme: OpenAI o-serisi gibi büyük muhakeme modelleri, karmaşık matematik teoremlerini çözmek için RLVR'den yararlanır. Doğrulayıcı, modelin türettiği yanıtın doğru olup olmadığını kesin olarak kanıtlayan bir motor görevi görür ve kıyaslama veri kümesi performansını önemli ölçüde artırır.
• Yazılım Mühendisliği ve Kod Oluşturma: AI kodlama asistanları, kod yazmak, hata ayıklamak ve optimize etmek için RLVR kullanır. Doğrulanabilir ödül, üretilen kod başarıyla derlendiğinde ve bir dizi otomatik birim testinden geçtiğinde elde edilir.
• Otonom Görü Ajanları: Fiziksel ortamlarda, otonom ajanlar hedef bir noktaya ulaştıklarında veya bir nesneyi başarıyla yönettiklerinde doğrulanabilir ödüller alırlar. Görü modelleri bu alanlarda doğrulanabilir koşul denetleyicisi olarak hareket eder.

Link to this sectionGörü AI'da Doğrulanabilir Bir Ödül Uygulama#

Fiziksel ve görsel ortamlarda, Ultralytics YOLO26 gibi algılama modelleri bir RLVR döngüsünde programatik doğrulayıcı olarak hizmet verebilir. Örneğin, bir AI ajanının hedefi bir nesneyi belirli bir bölgeye taşımaksa, YOLO modeli nesnenin o bölgedeki varlığını tespit ederek başarıyı doğrulayabilir.

Aşağıdaki Python kod parçası, ultralytics paketini kullanan kavramsal bir programatik doğrulayıcıyı göstermektedir.

from ultralytics import YOLO

# Load a YOLO26 model to act as the programmatic verifier
verifier_model = YOLO("yolo26n.pt")


def get_verifiable_reward(image_path: str, target_class: int) -> float:
    """Returns a verifiable reward of 1.0 if the target object is detected."""
    results = verifier_model(image_path)

    # Check if the desired class (e.g., 0 for 'person') exists in the detections
    detected_classes = results[0].boxes.cls.tolist()
    if target_class in detected_classes:
        return 1.0  # Verifiable success
    return 0.0  # Verifiable failure


# Simulate an agent's environment state check
reward = get_verifiable_reward("https://ultralytics.com/images/bus.jpg", target_class=0)
print(f"RLVR Reward Signal: {reward}")

Bu algılama doğrulayıcılarını dağıtmak için Ultralytics Platform gibi bulut platformlarından yararlanan geliştiriciler, yeni nesil otonom ve muhakeme ajanlarını eğiten güçlü, ölçeklenebilir RLVR hatları oluşturabilirler.