Process Reward Model (PRM)

Süreç ödül modeli (PRM), genellikle bir adımın doğru olma olasılığını vererek çözümün her ara adımını puanlayan bir ödül modelidir; yalnızca son yanıtı puanlamaz. Sonuç ödül modeli (ORM), bütün bir çözümü sonucuna göre değerlendirir. Bu nedenle yanlış adımlarla ulaşılan doğru bir yanıtı ödüllendirebilir ve yanlış bir çözümün nerede yoldan çıktığına dair sinyal vermez. PRM'ler, büyük dil modellerinin (LLMs) ve akıl yürütme modellerinin aday çözümlerini çıkarım sırasında sıralayıp yönlendirir ve pekiştirmeli öğrenme için adım düzeyinde ödüller sağlar. DeepMind araştırmacıları 2022'de ilkokul düzeyinde matematik problemlerinde iki tür denetimi karşılaştırdı: Sonuç tabanlı geri bildirim daha az etiketlemeyle benzer bir nihai yanıt hata oranına ulaştı; ancak doğru yanıt içeren çözümlerdeki akıl yürütme hatalarını %14,0'tan %3,4'e düşürmek için süreç tabanlı geri bildirim gerekti.

Adım Adım Doğrulayalım#

OpenAI'nin 2023 tarihli Adım Adım Doğrulayalım makalesi PRM'leri geniş kitlelere tanıttı. İnsan etiketleyiciler, MATH yarışması veri kümesindeki 12.000 problem için 75.000 çözümün yaklaşık 800.000 adımını olumlu, olumsuz veya nötr olarak etiketledi; OpenAI etiketleri PRM800K adıyla yayımladı. GPT-4 tabanlı bir üreticiden örneklenen 1.860 çözüm arasından en iyisini seçen PRM, MATH test kümesinin temsili bir alt kümesinin %78,2'sini çözdü. ORM %72,4, çoğunluk oylaması ise %69,6 başarı sağladı. Etiketleyicilere, mevcut PRM'nin yüksek puan verdiği ancak yanlış yanıtla sonuçlanan çözümler gösterildi. Bir aktif öğrenme biçimi olan bu yöntem, etiketleme verimliliğini yaklaşık 2,6 kat artırdı.

PRM Nasıl Eğitilir#

PRM genellikle her adımın sonunda o adımın doğru olup olmadığını tahmin etmek üzere ince ayar yapılmış bir LLM'dir ve adım etiketlerine karşı çapraz entropi kayıp fonksiyonuyla eğitilir. Bu ayrıntı düzeyinde insanların veri etiketlemesi pahalıdır. Bu nedenle Aralık 2023'te yayımlanan Math-Shepherd, PRM'leri otomatik olarak oluşturdu: Her adımdan birkaç tamamlama örnekledi ve bu tamamlamaların bilinen doğru yanıta ulaşıp ulaşmadığına göre adımı etiketledi. PPO eğitimi sırasında her adımı ödüllendirmek için bu PRM'nin kullanılması, Mistral-7B'nin GSM8K doğruluğunu %77,9'dan %84,1'e, MATH doğruluğunu ise %28,6'dan %33,0'a yükseltti. Ancak otomatik etiketler gürültülüdür: Alibaba'nın Qwen ekibinin 2025'te yaptığı bir çalışma, bu tür Monte Carlo tahminleriyle eğitilen PRM'lerin insan etiketleriyle veya hakem görevi gören bir LLM'den alınan etiketlerle eğitilenlerden daha zayıf olduğunu buldu. Ekip ayrıca bir PRM'nin ilk yanlış adımı ne ölçüde bulabildiğini ölçen bir kıyaslama olan ProcessBench'i yayımladı.

PRM Puanlarını Kullanma#

Çıkarım sırasında PRM, adım puanlarını bir seçim yapmak için kullanır. En iyi-N örneklemesi birkaç tam çözüm üretir ve toplulaştırılmış puanı en iyi olanı tutar. Adım adım doğrulayalım makalesinde adım olasılıkları çarpıldı; en düşük adım puanını kullanmak da yaklaşık aynı sonucu verdi:

import torch

# PRM outputs for three sampled solutions: probability that each step is correct
solutions = {
    "A": torch.tensor([0.97, 0.93, 0.95, 0.94]),
    "B": torch.tensor([0.99, 0.24, 0.96, 0.98]),  # flawed second step, confident ending
    "C": torch.tensor([0.91, 0.88, 0.90]),
}

for name, steps in solutions.items():
    print(f"{name}: last step {steps[-1]:.2f}, product {steps.prod():.3f}, min {steps.min():.2f}")

# Best-of-N reranking: pick the solution with the highest product of step scores
best = max(solutions, key=lambda name: solutions[name].prod())
print(f"Selected solution: {best}")

B çözümünün 0,98 ile en yüksek güven puanına sahip son adımı vardır; ancak ikinci adımının puanı 0,24'tür. Bu nedenle çarpımı 0,224'e, en düşük puanı ise 0,24'e düşer. PRM, çarpımı 0,806 olan A çözümünü seçer. Yalnızca son adıma göre sıralansaydı B seçilirdi. Ultralytics YOLO eğitimi de yalnızca sonunu değil, bir çalışmanın her ara adımını puanlar: Varsayılan val=True ayarıyla eğitici her dönemin ardından doğrulama yapar, ağırlıkları algılama için mAP50-95 değerine eşit bir uygunluk değeriyle puanlar ve en yüksek puanlı dönemi son last.pt dosyasının yanında best.pt olarak kaydeder.

PRM, herhangi bir çözüm tamamlanmadan önce aramaya da yön verebilir. Demet araması her adımda yalnızca en yüksek puanlı kısmi çözümleri tutar; Monte Carlo ağaç araması (MCTS) hangi dalların genişletileceğine karar verirken aynı puanları kullanır. Google DeepMind ve UC Berkeley'in test zamanı hesaplama ölçeklendirmesi üzerine yaptığı bir çalışma, arama yöntemini her problemin zorluğuna göre seçmenin, dört kata kadar daha az test zamanı hesaplamasıyla en iyi-N örneklemesine denk sonuç verdiğini buldu:

Sınırlar ve İlgili Terimler#

DeepSeek-R1 ekibi PRM'leri denedi, ancak üç nedenle kullanmayı bıraktı: Genel akıl yürütmede ince taneli adımları tanımlamak zordur; bir ara adımın doğru olup olmadığını otomatik olarak değerlendirmek ve elle etiketlemek pahalıdır; öğrenilmiş bir PRM ise büyük ölçekli eğitim sırasında ödül manipülasyonuna davetiye çıkarır. DeepSeek-R1 bunun yerine, son yanıtın kural tabanlı kontrollerinden Grup Göreli Politika Optimizasyonu (GRPO) yoluyla öğrendi. Bu yaklaşım, doğrulanabilir ödüllerle pekiştirmeli öğrenme (RLVR) olarak bilinir. İnsan geri bildiriminden pekiştirmeli öğrenmede (RLHF) kullanılan ödül modelleri, insan tercih karşılaştırmalarından hareketle tüm yanıtları puanlar; bu nedenle açık uçlu metinler için sonuç ödül modelleridir. PRM, düşünce zinciri yazılırken adımları denetler. Doğrulama zinciri (CoVe) ise modele doğrulama soruları sorup bunları yanıtlayarak bitmiş yanıtını denetletir.