Group Relative Policy Optimization (GRPO)

Group Relative Policy Optimization (GRPO), Büyük Dil Modellerinin (LLM) ve daha geniş Yapay Zeka (AI) sistemlerinin akıl yürütme yeteneklerini geliştirmek için geliştirilmiş, bellek açısından verimli bir pekiştirmeli öğrenme algoritmasıdır. İlk olarak 2024 tarihli DeepSeekMath makalesinde tanıtılan GRPO, ayrı bir değer ağı (eleştirmen modeli) gereksinimini ortadan kaldırarak geleneksel optimizasyon yöntemlerini geliştirir. Bunun yerine, aynı komuttan türetilen bir grup üretilen yanıtın ödüllerini normalleştirir. Yanıtları gruptaki diğer üyelerine göre değerlendiren GRPO, modern Derin Öğrenme (DL) mimarilerindeki karmaşık akıl yürütme görevlerinde performansı artırırken hesaplama yükünü dramatik ölçüde azaltır.

GRPO, PPO'dan Nasıl Farklıdır#

GRPO, insan geri bildiriminden pekiştirmeli öğrenme (RLHF) süreçlerinde sıklıkla kullanılan standart bir optimizasyon algoritması olan Proximal Policy Optimization (PPO) ile benzerlikler paylaşsa da, ikisi mimari açıdan önemli ölçüde farklılık gösterir. PPO, belirli bir durumun değerini tahmin etmek için ana politika ağının yanında paralel olarak çalışan ikincil bir "eleştirmen" modeli gerektirir. Bu durum, eğitim aşamasında gereken belleği neredeyse iki katına çıkarır.

Buna karşın GRPO, eleştirmensiz bir algoritmadır. Tek bir komut için birden fazla çıktı örnekleyerek ve bunları kural tabanlı bir ödül sistemi veya doğrulayıcı kullanarak puanlayarak GRPO, avantajı bu özel gruptaki puanları normalleştirerek hesaplar. Bu göreceli karşılaştırma bir temel oluşturarak bir değer ağının kaplayacağı devasa bellek miktarından tasarruf sağlar ve genel model eğitimini hızlandırır.

GRPO'nun Gerçek Dünya Uygulamaları#

GRPO, üretken yapay zeka ve doğal dil işleme alanlarında son dönemdeki birkaç çığır açıcı gelişmeye öncülük etmiştir. Dikkat çekici iki uygulama şunlardır:

1. Matematiksel Akıl Yürütme Modelleri: Yaygın olarak alıntılanan DeepSeek-R1 sürümünde ve DeepSeekMath'te GRPO, modelleri uzun düşünce zinciri (chain-of-thought) akıl yürütme ve kendi kendine doğrulama geliştirmeye teşvik etmek için kullanılmış olup OpenAI'ın o1 gibi tescilli modellerin performansıyla eşleşmiştir. Doğru nihai yanıtları ve biçimlendirmeyi ödüllendirerek algoritma, insan tarafından etiketlenmiş veriler üzerinde kapsamlı bir ince ayar (fine-tuning) gerektirmeden modelin gelişmiş problem çözme stratejilerini organik olarak keşfetmesini sağlamıştır.
2. Kod Üretimi ve Otonom Mantık: Kod yazan veya otonom ajan iş akışlarını destekleyen modeller için mutlak doğruluğu değerlendirmek zordur. GRPO, modellerin kod varyasyonlarını çalıştırarak ve bunları derleme başarısına veya geçen test vakalarına göre göreceli olarak puanlayarak öğrenmesini sağlar; böylece son derece güvenilir yapay zeka kodlama asistanlarının dağıtımını hızlandırır.

PyTorch İçerisinde GRPO Kavramlarını Uygulama#

Özünde GRPO, yanıtların ödüllerini normalleştirerek göreceli avantajı hesaplar. İşte bu normalizasyonu standart tensör operasyonlarını kullanarak gösteren temel bir PyTorch uygulaması:

def compute_grpo_advantages(rewards):
    # 'rewards' is a tensor of shape (batch_size, group_size)
    group_mean = rewards.mean(dim=1, keepdim=True)
    group_std = rewards.std(dim=1, keepdim=True)

    # Normalize rewards within the group to calculate relative advantages
    advantages = (rewards - group_mean) / (group_std + 1e-8)
    return advantages

Akıllı Optimizasyon ile Yapay Zekayı İlerletmek#

GRPO metin üretimi için verimliliği yeniden tanımladığı gibi, gelişmiş Makine Öğrenimi (ML) teknikleri de görsel algıyı sürekli olarak yeniden şekillendirmektedir. Mimarilerin ve kayıp fonksiyonlarının optimize edilmesi, geliştiricilerin tüm alanlarda daha hafif ve daha hızlı modeller oluşturmasına olanak tanır.

Son teknoloji bilgisayarla görü görevleri için uçtan uca optimizasyonları keşfetmek de aynı derecede kritiktir. Örneğin, Ultralytics YOLO26 yerel olarak NMS içermeyen bir mimari ve LLM araştırmalarından ilham alan hibrit optimizörler sunarak uç cihaz dağıtımını büyük ölçüde geliştirir. Verimli bilgisayarla görü iş akışlarından yararlanmak isteyen geliştiriciler, Ultralytics Platform kullanarak zahmetsizce modeller oluşturabilir, eğitebilir ve dağıtabilir. Bu bulut tabanlı araç, sağlam, gerçek zamanlı görü uygulamaları için karmaşık veri seti yönetimini ve hiperparametre ayarını basitleştirir.