YOLOのライセンス
Ultralytics用語集に戻る

Group Relative Policy Optimization (GRPO)

グループ相対方策最適化(GRPO)は、サンプリングした各回答をグループ内で評価してLLMをRLで学習させる手法です。PPOで必要なクリティックモデルを取り除きます。

グループ相対方策最適化(GRPO)は、大規模言語モデル(LLMs)をファインチューニングするための強化学習アルゴリズムです。各プロンプトに対して応答のグループをサンプリングし、検証器または報酬モデルで各応答を採点して、グループ内の他の応答と比べてどれだけ良かったか、悪かったかで評価します。このグループ平均は、従来のRLHFの基盤アルゴリズムである近接方策最適化(PPO)がモデルと並行して学習させる、独立した価値ネットワーク(クリティック)に置き換わります。これにより、学習中のモデルとほぼ同じ規模の2つ目のネットワークに必要なメモリと計算量を節約できます。DeepSeekは2024年のDeepSeekMath論文でGRPOを導入し、2025年1月のDeepSeek-R1での採用を経て、回答前に長い思考の連鎖をたどる推論モデルの学習における標準的なアルゴリズムとなりました。こうしたモデルは、正誤を検証できる数学の回答や、合格した単体テストなどの検証可能な報酬から学習します。

GRPOの仕組み#

各学習ステップでは、プロンプトのバッチに対して同じ手順を繰り返します。

  1. グループをサンプリング: 現在のモデルが同じプロンプトに対して複数の応答を生成します。DeepSeekMathでは質問ごとに64件を使用しました。
  2. 各応答を採点: ルールベースの検証器または学習済み報酬モデルが、各応答に報酬を割り当てます。
  3. グループ相対アドバンテージを計算: 各報酬からグループ平均を引き、グループの標準偏差で割った値が、その応答のアドバンテージになります。この値は応答内のすべてのトークンで共有されます。
  4. 方策を更新: PPO形式のクリップ付き目的関数によって、平均を上回る応答のトークンの確率を上げ、下回る応答の確率を下げます。同時に、損失に直接加えるKLダイバージェンスのペナルティによって、モデルを凍結された参照モデルに近い状態に保ちます。

アドバンテージは相対値であるため、すべての応答が同じ報酬を得るグループには学習信号がまったくありません。これがGRPOの主な非効率性です。モデルが常に解ける、またはまったく解けないプロンプトではグループ全体が無駄になるため、学習データセットでは現在のモデルにとって中程度の難易度の問題に絞り込むことがよくあります。

コードで見るGRPO#

Hugging FaceのTRL GRPO trainerなどのライブラリは、言語モデル向けにアルゴリズム全体を実装しています。次のPyTorchの例では、単一のプロンプトに対する6つの候補回答から選ぶ簡易方策に同じ更新を適用します。検証器は、そのうち1つだけを正解として受け入れます。

import torch

torch.manual_seed(0)
# Toy policy over 6 candidate answers to one prompt; a verifier accepts only answer 4
logits = torch.zeros(6, requires_grad=True)
ref_log_probs = torch.log_softmax(torch.zeros(6), dim=0)  # frozen reference policy
correct = torch.tensor([0.0, 0.0, 0.0, 0.0, 1.0, 0.0])
optimizer = torch.optim.Adam([logits], lr=0.05)
beta = 0.04  # KL weight used in DeepSeekMath
print(f"P(correct) before: {torch.softmax(logits, dim=0)[4]:.2f}")

for step in range(150):
    answers = torch.distributions.Categorical(logits=logits).sample((8,))  # a group of 8 sampled answers
    rewards = correct[answers]
    advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-4)  # the group mean replaces a critic
    log_probs = torch.log_softmax(logits, dim=0)[answers]
    # Per-sample KL estimate to the reference policy, added to the loss: exp(d) - d - 1 with d = ref - new
    d = ref_log_probs[answers] - log_probs
    loss = -(advantages * log_probs - beta * (torch.exp(d) - d - 1)).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

print(f"P(correct) after: {torch.softmax(logits, dim=0)[4]:.2f}")

P(correct) before: 0.17とP(correct) after: 0.98を出力します。開始時には、8個からなるグループの約23%に正解が含まれません(5/6)⁸。そのようなグループは小さなKL項にしか寄与しません。正解を含むグループはすべて、value networkがなくても正解の確率を高めます。

GRPOとPPOおよびその他の手法の比較#

  • 近接方策最適化: PPOは学習済みクリティックを使って各トークンのアドバンテージを推定します。クリティックは通常、方策モデルと同じ規模のネットワークです。また、RLHFのパイプラインではKLペナルティを報酬に組み込みます。GRPOはクリティックを取り除き、KL項を損失に移します。その代わりに、各グループを埋めるために必要な生成数が増えます。
  • ベースライン付きREINFORCE: REINFORCE Leave-One-Out(RLOO)などの手法も、サンプリングした他の応答をベースラインとして使います。GRPOはPPOのクリッピングを加え、グループの標準偏差で割ります。
  • 直接選好最適化(DPO): DPOは、選好された応答と拒否された応答の固定データセットを使ってオフラインで学習します。GRPOはオンライン方式で、モデルが新しい応答を生成し、各ステップで新たな報酬を受け取ります。
  • プロセス報酬モデル: GRPOは通常、応答ごとに結果に対する報酬を1つ与えますが、DeepSeekMath論文ではプロセス監督版も検証しました。この方式ではモデルが各推論ステップを採点し、各ステップのトークンにそれぞれのアドバンテージを割り当てます。

用途#

  • 数学的推論: DeepSeekMathでは、GRPOによって7Bの指示チューニング済みモデルのMATHベンチマークのスコアが46.8%から51.7%に、GSM8Kのスコアが82.9%から88.2%に上がりました。ベースモデルから直接GRPOとルールベース報酬で学習したDeepSeek-R1-Zeroは、AIME 2024のpass@1スコアを15.6%から71.0%に向上させ、自己の回答を再確認する長い思考の連鎖を書くことを学習しました。
  • コード生成: 生成したプログラムを単体テストで実行して得られる報酬は、各プログラムがテストに合格するか失敗するかで決まるため、GRPOに自然に適合します。
  • エージェントとツール使用: Web検索やソフトウェアエンジニアリングなどの複数ターンのタスクは最終結果で採点し、グループ内の比較によって軌跡全体にクレジットを割り当てます。

GRPOはテキスト以外にも適用されています。Flow-GRPOはフローマッチングを基盤とするテキストから画像への生成モデルにGRPOを適用し、物体検出器から得た物体の数と位置を報酬として使用しました。Ultralytics YOLO26の検出器も同種の報酬を提供できます。グループ内の生成画像ごとに物体を数え、指定された数に一致する画像に正のアドバンテージを与えます。

派生手法と既知の問題#

元のアルゴリズムにはいくつかの既知の弱点があり、新しい派生手法はそれらを補っています。

  • DAPO: ByteDance Seedが2025年に発表したレシピでは、すべての応答が正解または不正解となるグループを破棄してバッチを補充し、上限側のクリッピング範囲を緩めて希少な有用トークンがより速く増加できるようにします。また、応答単位ではなくトークン単位で損失を平均します。Qwen2.5-32BのベースモデルでAIME 2024において50ポイントを達成しました。
  • Dr. GRPO: 2025年の分析では、各応答の損失を長さで割ると、不正解の回答がペナルティなしに長くなる可能性があること、またグループの標準偏差で割ると、ほぼ常に解ける、またはほぼ常に失敗する問題が過度に重み付けされることが示されました。Dr. GRPOは両方の正規化を取り除きます。
  • GSPO: AlibabaのQwenチームは、トークンごとではなくシーケンス全体の重要度比を計算します。これにより混合エキスパートモデルのRL学習が安定し、Qwen3モデルの改善にも貢献したとされています。

報酬を最適化する他のすべての手法と同様に、GRPOも報酬信号の欠陥を増幅します。最終回答の形式だけを確認する検証器や、特定のケースに合わせて回避できる単体テストは、1ステップで数千件の応答をサンプリングする規模では報酬ハッキングを招きます。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう