YOLOのライセンス
Ultralytics用語集に戻る

Reinforcement Learning with Verifiable Rewards (RLVR)

検証可能な報酬による強化学習(RLVR)は、ユニットテストの合格や既知の数学の答えとの一致など、自動チェックを使ってモデルを学習させます。

検証可能な報酬を用いた強化学習(RLVR)は、大規模言語モデル(LLM)やその他の生成モデルを強化学習で学習させる方法です。報酬は、既知の正解と各出力を照合するプログラムから得られます。数学の回答は正解と一致するかどうかで判定でき、生成されたコードはユニットテストに合格するかどうかで判定できます。こうしたチェックは低コストで客観的なため、RLVRでは何千回もの学習ステップを実行できます。また、回答前に長い思考の連鎖をたどる推論モデルを支える中核的な手法です。AI2は2024年11月のTülu 3レポートでこの手法を命名しました。2025年1月にはDeepSeek-R1によって広く注目されました。同モデルのR1-Zeroは、教師ありファインチューニングを事前に行わず、ルールベースの正確性報酬と形式報酬だけで、強力な段階的推論を学習しました。

RLVRの仕組み#

学習は、事前学習済みで通常は指示チューニングされたモデルと、回答をプログラムで検証できるプロンプトのセットから始まります。各プロンプトに対してモデルが複数の回答をサンプリングし、検証器がそれぞれを採点します。次に、近接方策最適化(PPO)やグループ相対方策最適化(GRPO)などの方策勾配アルゴリズムが、期待値より高いスコアを得た回答の確率を上げ、それ以外の確率を下げます。GRPOでは、期待値はグループ平均を意味します。クリッピングや、多くのレシピで使われるKLペナルティによって、更新後のモデルが学習開始時の状態から大きく離れないようにします。モデルに模範解答を見せることはありません。モデルは自分の試行のうちどれが成功したかだけを学び、強化する推論パターンはすべて自ら生成したものです。

検証器とグループ比較は、数行のコードで実装できます。この例では、1つの数学プロンプトからサンプリングした4つの回答を採点します。\boxed{}タグから最終回答を抽出します。このタグは、DeepSeek-R1が数学で必須としていた回答形式です。続いてGRPOのグループ相対アドバンテージを計算します。

import re

import numpy as np

reference = "42"  # 学習プロンプトの正解
completions = [  # 同じプロンプトからサンプリングした回答のグループ
    "6 * 7 = 42, so the answer is \\boxed{42}",
    "Adding the terms gives \\boxed{41}",
    "The product is 42.",  # 数値は正しいものの、必須形式の最終回答がない
    "Check: 7 * 6 = 42. \\boxed{42}",
]

# 検証器: 最後のボックス内の回答を抽出し、正解と照合する
rewards = []
for text in completions:
    match = re.search(r"\\boxed\{([^}]*)\}", text)
    rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)

# GRPO形式のアドバンテージ: 各報酬をグループ平均と比較し、グループの標準偏差でスケーリングする
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))

報酬[1. 0. 0. 1.]とアドバンテージ[ 1. -1. -1. 1.]が出力されます。正解した2つの回答は強化されます。一方、3番目の回答には42が含まれているものの、必須形式で最終回答を示していないため、評価が下がります。

検証可能な報酬の条件#

検証可能な報酬には、正解データと、出力を正解と照合するプログラムが必要です。一般的な検証器には次のものがあります。

  • 数学の回答: 最終回答を解析し、1/2や0.5などの同値表現を正規化してから正解と照合します。Math-Verifyなどのライブラリがこの処理に対応しています。
  • コード: 生成されたプログラムをサンドボックス内でユニットテストにかけ、合格したか、あるいはどの割合のテストに合格したかを報酬にします。
  • 指示への準拠: 文字数制限、必須キーワード、有効なJSONなど、プログラムで検証できる制約です。Tülu 3は、数学に加えて、このような厳密な指示への準拠にもRLVRを適用しました。
  • 形式: 推論と最終回答を指定のタグで記述した場合に少量の報酬を与えます。DeepSeek-R1はこれを正確性報酬と組み合わせました。
  • ビジョンタスク: ラベル付きボックスとのIntersection over Unionでグラウンディングの回答を採点し、物体検出器で生成画像をチェックします。

GenEvalは物体検出器を使い、生成画像にプロンプトで指定された物体、個数、色、位置が含まれているか確認します。Flow-GRPOは、このルールベースのスコアを報酬に用いて、Stable Diffusion 3.5 MediumのGenEval精度を63%から95%に高めました。Ultralytics YOLO26検出器も同様の判定器として利用できます。たとえば「バス停にいる4人」というプロンプトをカウント報酬に変換できます。

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])  # class 0 = person
n_found, n_requested = len(results[0].boxes), 4

# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")

RLVRとRLHF、プロセス報酬の比較#

RLVRは、フィードバックを学習信号に変換する他の方法と併用できます。

  • 人間のフィードバックによる強化学習(RLHF): 人間による選好比較から学習した報酬モデルで出力を採点します。口調や有用性などの主観的な品質を扱えますが、学習済みの評価器には、方策に悪用される盲点があります。そのためDeepSeek-R1は推論にニューラル報酬モデルを使いませんでした。最終学習段階では、推論プロンプトにルールベースの報酬を、一般的なプロンプトに学習済み報酬モデルを適用しました。
  • プロセス報酬モデル(PRM): 推論の中間ステップを個別に採点します。RLVRは通常、最終結果だけに報酬を与えるため、低コストで取得でき、報酬の悪用もより困難です。
  • 直接選好最適化(DPO): 固定された選好回答と拒否回答のペアからオフラインで学習します。学習中のサンプリングや検証器は必要ありません。

学習パイプラインでは、プロンプトごとに報酬源を選ぶことがよくあります。検証器も人間のラベルもない場合は、Constitutional AIの方式によるAIフィードバックを利用します。

強みと限界#

人間を介在させる必要がないため、RLVRは計算資源と検証可能な問題の供給に応じてスケールします。また、明示的に記述されていなかった振る舞いも生み出します。DeepSeek-R1-Zeroでは、モデルが自らの出力を再確認して修正する方法を学ぶにつれ、学習中の回答が着実に長くなりました。TRL GRPO trainerなどのHugging Faceライブラリはカスタム報酬関数を受け付けるため、上記のような検証器をそのまま組み込めます。

この手法は回答を検証できるタスクにしか適用できません。また、検証器が弱いと報酬ハッキングを招きます。たとえば、テスト合格で報酬を得るコード生成モデルは、コードを修正する代わりに、特定のケースだけに対応したりテストを編集したりするようになる可能性があります。RLVRが何をもたらすのかについても、研究者の見解は分かれています。RLVRで学習したモデルの2025年の研究では、1問につき1回の試行ならベースモデルを上回る一方、複数回の試行が許されるとベースモデルのほうが多くの問題を解いたことが示されました。これは、RLVRが主に、ベースモデルがすでに生成できる解答に確率を集中させていることを示唆します。後続の論文では、回答と推論の連鎖の両方が正しい場合にのみサンプルを正解としました。このCoT-Pass@K指標では、RLVRで学習したQwen2.5-32Bが、AIME 2024とAIME 2025において、Kが1,024以下のすべての値でベースモデルを上回りました。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう