Reasoning Models
推論モデルは、回答の前に長い思考連鎖を生成するよう、強化学習で学習されたLLMです。o1、DeepSeek-R1、限界について解説します。
推論モデルとは、最終回答の前に長い内部思考連鎖を生成するよう訓練された大規模言語モデル（LLM）であり、難しい問題により多くの計算を費やせるようにしたものです。OpenAIは2024年9月12日にo1を発表し、このカテゴリを確立しました。2024年のAIME数学コンテストでは、GPT-4oが平均で問題の12%を解いたのに対し、o1は各問題につき1サンプルで74%、64サンプルの多数決で83%、学習済みスコア関数で1,000サンプルを再順位付けした場合は93%を解きました。またo1は、科学ベンチマークのGPQAで人間の博士号取得者の正答率を上回りました。その後、DeepSeek-R1、GoogleのGemini思考モデル、拡張思考機能を備えたAnthropicのClaude、AlibabaのQwen3が続きました。現在の多くのモデルは、設定に応じて素早く回答したり、長く思考したりするハイブリッド型です。
推論モデルの訓練方法#
思考連鎖プロンプティングにより、モデルに中間ステップを書かせると回答が改善することが2022年に示されました。推論モデルは、回答を自動検証できる問題に対する強化学習（RL）を通じてこの振る舞いを学習します。この手法は検証可能な報酬による強化学習（RLVR）と呼ばれます。DeepSeekは2025年1月のDeepSeek-R1論文で、その手法を説明しました。R1-ZeroモデルはDeepSeek-V3のベースモデルから開始し、グループ相対方策最適化（GRPO）で訓練され、正しい最終回答と適切な出力形式に対してのみ報酬を与えられました。
段階的な例は与えられていませんでしたが、R1-ZeroのAIME 2024におけるpass@1の正答率は15.6%から71.0%に上昇し、多数決では86.7%に達しました。訓練中に応答は長くなり、モデルは自分のステップを再確認して修正し始めました。著者らはこの瞬間を「ひらめきの瞬間」と呼びました。公開されたDeepSeek-R1は、読みやすさを高めるために数千件の厳選された長い推論例でまず訓練され、AIME 2024で79.8%を達成しました。またDeepSeekは、推論のトレースをより小型のQwenモデルとLlamaモデルに蒸留しました。各ステップを採点するプロセス報酬モデル（PRM）は、こうした結果報酬に代わる主な手法ですが、DeepSeekは、大規模訓練ではPRMとモンテカルロ木探索に効果がなかったと報告しています。
テスト時の計算#
推論モデルの正答率は、思考に費やすトークン数に応じて上昇します。これは、モデルサイズと訓練データに加わるスケーリング則のもう一つの軸です。APIでは、これを推論の強度や思考予算として指定できます。また、複数の回答を並列にサンプリングして投票したり、検証器を使って部分解を探索したりすると、正答率をさらに高められます。その代償はレイテンシとトークンです。難しい問題では、回答の最初の一語が出る前に、数千個の非表示推論トークンを消費することがあります。UltralyticsのLLMインターフェースは、リクエスト引数を変更せずにOpenAI SDKへ渡します。そのため、検出したシーンについて慎重な回答が必要な場合、YOLO26のパイプラインからResponses APIを介して推論モデルにreasoning={"effort": "high"}を渡せます。
2025年4月に公開されたOpenAIのo3とo4-miniは、画像を対象とするよう思考連鎖を拡張し、画像について推論しながら写真を切り抜いたり、拡大したり、回転させたりできるようにしました。この視覚的推論は、小さな文字、グラフ、雑然としたシーンに関する視覚的質問応答（VQA）に役立ちます。
制約#
推論モデルは単純な質問について考えすぎる傾向があり、直接回答すればよい場面でトークンを費やします。また、一部の簡単なタスクでも予測不能な失敗が続きます。この傾向はギザギザの知能として知られています。検証可能な回答に対する強化学習は結果に報酬を与えるため、モデルは検証器を通過する近道を学ぶことがあります。これは報酬ハッキングの一種です。記述された思考連鎖も、計算過程を完全に記録したものではありません。2025年4月に発表されたAnthropicの研究では、回答を変えるヒントを与えられたモデルが、そのヒントに言及した割合はClaude 3.7 Sonnetでわずか25%、DeepSeek-R1で39%でした。
