Latent Reasoning

潜在推論とは、モデルが文章のトークンではなく、ニューラルネットワーク内部の連続ベクトルである隠れ状態を用いて行う推論です。思考の連鎖プロンプティングでは、大規模言語モデル (LLM)が中間ステップをそれぞれテキストとして書き出し、読み戻します。潜在推論では、中間ステップをベクトルのまま保持し、回答だけをデコードします。この用語は2つの概念を指します。1つは、つながりを示す事実を明示せずに2段階の質問を解くなど、単一の順伝播の内部で生じる暗黙的な推論です。もう1つは、2024年12月に発表されたMetaのCoconutや、2025年の再帰的深度モデルなど、連続空間で思考するようモデルを学習させる手法です。

潜在空間で推論する理由#

文章化したステップが次に渡す情報はごくわずかです。各トークンは数万語の語彙から選ばれる1つの選択肢ですが、小規模なTransformerでも、隠れ状態は数百から数千の数値を保持し、複数の部分的な結果を一度に符号化できます。ステップの文章化には時間もかかります。推論トークンごとに順伝播が必要なため、長い思考の連鎖は推論レイテンシとサービングコストを増加させます。単語を使わなくても、隠れ状態での追加計算は有効です。Googleとカーネギーメロン大学の研究者は2023年、回答前に順伝播を追加する学習可能な「pause」トークンを使って10億パラメーターのモデルを学習させ、SQuAD 質問応答ベンチマークの完全一致スコアを18％向上させました。

Coconut：連続思考の連鎖#

MetaとUC San Diegoの研究者は、連続潜在空間で推論する大規模言語モデルの学習でCoconutを発表しました。思考の開始・終了を示す特殊トークンの間で、モデルは最後の隠れ状態を単語にデコードせず、次の入力埋め込みとして直接フィードバックします。CoconutはOpenAIのGPT-2を使用しており、事前学習済みモデルでも同じループを実行できます。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
ids = tokenizer("Question: 3 apples plus 4 apples is", return_tensors="pt").input_ids
embeds = model.get_input_embeddings()(ids)

# Continuous thoughts: the last hidden state becomes the next input embedding
with torch.no_grad():
    for _ in range(4):
        hidden = model(inputs_embeds=embeds, output_hidden_states=True).hidden_states[-1]
        thought = hidden[:, -1:]  # a vector that is never decoded into a token
        embeds = torch.cat([embeds, thought], dim=1)

print(f"Positions: {ids.shape[1]} prompt tokens + 4 thoughts = {embeds.shape[1]}")
print(f"Each thought: {thought.shape[-1]} floats; each written step: 1 of {tokenizer.vocab_size:,} tokens")

4回の推論ステップで、テキストを生成せずにシーケンスが8位置から12位置へ増えます。各ステップでは次の順伝播に768個の浮動小数点数が渡されますが、文章化したステップで渡されるのは50,257トークンのうちの1つで、情報量は約15.6ビットです。Coconutは、文章による推論ステップを連続的な思考に段階的に置き換えるカリキュラムを使って、このループを通じてGPT-2をファインチューニングします。計画が必要な論理推論タスクProsQAでは、平均14.2トークンを生成しながら正解率97.0％を達成しました。思考の連鎖では、正解率77.5％、トークン数49.4でした。GSM8Kの算数問題では思考の連鎖を下回り、正解率は34.1％対42.9％でしたが、生成トークン数は約3分の1でした。著者らによると、1つの連続的な思考に複数の次の候補を同時に符号化できるため、1トークンずつ1つの候補に決める文章の連鎖では難しい幅優先の方法で、モデルが代替案を探索できます。

その他のアプローチ#

再帰的深度モデルは、同じ層ブロックを何度も再利用します。Jonas Geipingらは2025年、3,500億ではなく35億パラメーターのモデルを8,000億トークンで学習させました。このモデルは推論時に再帰ブロックをループし、反復回数を増やすほど推論ベンチマークのスコアが上がりました。追加のトークンを一切生成せず、500億パラメーターのモデルに相当する計算量までスコアが向上しました。通常は思考の連鎖を長く生成することで実現するスケーリング則の軸、すなわちテスト時計算量を増やす方法として、再帰が使えます。暗黙的な思考の連鎖の手法では、解答例を使ってモデルを学習させ、文章化したステップを徐々に取り除きます。Yuntian Deng、Yejin Choi、Stuart Shieberによる段階的な内部化では、GPT-2 Smallに中間ステップなしで9桁×9桁の掛け算を学習させ、最大99％の正解率を達成しました。

この考え方はテキスト以外にも広がっています。Metaの大規模概念モデル (LCM)は次のトークンではなく次の文の埋め込みを予測します。共同埋め込み予測アーキテクチャ (JEPA)は、ピクセルではなく潜在空間で画像や動画の欠損部分を予測します。また、FigureのHelixなどの身体性AIシステムでは、視覚言語モデル (VLM)からロボットを動かすポリシーへ、テキストではなく潜在ベクトルを渡します。検出器も同様の隠れ状態を保持します。Ultralytics YOLO26では、model.embed()が検出ヘッドの1つ前の層までpredictモードを実行し、特徴マップを平均プーリングして画像ごとに1つのベクトルを生成します。バウンディングボックスやクラスラベルの代わりに、このベクトルを使用します。

解釈可能性と安全性#

文章による思考の連鎖は、人間と自動モニターが確認できる記録を残します。テキストで推論する推論モデルは、行動する前に報酬ハッキングや欺瞞の兆候がないか検査できます。OpenAI、Google DeepMind、Anthropic、Metaなどの研究者による2025年7月の提言書は、このような思考の連鎖の監視可能性を脆弱なAI安全性の機会と位置付け、潜在推論アーキテクチャがそれを失わせるおそれがあると警告しました。潜在ステップは、プローブ、ロジットレンズ、スパースオートエンコーダー (SAE)などのメカニスティック解釈可能性ツールを使って間接的にしか読み取れません。Coconutの論文では、言語モデルのヘッドを通して連続的な思考をデコードしたところ、確率が複数の中間値候補に分散しました。