World Model
世界モデルとは、環境がどのように変化し、行動が環境にどのような影響を与えるかを学習するAIシステムです。これにより、エージェントは行動前に結果を想像し、計画できます。
世界モデルとは、環境が時間とともに、また行動に応じてどのように変化するかを学習したモデルです。現在の状態または観測履歴に行動を加えて入力すると、次に起きること、つまり次の観測、簡潔な内部状態、報酬、あるいは未来のステップ列を予測します。世界モデルを持つエージェントは、行動を起こす前に結果を想像し、想像上の未来を比較して計画を立て、現実世界での試行錯誤だけに頼らずシミュレーション経験から学習できます。この考え方はモデルベース制御と強化学習に由来します。David HaとJürgen Schmidhuberが2018年に発表した論文World Modelsは、ピクセルからゲームの圧縮シミュレーターを学習し、その「夢」の中で方策を訓練するニューラルネットワークを指す用語として広めました。現在、この用語はDreamerやMuZeroなどのエージェントの内部ダイナミクスモデル、Google DeepMindのGenie 3などのインタラクティブ動画生成モデル、さらにフィジカルAIの学習用動画を生成する世界基盤モデルを指します。
世界モデルの仕組み#
世界モデルは通常、3つの部分で構成されます。エンコーダーは、カメラフレームなどの高次元の観測を小さな潜在状態に圧縮します。ダイナミクスモデルは、現在の潜在状態と行動から次の潜在状態を予測し、多くの場合、報酬とエピソードが終了するかどうかも予測します。任意のデコーダーは、学習用またはモデルの想像内容を表示するために、潜在状態を画像に戻します。HaとSchmidhuberは、変分オートエンコーダー、次の潜在状態を予測する再帰型ネットワーク、および潜在状態上で訓練した小さな線形コントローラーでこれらの部分を構成しました。
エージェントはモデルを2通りの方法で使用します。計画では、候補となる行動系列をモデル内で展開し、想像上の結果を評価して最良のものを実行します。モデル予測制御やMuZeroの木探索がその例です。以下のPyTorchコードは、ランダムな遷移から単純なカートの世界モデルを学習し、想像上で20ステップの押し出し系列を計画します。
import torch
from torch import nn
torch.manual_seed(0)
# The real environment, unknown to the agent: a cart's [position, velocity] responds to a push in [-1, 1]
A, B = torch.tensor([[1.0, 0.9], [0.0, 0.9]]), torch.tensor([0.1, 0.1])
# Learn a world model that predicts how (state, action) changes the state, from 5,000 random transitions
states, actions = torch.rand(5000, 2) * 4 - 2, torch.rand(5000, 1) * 2 - 1
change = states @ A.T + actions * B - states
model = nn.Sequential(nn.Linear(3, 64), nn.ReLU(), nn.Linear(64, 2))
optimizer = torch.optim.Adam(model.parameters(), lr=1e-2)
for step in range(2000):
loss = ((model(torch.cat([states, actions], dim=1)) - change) ** 2).mean()
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Plan by imagination: roll 1,000 random 20-step plans through the model; also run them for real to compare
plans = torch.rand(1000, 20, 1) * 2 - 1
imagined, real = torch.zeros(1000, 2), torch.zeros(1000, 2)
for k in range(20):
imagined = imagined + model(torch.cat([imagined, plans[:, k]], dim=1)).detach()
real = real @ A.T + plans[:, k] * B
best = (imagined[:, 0] - 3).abs().argmin() # plan whose imagined final position is closest to 3
print(f"chosen plan: imagined final position {imagined[best, 0]:.2f}, real final position {real[best, 0]:.2f}")chosen plan: imagined final position 3.00, real final position 2.93が出力されます。エージェントは実際のカートに触れずに計画を選び、0.07の差は想像上の20ステップで累積したモデル誤差です。長いロールアウトでは小さな誤差が積み重なります。そのため、実用的なプランナーは各ステップの後に計画を立て直し、想像する範囲を短く保ちます。
想像による学習では、エージェントはモデル内で生成したロールアウトを使って方策を訓練します。2025年にNatureで発表されたDreamerV3は、実世界の経験の収集、世界モデルの改善、想像上の軌跡だけを使ったアクターとクリティックの訓練を交互に行います。
1組のハイパーパラメーターで、DreamerV3は150を超えるタスクで特化型手法を上回り、人間のデータやカリキュラムを使わずにMinecraftでゼロからダイヤモンドを獲得した初のアルゴリズムになりました。
世界モデルの種類#
- エージェントのダイナミクスモデル: Dreamerは未来の潜在状態、報酬、エピソードの終了を予測します。MuZeroは計画に必要な報酬、方策、価値だけを予測し、モンテカルロ木探索と組み合わせることで、ルールを与えられずに囲碁、チェス、将棋でAlphaZeroに匹敵しました。
- インタラクティブ動画モデル: 2Dプラットフォームゲームのラベルなしインターネット動画で学習した110億パラメーターのモデルGenieは、独自の潜在行動を学び、1枚の画像、写真、スケッチを操作可能なゲーム世界に変換します。Genie 3はユーザーがリアルタイムに移動できる世界を毎秒24フレーム、720pで生成し、数分間にわたって一貫性を保ちます。
- 世界基盤モデル: NVIDIAのCosmosは、テキスト、画像、または過去のフレームから未来の動画を予測するオープンウェイトモデルを提供します。特定のロボットや車両向けの追加学習を想定しています。
- 予測埋め込みモデル: 共同埋め込み予測アーキテクチャ(JEPA)は、画素ではなく未来または欠落したコンテンツの表現を予測するため、動く葉の正確な模様のような予測不能な細部にモデルの容量を費やしません。
オブジェクト中心の世界モデルは、シーンをオブジェクトの集合として表現し、それぞれの動きを予測します。Ultralytics YOLO26のトラッキングモードは、動画をこの種の状態に変換します。各オブジェクトのバウンディングボックスを、フレーム間で永続IDによって関連付けます。
ワールドモデルと関連概念の比較#
- 動画生成: 動画生成モデルは、プロンプトからもっともらしいクリップを生成します。ワールドモデルは行動の結果を予測するため、行動が変わった場合にも正しく応答する必要があります。OpenAIは動画生成モデルがワールドシミュレーターになり得ると説明しており、ユーザーの操作をフレームごとに受け取るGenie 3などのモデルは、両者の中間に位置します。
- モデルフリー強化学習: モデルフリーエージェントは、環境がどのように変化するかを予測せず、実際の経験から直接ポリシーまたは価値関数を学習します。モデルベースエージェントはワールドモデルを学習し、それを再利用して計画を立てたり、学習用の経験を生成したりするため、通常、実環境とのインタラクションを大幅に減らせます。
- シミュレーターとデジタルツイン: 物理エンジンとデジタルツインは、方程式、CADモデル、測定パラメーターをもとにエンジニアが構築します。ワールドモデルはデータから学習するため、布の折りたたまれ方や歩行者が交通にどう反応するかなど、方程式で表現しにくい現象も捉えられます。
- 大規模言語モデル: 言語モデルは次のテキストトークンを予測します。世界モデルは、通常は動画、センサーデータ、行動を基に、環境の次の状態を予測します。
実際のアプリケーション#
- 自動運転: WayveのGAIA-1は、過去の動画、テキスト、自車の行動を条件として運転動画を生成します。2026年2月に発表されたWaymo World ModelはGenie 3を基盤とし、竜巻や道路上のゾウなど、車両群がこれまで記録したことのない状況をシミュレートするために、カメラデータとライダーデータの両方を生成します。
- ゲームとインタラクティブメディア: インタラクティブ動画モデルは、テキストプロンプトや画像から、キーボード入力に応答する探索可能な世界を生成します。
- ロボティクス: MetaのV-JEPA 2は、インターネット上の動画を100万時間以上使って事前学習されました。行動条件付きバージョンのV-JEPA 2-ACは、ラベルのないロボット動画を62時間未満使って追加学習された後、目標画像に向けて計画することで、2つの新しいラボにあるFrankaアームで物体をピックアンドプレースしました。これらのロボットや環境から収集したデータは使用していません。










