World Model
월드 모델은 환경이 어떻게 변화하고 행동이 환경을 어떻게 바꾸는지 학습하는 AI 시스템으로, 에이전트가 행동하기 전에 결과를 상상하고 계획할 수 있게 합니다.
월드 모델은 시간에 따라, 그리고 행동에 반응해 환경이 어떻게 변하는지 학습한 모델입니다. 현재 상태나 관측 기록에 행동을 더해 입력하면 다음 관측, 압축된 내부 상태, 보상 또는 미래 단계의 시퀀스 등 다음에 일어날 일을 예측합니다. 월드 모델을 사용하는 에이전트는 행동을 실행하기 전에 그 결과를 상상하고, 상상한 미래를 비교해 계획하며, 실제 시행착오에만 의존하지 않고 시뮬레이션 경험으로 학습할 수 있습니다. 이 개념은 모델 기반 제어와 강화 학습에서 비롯되었으며, David Ha와 Jürgen Schmidhuber의 2018년 논문 World Models는 픽셀로부터 게임의 압축 시뮬레이터를 학습하고 그 '꿈' 안에서 정책을 훈련하는 신경망을 설명하며 이 용어를 널리 알렸습니다. 오늘날 이 용어는 Dreamer와 MuZero 같은 에이전트의 내부 동역학 모델, Google DeepMind의 Genie 3와 같은 대화형 비디오 생성 모델, 피지컬 AI 학습용 비디오를 생성하는 월드 파운데이션 모델을 아우릅니다.
월드 모델 작동 방식#
월드 모델은 일반적으로 세 부분으로 구성됩니다. 인코더는 카메라 프레임과 같은 고차원 관측값을 작은 잠재 상태로 압축합니다. 동역학 모델은 현재 잠재 상태와 행동을 바탕으로 다음 잠재 상태를 예측하며, 보상과 에피소드 종료 여부도 함께 예측하는 경우가 많습니다. 선택 사항인 디코더는 학습에 사용하거나 모델이 상상하는 장면을 보여주기 위해 잠재 상태를 다시 이미지로 변환합니다. Ha와 Schmidhuber는 변분 오토인코더, 다음 잠재 상태를 예측하는 순환 네트워크, 잠재 표현을 사용해 학습한 소형 선형 컨트롤러로 이러한 구성 요소를 만들었습니다.
에이전트는 모델을 두 가지 방식으로 사용합니다. 계획을 세울 때는 후보 행동 시퀀스를 모델에 입력해 결과를 예측하고 점수를 매긴 뒤, 모델 예측 제어나 MuZero의 트리 탐색처럼 가장 좋은 행동을 실행합니다. 이 PyTorch 코드는 무작위 전이로 간단한 카트의 월드 모델을 학습하고 상상 속에서 20단계 밀기 시퀀스를 계획합니다.
import torch
from torch import nn
torch.manual_seed(0)
# The real environment, unknown to the agent: a cart's [position, velocity] responds to a push in [-1, 1]
A, B = torch.tensor([[1.0, 0.9], [0.0, 0.9]]), torch.tensor([0.1, 0.1])
# Learn a world model that predicts how (state, action) changes the state, from 5,000 random transitions
states, actions = torch.rand(5000, 2) * 4 - 2, torch.rand(5000, 1) * 2 - 1
change = states @ A.T + actions * B - states
model = nn.Sequential(nn.Linear(3, 64), nn.ReLU(), nn.Linear(64, 2))
optimizer = torch.optim.Adam(model.parameters(), lr=1e-2)
for step in range(2000):
loss = ((model(torch.cat([states, actions], dim=1)) - change) ** 2).mean()
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Plan by imagination: roll 1,000 random 20-step plans through the model; also run them for real to compare
plans = torch.rand(1000, 20, 1) * 2 - 1
imagined, real = torch.zeros(1000, 2), torch.zeros(1000, 2)
for k in range(20):
imagined = imagined + model(torch.cat([imagined, plans[:, k]], dim=1)).detach()
real = real @ A.T + plans[:, k] * B
best = (imagined[:, 0] - 3).abs().argmin() # plan whose imagined final position is closest to 3
print(f"chosen plan: imagined final position {imagined[best, 0]:.2f}, real final position {real[best, 0]:.2f}")chosen plan: imagined final position 3.00, real final position 2.93을 출력합니다. 에이전트는 실제 카트를 건드리지 않고 계획을 선택했으며, 0.07의 차이는 20단계의 상상 속 진행 동안 누적된 모델 오차입니다. 작은 오차도 긴 롤아웃에서는 누적되므로, 실제 플래너는 매 단계마다 다시 계획을 세우고 상상하는 시간 범위를 짧게 유지합니다.
상상을 통한 학습에서 에이전트는 모델 내부에서 생성된 롤아웃으로 정책을 훈련합니다. 2025년 Nature에 발표된 DreamerV3는 실제 경험 수집, 월드 모델 개선, 상상한 궤적만을 이용한 액터 및 크리틱 훈련을 번갈아 수행합니다.
하나의 하이퍼파라미터 세트만으로 DreamerV3는 150개가 넘는 작업에서 특화된 방법보다 뛰어난 성능을 보였으며, 사람의 데이터나 커리큘럼 없이 Minecraft에서 처음부터 다이아몬드를 수집한 최초의 알고리즘이 되었습니다.
월드 모델의 유형#
- 에이전트 동역학 모델: Dreamer는 미래 잠재 상태, 보상, 에피소드 종료를 예측합니다. MuZero는 계획에 필요한 보상, 정책, 가치만 예측하며, 몬테카를로 트리 탐색을 사용해 규칙을 제공받지 않고도 바둑, 체스, 쇼기에서 AlphaZero와 대등한 성과를 거뒀습니다.
- 대화형 비디오 모델: 2D 플랫폼 게임의 라벨 없는 인터넷 비디오로 학습한 110억 파라미터 모델 Genie는 자체 잠재 행동을 학습하며 이미지, 사진 또는 스케치 하나를 제어 가능한 게임 세계로 변환합니다. Genie 3는 사용자가 실시간으로 탐색할 수 있는 세계를 초당 24프레임, 720p로 생성하며, 몇 분 동안 일관성을 유지합니다.
- 월드 파운데이션 모델: NVIDIA의 Cosmos는 텍스트, 이미지 또는 이전 프레임으로부터 미래 비디오를 예측하는 오픈 웨이트 모델을 제공하며, 특정 로봇과 차량에 맞춰 사후 학습하도록 설계되었습니다.
- 예측 임베딩 모델: 공동 임베딩 예측 아키텍처(JEPA)는 픽셀 대신 미래에 나타나거나 누락된 콘텐츠의 표현을 예측하므로, 움직이는 나뭇잎의 정확한 패턴처럼 예측 불가능한 세부 정보에 모델의 용량을 소모하지 않습니다.
객체 중심 월드 모델은 장면을 객체 집합으로 표현하고 각 객체의 움직임을 예측합니다. Ultralytics YOLO26은 tracking mode에서 비디오를 이러한 형태의 상태로 변환합니다. 모든 객체의 박스가 지속 ID로 프레임 간에 연결됩니다.
ワールドモデルと関連概念の比較#
- 動画生成: 動画生成モデルは、プロンプトからもっともらしい動画クリップを生成します。ワールドモデルは行動の結果を予測するため、行動が変わった場合にも正しく応答する必要があります。OpenAIは動画生成モデルを潜在的なワールドシミュレーターとして説明しており、ユーザーの操作をフレームごとに受け取るGenie 3などのモデルは、両者の中間に位置します。
- モデルフリー強化学習: モデルフリーエージェントは、環境がどう変化するかを予測せず、実際の経験から直接ポリシーまたは価値関数を学習します。モデルベースエージェントはワールドモデルを学習し、それを再利用して計画を立てたり、学習用の経験を生成したりするため、通常、実環境とのインタラクションを大幅に減らせます。
- シミュレーターとデジタルツイン: 物理エンジンとデジタルツインは、エンジニアが方程式、CADモデル、測定パラメーターを用いて構築します。ワールドモデルはデータから学習するため、布の折り重なり方や歩行者の交通への反応など、方程式で表すのが難しい影響も捉えられます。
- 대규모 언어 모델: 언어 모델은 다음 텍스트 토큰을 예측합니다. 월드 모델은 일반적으로 비디오, 센서 데이터, 행동을 바탕으로 환경의 다음 상태를 예측합니다.
실제 적용 사례#
- 自動運転: WayveのGAIA-1は、過去の動画、テキスト、自車両の操作を条件として走行動画を生成します。Genie 3を基盤として構築され、2026年2月に発表されたWaymo World Modelは、カメラデータとLiDARデータの両方を生成し、竜巻や道路上のゾウなど、フリートがこれまで記録したことのない状況をシミュレーションします。
- ゲームとインタラクティブメディア: インタラクティブ動画モデルは、テキストプロンプトまたは画像から、キーボード入力に応答する探索可能な世界を生成します。
- ロボティクス: MetaのV-JEPA 2は、インターネット上の動画を100万時間以上使って事前学習されました。行動条件付きバージョンのV-JEPA 2-ACは、ラベルのないロボット動画を62時間未満使って追加学習された後、ロボットや環境からデータを収集することなく、目標画像に向けて計画を立てることで、2つの新しいラボにあるFrankaアーム上で物体をつかんで配置しました。










