World Model
世界模型是一种 AI 系统,它能学习环境如何演变以及行动如何改变环境,使智能体能够想象结果并在行动前进行规划。
世界模型是通过学习获得的模型,用于描述环境如何随时间变化以及如何响应动作。给定当前状态或一段观测历史,再加上一个动作,模型会预测接下来发生的事情:下一个观测、紧凑的内部状态、奖励或一系列未来步骤。使用世界模型的智能体可以在行动前想象行动的结果,通过比较想象中的未来来规划,并从模拟经验中学习,而不只依赖现实中的试错。这一概念源自基于模型的控制和强化学习;David Ha 和 Jürgen Schmidhuber 于 2018 年发表的论文 World Models让这一术语广为人知,用来描述从像素中学习游戏压缩模拟器,并在其“梦境”中训练策略的神经网络。如今,这一术语涵盖 Dreamer 和 MuZero 等智能体的内部动力学模型、Google DeepMind 的 Genie 3 等交互式视频生成器,以及用于生成视频以训练Physical AI的世界基础模型。
世界模型的工作原理#
世界模型通常由三个部分组成。编码器会将摄像头画面等高维观测压缩为较小的潜在状态。动力学模型根据当前状态和动作预测下一个潜在状态,通常还会预测奖励以及回合是否结束。可选的解码器会将潜在状态还原为图像,用于训练或展示模型想象的内容。Ha 和 Schmidhuber 使用变分自编码器、用于预测下一个潜在状态的循环网络,以及在潜在状态上训练的小型线性控制器构建了这些部分。
智能体会通过两种方式使用模型。在规划过程中,智能体会在模型中推演候选动作序列,为想象出的结果评分,然后执行最佳动作,例如模型预测控制或 MuZero 的树搜索。以下 PyTorch代码通过随机状态转换学习一个简单推车的世界模型,并在想象中规划一个包含 20 步的推动序列:
import torch
from torch import nn
torch.manual_seed(0)
# The real environment, unknown to the agent: a cart's [position, velocity] responds to a push in [-1, 1]
A, B = torch.tensor([[1.0, 0.9], [0.0, 0.9]]), torch.tensor([0.1, 0.1])
# Learn a world model that predicts how (state, action) changes the state, from 5,000 random transitions
states, actions = torch.rand(5000, 2) * 4 - 2, torch.rand(5000, 1) * 2 - 1
change = states @ A.T + actions * B - states
model = nn.Sequential(nn.Linear(3, 64), nn.ReLU(), nn.Linear(64, 2))
optimizer = torch.optim.Adam(model.parameters(), lr=1e-2)
for step in range(2000):
loss = ((model(torch.cat([states, actions], dim=1)) - change) ** 2).mean()
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Plan by imagination: roll 1,000 random 20-step plans through the model; also run them for real to compare
plans = torch.rand(1000, 20, 1) * 2 - 1
imagined, real = torch.zeros(1000, 2), torch.zeros(1000, 2)
for k in range(20):
imagined = imagined + model(torch.cat([imagined, plans[:, k]], dim=1)).detach()
real = real @ A.T + plans[:, k] * B
best = (imagined[:, 0] - 3).abs().argmin() # plan whose imagined final position is closest to 3
print(f"chosen plan: imagined final position {imagined[best, 0]:.2f}, real final position {real[best, 0]:.2f}")它会输出 chosen plan: imagined final position 3.00, real final position 2.93。智能体在没有触碰真实推车的情况下选出了计划;0.07 的差距是模型误差在 20 个想象步骤中累积的结果。小误差会在长时间推演中不断累积,因此实际规划器会在每一步之后重新规划,并保持较短的想象预测范围。
在想象中学习时,智能体会根据模型内部生成的推演轨迹训练策略。DreamerV3 于 2025 年发表于 Nature,它会交替进行真实经验采集、世界模型改进,以及完全基于想象轨迹的演员和评论家训练:
使用同一组超参数时,DreamerV3 在 150 多项任务中胜过专用方法,并成为第一个无需人类数据或课程学习、从零开始就在 Minecraft 中采集到钻石的算法。
世界模型类型#
- 智能体动力学模型:Dreamer 预测未来潜在状态、奖励和回合结束状态。MuZero 只预测规划所需的内容:奖励、策略和值;结合蒙特卡洛树搜索后,它在没有获得游戏规则的情况下,便在围棋、国际象棋和将棋上达到了 AlphaZero 的水平。
- 交互式视频模型:Genie 是一个拥有 110 亿参数的模型,使用未标注的二维平台游戏互联网视频进行训练;它学会了自己的潜在动作,并能将单张图像、照片或草图转换为可控制的游戏世界。Genie 3可生成供用户实时探索的世界,帧率为每秒 24 帧、分辨率为 720p,并且连贯性可持续几分钟。
- 世界基础模型:NVIDIA 的 Cosmos提供开放权重模型,可根据文本、图像或先前帧预测未来视频,旨在针对特定机器人和车辆进行后训练。
- 预测嵌入模型:联合嵌入预测架构(JEPA)预测未来内容或缺失内容的表征,而不是像素,因此模型不会把算力浪费在不可预测的细节上,例如树叶飘动的确切模式。
以物体为中心的世界模型会将场景表示为一组物体,并预测每个物体如何移动。Ultralytics YOLO26在跟踪模式下会将视频转换为这种状态:每个物体对应一个边界框,并通过持久 ID在不同帧之间关联起来。
世界模型与相关概念的比较#
- 视频生成: 视频生成器根据提示生成一段看似合理的视频。世界模型则会预测动作带来的后果,因此当动作改变时,它必须做出正确响应。OpenAI 将视频生成器描述为潜在的世界模拟器,而 Genie 3 等逐帧接受用户操控的模型则介于两者之间。
- 无模型强化学习: 无模型智能体直接从真实经验中学习策略或价值函数,不预测环境如何变化。基于模型的智能体会学习世界模型,并将其用于规划或生成训练经验,因此通常需要的真实交互少得多。
- 模拟器和数字孪生: 物理引擎和数字孪生由工程师根据方程、CAD 模型和测量参数构建。世界模型从数据中学习,因此可以捕捉难以写成方程的效应,例如布料如何折叠或行人如何应对交通。
- 大型语言模型:语言模型预测下一个文本 token。世界模型则预测环境的下一个状态,通常依据视频、传感器数据和动作进行预测。
实际应用#
- 自动驾驶: Wayve 的 GAIA-1 根据过去的视频、文本和自车动作生成驾驶视频。基于 Genie 3 并于 2026 年 2 月发布的 Waymo 世界模型会生成摄像头和激光雷达数据,以模拟车队从未记录过的情况,例如龙卷风或大象出现在道路上。
- 游戏和交互媒体: 交互式视频模型可将文本提示或图像转换为可探索的世界,并响应键盘输入。
- 机器人: Meta 的 V-JEPA 2 使用超过 100 万小时的互联网视频进行预训练。其动作条件版本 V-JEPA 2-AC 使用不到 62 小时的无标签机器人视频进行后训练,随后通过朝目标图像规划,在两个新实验室的 Franka 机械臂上拾取并放置物体;训练数据中没有来自这些机器人或环境的数据。










