获取 YOLO 许可
返回 Ultralytics 术语表

World Model

世界模型是一种 AI 系统,它能学习环境如何演变以及行动如何改变环境,使智能体能够想象结果并在行动前进行规划。

世界模型是通过学习获得的模型,用于描述环境如何随时间变化以及如何响应动作。给定当前状态或一段观测历史,再加上一个动作,模型会预测接下来发生的事情:下一个观测、紧凑的内部状态、奖励或一系列未来步骤。使用世界模型的智能体可以在行动前想象行动的结果,通过比较想象中的未来来规划,并从模拟经验中学习,而不只依赖现实中的试错。这一概念源自基于模型的控制和强化学习;David Ha 和 Jürgen Schmidhuber 于 2018 年发表的论文 World Models让这一术语广为人知,用来描述从像素中学习游戏压缩模拟器,并在其“梦境”中训练策略的神经网络。如今,这一术语涵盖 Dreamer 和 MuZero 等智能体的内部动力学模型、Google DeepMind 的 Genie 3 等交互式视频生成器,以及用于生成视频以训练Physical AI的世界基础模型。

世界模型的工作原理#

世界模型通常由三个部分组成。编码器会将摄像头画面等高维观测压缩为较小的潜在状态。动力学模型根据当前状态和动作预测下一个潜在状态,通常还会预测奖励以及回合是否结束。可选的解码器会将潜在状态还原为图像,用于训练或展示模型想象的内容。Ha 和 Schmidhuber 使用变分自编码器、用于预测下一个潜在状态的循环网络,以及在潜在状态上训练的小型线性控制器构建了这些部分。

智能体会通过两种方式使用模型。在规划过程中,智能体会在模型中推演候选动作序列,为想象出的结果评分,然后执行最佳动作,例如模型预测控制或 MuZero 的树搜索。以下 PyTorch代码通过随机状态转换学习一个简单推车的世界模型,并在想象中规划一个包含 20 步的推动序列:

import torch
from torch import nn

torch.manual_seed(0)
# The real environment, unknown to the agent: a cart's [position, velocity] responds to a push in [-1, 1]
A, B = torch.tensor([[1.0, 0.9], [0.0, 0.9]]), torch.tensor([0.1, 0.1])

# Learn a world model that predicts how (state, action) changes the state, from 5,000 random transitions
states, actions = torch.rand(5000, 2) * 4 - 2, torch.rand(5000, 1) * 2 - 1
change = states @ A.T + actions * B - states
model = nn.Sequential(nn.Linear(3, 64), nn.ReLU(), nn.Linear(64, 2))
optimizer = torch.optim.Adam(model.parameters(), lr=1e-2)
for step in range(2000):
    loss = ((model(torch.cat([states, actions], dim=1)) - change) ** 2).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Plan by imagination: roll 1,000 random 20-step plans through the model; also run them for real to compare
plans = torch.rand(1000, 20, 1) * 2 - 1
imagined, real = torch.zeros(1000, 2), torch.zeros(1000, 2)
for k in range(20):
    imagined = imagined + model(torch.cat([imagined, plans[:, k]], dim=1)).detach()
    real = real @ A.T + plans[:, k] * B
best = (imagined[:, 0] - 3).abs().argmin()  # plan whose imagined final position is closest to 3
print(f"chosen plan: imagined final position {imagined[best, 0]:.2f}, real final position {real[best, 0]:.2f}")

它会输出 chosen plan: imagined final position 3.00, real final position 2.93。智能体在没有触碰真实推车的情况下选出了计划;0.07 的差距是模型误差在 20 个想象步骤中累积的结果。小误差会在长时间推演中不断累积,因此实际规划器会在每一步之后重新规划,并保持较短的想象预测范围。

在想象中学习时,智能体会根据模型内部生成的推演轨迹训练策略。DreamerV3 于 2025 年发表于 Nature,它会交替进行真实经验采集、世界模型改进,以及完全基于想象轨迹的演员和评论家训练:

使用同一组超参数时,DreamerV3 在 150 多项任务中胜过专用方法,并成为第一个无需人类数据或课程学习、从零开始就在 Minecraft 中采集到钻石的算法。

世界模型类型#

  • 智能体动力学模型:Dreamer 预测未来潜在状态、奖励和回合结束状态。MuZero 只预测规划所需的内容:奖励、策略和值;结合蒙特卡洛树搜索后,它在没有获得游戏规则的情况下,便在围棋、国际象棋和将棋上达到了 AlphaZero 的水平。
  • 交互式视频模型:Genie 是一个拥有 110 亿参数的模型,使用未标注的二维平台游戏互联网视频进行训练;它学会了自己的潜在动作,并能将单张图像、照片或草图转换为可控制的游戏世界。Genie 3可生成供用户实时探索的世界,帧率为每秒 24 帧、分辨率为 720p,并且连贯性可持续几分钟。
  • 世界基础模型:NVIDIA 的 Cosmos提供开放权重模型,可根据文本、图像或先前帧预测未来视频,旨在针对特定机器人和车辆进行后训练。
  • 预测嵌入模型:联合嵌入预测架构(JEPA)预测未来内容或缺失内容的表征,而不是像素,因此模型不会把算力浪费在不可预测的细节上,例如树叶飘动的确切模式。

以物体为中心的世界模型会将场景表示为一组物体,并预测每个物体如何移动。Ultralytics YOLO26在跟踪模式下会将视频转换为这种状态:每个物体对应一个边界框,并通过持久 ID在不同帧之间关联起来。

  • 视频生成: 视频生成器根据提示生成一段看似合理的视频。世界模型则会预测动作带来的后果,因此当动作改变时,它必须做出正确响应。OpenAI 将视频生成器描述为潜在的世界模拟器,而 Genie 3 等逐帧接受用户操控的模型则介于两者之间。
  • 无模型强化学习: 无模型智能体直接从真实经验中学习策略或价值函数,不预测环境如何变化。基于模型的智能体会学习世界模型,并将其用于规划或生成训练经验,因此通常需要的真实交互少得多。
  • 模拟器和数字孪生: 物理引擎和数字孪生由工程师根据方程、CAD 模型和测量参数构建。世界模型从数据中学习,因此可以捕捉难以写成方程的效应,例如布料如何折叠或行人如何应对交通。
  • 大型语言模型:语言模型预测下一个文本 token。世界模型则预测环境的下一个状态,通常依据视频、传感器数据和动作进行预测。

实际应用#

  • 自动驾驶: Wayve 的 GAIA-1 根据过去的视频、文本和自车动作生成驾驶视频。基于 Genie 3 并于 2026 年 2 月发布的 Waymo 世界模型会生成摄像头和激光雷达数据,以模拟车队从未记录过的情况,例如龙卷风或大象出现在道路上。
  • 游戏和交互媒体: 交互式视频模型可将文本提示或图像转换为可探索的世界,并响应键盘输入。
  • 机器人: Meta 的 V-JEPA 2 使用超过 100 万小时的互联网视频进行预训练。其动作条件版本 V-JEPA 2-AC 使用不到 62 小时的无标签机器人视频进行后训练,随后通过朝目标图像规划,在两个新实验室的 Franka 机械臂上拾取并放置物体;训练数据中没有来自这些机器人或环境的数据。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来