World Models

探索世界模型如何使 AI 利用环境动力学来预测未来状态。了解 Ultralytics YOLO26 如何为预测性 AI 提供感知能力。

“世界模型”指的是 AI 系统对环境运行方式的内部表征，使系统能够根据当前的观测结果和潜在的操作来预测未来的状态或结果。与将输入直接映射到输出（如图像分类）的传统模型不同，世界模型学习的是系统的基本动态、物理规律和因果关系。这一概念对于推动通用人工智能 (AGI) 至关重要，因为它赋予了机器一种“常识”推理能力，使它们能够在现实世界中采取行动之前，在思维中模拟各种场景。

Link to this section世界模型背后的机制#

世界模型的核心功能类似于人类的直觉。当你投掷球时，你并不需要计算空气阻力方程；你的大脑会根据过去的经验模拟球的轨迹。同样地，在机器学习 (ML) 中，这些模型将高维感官数据（如视频帧）压缩成紧凑的潜在状态。这种压缩状态使智能体能够高效地“做梦”或幻想出潜在的未来。

领先的研究（例如 Ha 和 Schmidhuber 关于循环世界模型的工作）展示了智能体如何完全在模拟的梦境环境中学习策略。更近期的研究表明，诸如 OpenAI 的 Sora 等生成式 AI 的进步代表了一种视觉形式的世界建模，系统通过理解物理规律、光照和物体持久性来生成连贯的视频连续性。

Link to this section在机器人技术与仿真中的应用#

世界模型在需要复杂决策的领域中具有特别的变革意义。

自动驾驶汽车： 自动驾驶汽车使用世界模型来预测其他驾驶员和行人的行为。通过每秒模拟数千种潜在的交通场景，车辆能够选择最安全的路径。这与汽车领域的计算机视觉解决方案密切相关，其中准确的感知是预测的基础。
机器人技术： 在制造业机器人领域，使用世界模型训练的机械臂可以适应新物体或意外障碍，而无需重新训练。它能够理解抓取和运动的物理特性，从而改进智能制造解决方案。

Link to this section世界模型与标准强化学习的对比#

将世界模型与标准方法进行区分是很有帮助的：

世界模型与强化学习 (RL) 的对比： 传统的 RL 通常是“无模型”的，这意味着智能体完全通过在环境中的反复试验来学习。而世界模型方法是“基于模型”的，即智能体构建一个模拟器来进行学习，从而大幅减少了对现实世界交互的需求。
世界模型与大语言模型 (LLM) 的对比： 虽然 LLM 预测的是下一个文本 token，但世界模型通常预测的是下一个视觉帧或状态。然而，随着多模态学习的兴起，模型开始整合文本、视觉和物理信息，两者之间的界限正在变得模糊。

Link to this section实际实现概念#

虽然构建一个完整的世界模型很复杂，但其基础概念依赖于对未来状态的预测。对于计算机视觉任务，像 Ultralytics YOLO26 这样的高速检测模型充当了感官的“眼睛”，将观测结果输入到决策逻辑中。

以下 Python 代码片段演示了如何使用 YOLO 模型来提取当前状态（物体位置），这些状态将作为世界模型预测步骤的输入。

from ultralytics import YOLO

# Load the Ultralytics YOLO26 model to act as the perception layer
model = YOLO("yolo26n.pt")

# Perform inference to get the current state of the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding boxes (xyxy) representing object states
for result in results:
    boxes = result.boxes.xyxy.cpu().numpy()
    print(f"Observed State (Object Positions): {boxes}")
    # A World Model would take these 'boxes' to predict the NEXT frame's state