World Models

探索世界模型如何使 AI 利用环境动力学来预测未来状态。了解 Ultralytics YOLO26 如何为预测性 AI 提供感知能力。

“世界模型”（World Model）是指 AI 系统对环境运行方式的内部表征，它能根据当前的观察结果和潜在操作来预测未来的状态或结果。与传统的将输入直接映射到输出的模型（如图像分类）不同，世界模型学习的是系统的底层动态、物理学和因果关系。这个概念对于推动通用人工智能（AGI）至关重要，因为它赋予了机器一种“常识”推理能力，使其能够在现实世界中采取行动之前在脑海中模拟各种场景。

世界模型背后的机制#

从核心上看，世界模型的功能类似于人类的直觉。当你扔球时，你并不会去计算风阻方程；你的大脑会根据过去的经验来模拟运动轨迹。同样地，在机器学习（ML）中，这些模型将高维感官数据（如视频帧）压缩为紧凑的潜在状态。这种压缩状态使智能体能够高效地“做梦”或幻想潜在的未来。

前沿研究（例如 Ha 和 Schmidhuber 关于循环世界模型（Recurrent World Models）的工作）展示了智能体如何在模拟的梦境环境中完全学习策略。最近，诸如 OpenAI 的 Sora 等生成式 AI的进展代表了世界建模的一种视觉形式，系统通过理解物理学、光照和物体恒常性来生成连贯的视频连续性。

在机器人技术与仿真中的应用#

世界模型在需要复杂决策的领域中具有特别的变革意义。

**自动驾驶汽车：**自动驾驶汽车使用世界模型来预测其他司机和行人的行为。通过每秒模拟数千种潜在的交通场景，车辆能够选择最安全的路线。这与汽车解决方案中的计算机视觉紧密相连，其中精确的感知是预测的基础。
**机器人学：**在制造机器人学中，通过世界模型训练的机械臂可以适应新颖的物体或意外的障碍物，而无需重新训练。它理解抓取和运动的物理学原理，从而改进了智能制造解决方案。

世界模型与标准强化学习的对比#

将世界模型与标准方法进行区分是很有帮助的：

**世界模型与强化学习（RL）的对比：**传统的强化学习通常是“免模型的”（model-free），这意味着智能体纯粹通过在环境中的试错来学习。而世界模型的方法则是“基于模型的”（model-based），智能体构建一个模拟器来从中学习，从而大大减少了所需的现实世界交互量。
**世界模型与大型语言模型（LLMs）的对比：**虽然大语言模型预测的是下一个文本词元，但世界模型通常预测的是下一个视觉帧或状态。然而，随着多模态学习的兴起，这些界限正在变得模糊，模型将文本、视觉和物理学融为一体。

实际实现概念#

虽然构建一个完整的世界模型很复杂，但其基础概念依赖于预测未来状态。对于计算机视觉任务，诸如 Ultralytics YOLO26 这样的高速检测模型充当了感官“眼睛”，将观察结果输入到决策逻辑中。

以下 Python 代码片段演示了如何使用 YOLO 模型来提取当前状态（物体位置），这些状态将作为世界模型预测步骤的输入。

from ultralytics import YOLO

# Load the Ultralytics YOLO26 model to act as the perception layer
model = YOLO("yolo26n.pt")

# Perform inference to get the current state of the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding boxes (xyxy) representing object states
for result in results:
    boxes = result.boxes.xyxy.cpu().numpy()
    print(f"Observed State (Object Positions): {boxes}")
    # A World Model would take these 'boxes' to predict the NEXT frame's state