Ultralytics YOLO27:
返回 Ultralytics 术语表

World Model

探索世界模型如何模拟环境并预测未来结果。了解它们如何增强 Ultralytics YOLO26 在自动驾驶和先进机器人领域的能力。

世界模型是一种先进的人工智能系统,旨在学习对其环境的全面模拟,预测世界随时间的演变以及自身行为对未来的影响。传统的预测建模通常侧重于将静态输入映射为输出,例如对图像进行分类;与之不同,世界模型力求理解场景的因果动态。通过内化观察到的数据中的物理规律、逻辑和时间序列,它可以在结果发生前模拟可能的发展。这种能力类似于人类的心智模型,让 AI 能够“想象”或可视化未来场景,以规划复杂任务或生成逼真的视频内容。

超越静态感知#

世界模型的核心创新在于其推理时间和因果关系的能力。在标准计算机视觉任务中,Ultralytics YOLO26 等模型擅长检测单帧中的物体。不过,世界模型更进一步,能够预测这些物体在下一帧中的位置。从静态识别转向动态预测,对于开发自动驾驶汽车和复杂机器人至关重要。

近期的突破(例如 OpenAI 的 Sora 文本生成视频模型)展示了世界模型的生成能力。通过理解光线、运动和几何形状如何相互作用,这些系统可以根据简单的文本提示,生成极其逼真的环境。同样,在强化学习领域,智能体会利用这些内部模拟,在虚拟思维空间中安全训练,然后再尝试现实世界中的危险任务,从而显著提升AI 安全性和效率。

世界模型与基础模型的对比#

区分世界模型与其他广义 AI 类别很有帮助。

  • 世界模型与基础模型的对比:基础模型是使用海量数据训练的通用模型(例如 GPT-4)。世界模型通常是基础模型的一种特定类型,或是基础模型中的一个组件,其架构专门用于模拟环境动态和时间一致性。
  • 世界模型与大型语言模型 (LLMs)的对比:LLMs 根据语言模式预测下一个文本 token,而世界模型则根据物理和空间规则预测世界的下一个“状态”(通常是视频帧或感官数据)。

实际应用#

世界模型的用途远不止制作娱乐视频。对于需要复杂决策的行业来说,世界模型正成为不可或缺的组件。

  1. 自动驾驶:Waymo 等自动驾驶汽车公司利用世界模型模拟数百万种驾驶场景。车辆 AI 可以预测行人和其他汽车的行驶轨迹,并规划出穿过繁忙路口的安全路线,而无需在现实中经历每一种可能发生的事故。

  2. 机器人与制造业:在智能制造中,配备世界模型的机器人能够操控从未见过的物体。通过模拟抓取或提起物体时的物理过程,机器人可以预测物品是否会滑落或破损,并在实时推理循环中调整动作,确保操作精准。

实践示例:可视化未来状态#

虽然大规模世界模型需要巨大的算力,但可以通过视频理解原理来说明预测未来帧的概念。下面的示例展示了如何设置一个环境,让智能体(或模型)开始追踪并预测物体的移动,这是构建预测性世界观的基础步骤。

import cv2
from ultralytics import YOLO26

# 加载 Ultralytics YOLO26 模型,将其用作感知引擎
model = YOLO26("yolo26n.pt")

# 打开视频源(0 表示网络摄像头,或使用视频文件路径)
cap = cv2.VideoCapture(0)

while cap.isOpened():
    success, frame = cap.read()
    if not success:
        break

    # 'track' 模式会随时间推移保持物体身份不变,
    # 这是学习物体动态的前提
    results = model.track(frame, persist=True)

    # 可视化追踪结果,展示模型如何跟随物体移动
    annotated_frame = results[0].plot()

    cv2.imshow("Object Tracking Stream", annotated_frame)
    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

cap.release()
cv2.destroyAllWindows()

预测式 AI 的未来#

世界模型的发展标志着我们向通用人工智能 (AGI)迈进了一步。通过有效地学习建模世界,AI 系统能够获得空间智能和一种关于物理交互的“常识”。研究人员目前正在探索联合嵌入预测架构 (JEPA),以提高这些模型的效率,避免生成每个像素所带来的巨大计算成本,转而专注于高层特征预测。随着这些技术日趋成熟,我们可以期待它们与 Ultralytics Platform 深度集成,让开发者训练出不仅能看见世界,还能真正理解世界的智能体。

Explore solutions

航空影像计算机视觉

航空影像计算机视觉

借助 Ultralytics YOLO,将无人机和航空影像转化为实时洞察,应用于农业、水产养殖、环境监测、自然保护和地理空间分析。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 应用于航空监测。借助计算机视觉解决方案,赋能无人机、航空航天工作流、环境保护和地理空间行业。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情
航空影像计算机视觉

航空影像计算机视觉

借助 Ultralytics YOLO,将无人机和航空影像转化为实时洞察,应用于农业、水产养殖、环境监测、自然保护和地理空间分析。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 应用于航空监测。借助计算机视觉解决方案,赋能无人机、航空航天工作流、环境保护和地理空间行业。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情
航空影像计算机视觉

航空影像计算机视觉

借助 Ultralytics YOLO,将无人机和航空影像转化为实时洞察,应用于农业、水产养殖、环境监测、自然保护和地理空间分析。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 应用于航空监测。借助计算机视觉解决方案,赋能无人机、航空航天工作流、环境保护和地理空间行业。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来