获取 YOLO 许可
返回 Ultralytics 术语表

Physical AI

具身智能让机器人、车辆和其他机器感知、推理并作用于真实世界。涵盖技术栈、训练和应用。

Physical AI 是能够通过实体感知、理解并作用于物理世界的人工智能(AI),其载体包括机器人、无人机、自动驾驶汽车和智能工业机器。聊天机器人的输出是屏幕上的文本,而 Physical AI 系统的输出是电机指令,其结果取决于摩擦力、重力、碰撞以及附近的人,因此系统必须充分理解三维空间和因果关系,才能实时安全地行动。NVIDIA 将这一术语作为其机器人和仿真平台的核心概念;随着大型预训练模型开始控制真实机器人,这个术语也逐渐广泛使用。Physical AI 与较早的研究术语具身 AI含义接近,但在业界更常使用 Physical AI。

Physical AI 系统的工作原理#

每个 Physical AI 系统都会在感知与行动之间建立闭环,并且每秒循环多次:

  • 感知输入:摄像头、激光雷达、雷达、惯性测量单元、关节编码器和力传感器会测量环境和机器自身的状态。
  • 感知:视觉模型将原始像素转换为物体、深度、位姿和地图,供规划器进行推理。
  • 决策:规划器、学习得到的策略或大型机器人基础模型会选择下一步动作。
  • 执行动作:电机、夹爪、车轮和制动器执行动作,传感器则在下一步测量动作产生的效果。

传感器融合整合不同传感器的优势,计算机视觉承担大部分感知工作,而决策则由模型预测控制等控制器、通过强化学习训练的策略或机器人基础模型作出。这些基础模型越来越多地将决策分配给两个模型:一个较慢的模型负责理解指令和场景,一个较快的模型负责输出电机指令。NVIDIA 开放的 GR00T N1 人形机器人模型就是一个例子,它将视觉语言模型与独立的动作模块结合起来:

视觉-语言-动作(VLA)模型在一个网络中同时承担这两种角色。Google DeepMind 的 RT-2 于 2023 年展示了经过微调、能够以 token 形式输出机器人动作的视觉语言模型,证明它可以将从网络数据中学到的知识用于控制。Physical Intelligence 的 π0加入了流匹配动作专家,其理念与扩散策略相近,可以一次性输出多个未来步骤组成的平滑动作块;Google DeepMind 的 Gemini Robotics模型则将这一方法扩展到折纸等灵巧的多步骤任务。

从感知到行动:代码示例#

感知是控制回路中的第一个环节,其速度决定了机器的反应速度上限。Ultralytics YOLO26专为这一边缘角色打造,并可在NVIDIA Jetson等机器人计算机上通过TensorRT 导出运行。此示例会检测摄像头画面中的人,并将置信度最高的检测结果转换为转向指令;它使用比例控制器,这是视觉伺服最简单的形式:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Perceive: detect people (COCO class 0) in the robot's camera frame
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])
result = results[0]

# Act: steer toward the most confident person with a proportional controller
best = int(result.boxes.conf.argmax())
x_center = float(result.boxes.xywhn[best, 0])  # 0 = left edge of the frame, 1 = right edge
turn_rate = -1.5 * (x_center - 0.5)  # rad/s; positive turns left, toward a person on the left
print(f"Person at {x_center:.2f} of frame width -> turn command {turn_rate:+.2f} rad/s")

它会输出所选人物在画面中的位置,以及一条转向指令;指令的正负号表示机器人应朝哪个方向转向以靠近目标,数值大小则随偏移量增大而增大。在机器人上,这两个步骤会对每一帧摄像头画面运行一次,因此机器人转向目标时,指令会逐渐减小到零。

Physical AI 的训练#

数据是核心瓶颈:互联网上有数以万亿计的词语,却只有极少的机器人动作记录,而且每份记录都与某一台机器人的机身和传感器绑定。团队会收集遥操作示范,由人们操控机器人完成任务,同时记录传感器数据和指令,然后训练策略来模仿这些示范。NVIDIA Isaac Lab等物理模拟器可以让数千个机器人并行运行,以进行深度强化学习,并对物理规律和外观进行领域随机化,缩小仿真与现实之间的差距。渲染场景和数字孪生可为感知模型提供带标签的罕见场景合成数据,而世界模型则能生成记录场景的新变化,例如同一条街道上的雨天或夜间场景。

实际应用#

  • 物流:自主移动机器人会在仓库中利用自行构建的地图导航,绕开行人和叉车;自动导引车则沿固定路线行驶。
  • 制造业:视觉引导机械臂可抓取随机堆放的零件、组装组件并检查自身作业;人形机器人也已开始试点部署,用于搬运周转箱和零件。
  • 医疗保健:2025 年,Johns Hopkins 的 SRT-H 机器人通过外科医生视频进行训练,在没有人类控制其机械臂的情况下,对八个离体猪胆囊完成了胆囊切除术的关键阶段,同时还能响应口头纠正指令。
  • 农业:收割和除草机器人通过摄像头识别单株植物并逐株采取行动,例如只清除杂草,而不对整片田地喷洒农药。
  • 驾驶:自动驾驶出租车和驾驶辅助系统是部署规模最大的实体 AI 设备群,会每秒多次感知交通状况并控制车辆。
  • 机器人技术:设计和制造机器人的工程领域,涵盖机械、电子和控制。Physical AI 是通过学习获得、负责感知和决策的智能,也可以运行并非称作机器人的车辆和机器。
  • 生成式 AI:用于生成文本、图像、视频和代码。如今,它的技术也为 Physical AI 提供支持,从生成机器人动作的扩散模型到生成训练场景的世界模型,都是如此。
  • 空间智能:理解和推理三维空间、物体及其关系的能力,这是 Physical AI 所依赖的一项能力。
  • 边缘 AI:直接在设备本身运行模型。Physical AI 几乎总是边缘 AI,因为机器人不能在刹车前等待网络往返通信。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来