Physical AI
具身智能让机器人、车辆和其他机器感知、推理并作用于真实世界。涵盖技术栈、训练和应用。
Physical AI 是能够通过实体感知、理解并作用于物理世界的人工智能(AI),其载体包括机器人、无人机、自动驾驶汽车和智能工业机器。聊天机器人的输出是屏幕上的文本,而 Physical AI 系统的输出是电机指令,其结果取决于摩擦力、重力、碰撞以及附近的人,因此系统必须充分理解三维空间和因果关系,才能实时安全地行动。NVIDIA 将这一术语作为其机器人和仿真平台的核心概念;随着大型预训练模型开始控制真实机器人,这个术语也逐渐广泛使用。Physical AI 与较早的研究术语具身 AI含义接近,但在业界更常使用 Physical AI。
Physical AI 系统的工作原理#
每个 Physical AI 系统都会在感知与行动之间建立闭环,并且每秒循环多次:
- 感知输入:摄像头、激光雷达、雷达、惯性测量单元、关节编码器和力传感器会测量环境和机器自身的状态。
- 感知:视觉模型将原始像素转换为物体、深度、位姿和地图,供规划器进行推理。
- 决策:规划器、学习得到的策略或大型机器人基础模型会选择下一步动作。
- 执行动作:电机、夹爪、车轮和制动器执行动作,传感器则在下一步测量动作产生的效果。
传感器融合整合不同传感器的优势,计算机视觉承担大部分感知工作,而决策则由模型预测控制等控制器、通过强化学习训练的策略或机器人基础模型作出。这些基础模型越来越多地将决策分配给两个模型:一个较慢的模型负责理解指令和场景,一个较快的模型负责输出电机指令。NVIDIA 开放的 GR00T N1 人形机器人模型就是一个例子,它将视觉语言模型与独立的动作模块结合起来:
视觉-语言-动作(VLA)模型在一个网络中同时承担这两种角色。Google DeepMind 的 RT-2 于 2023 年展示了经过微调、能够以 token 形式输出机器人动作的视觉语言模型,证明它可以将从网络数据中学到的知识用于控制。Physical Intelligence 的 π0加入了流匹配动作专家,其理念与扩散策略相近,可以一次性输出多个未来步骤组成的平滑动作块;Google DeepMind 的 Gemini Robotics模型则将这一方法扩展到折纸等灵巧的多步骤任务。
从感知到行动:代码示例#
感知是控制回路中的第一个环节,其速度决定了机器的反应速度上限。Ultralytics YOLO26专为这一边缘角色打造,并可在NVIDIA Jetson等机器人计算机上通过TensorRT 导出运行。此示例会检测摄像头画面中的人,并将置信度最高的检测结果转换为转向指令;它使用比例控制器,这是视觉伺服最简单的形式:
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
# Perceive: detect people (COCO class 0) in the robot's camera frame
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])
result = results[0]
# Act: steer toward the most confident person with a proportional controller
best = int(result.boxes.conf.argmax())
x_center = float(result.boxes.xywhn[best, 0]) # 0 = left edge of the frame, 1 = right edge
turn_rate = -1.5 * (x_center - 0.5) # rad/s; positive turns left, toward a person on the left
print(f"Person at {x_center:.2f} of frame width -> turn command {turn_rate:+.2f} rad/s")它会输出所选人物在画面中的位置,以及一条转向指令;指令的正负号表示机器人应朝哪个方向转向以靠近目标,数值大小则随偏移量增大而增大。在机器人上,这两个步骤会对每一帧摄像头画面运行一次,因此机器人转向目标时,指令会逐渐减小到零。
Physical AI 的训练#
数据是核心瓶颈:互联网上有数以万亿计的词语,却只有极少的机器人动作记录,而且每份记录都与某一台机器人的机身和传感器绑定。团队会收集遥操作示范,由人们操控机器人完成任务,同时记录传感器数据和指令,然后训练策略来模仿这些示范。NVIDIA Isaac Lab等物理模拟器可以让数千个机器人并行运行,以进行深度强化学习,并对物理规律和外观进行领域随机化,缩小仿真与现实之间的差距。渲染场景和数字孪生可为感知模型提供带标签的罕见场景合成数据,而世界模型则能生成记录场景的新变化,例如同一条街道上的雨天或夜间场景。
实际应用#
- 物流:自主移动机器人会在仓库中利用自行构建的地图导航,绕开行人和叉车;自动导引车则沿固定路线行驶。
- 制造业:视觉引导机械臂可抓取随机堆放的零件、组装组件并检查自身作业;人形机器人也已开始试点部署,用于搬运周转箱和零件。
- 医疗保健:2025 年,Johns Hopkins 的 SRT-H 机器人通过外科医生视频进行训练,在没有人类控制其机械臂的情况下,对八个离体猪胆囊完成了胆囊切除术的关键阶段,同时还能响应口头纠正指令。
- 农业:收割和除草机器人通过摄像头识别单株植物并逐株采取行动,例如只清除杂草,而不对整片田地喷洒农药。
- 驾驶:自动驾驶出租车和驾驶辅助系统是部署规模最大的实体 AI 设备群,会每秒多次感知交通状况并控制车辆。










