Ultralytics YOLO27: 加入候补名单。
获取 YOLO 许可
返回 Ultralytics 术语表

Robotics

机器人技术致力于构建能够感知、决策并作用于物理世界的机器。了解感知、规划、控制和通过学习得到的机器人策略如何协同工作。

机器人学是设计、制造和编程机器人的工程领域:机器人是能够感知周围环境、决定采取什么行动,并通过电机和其他执行器作用于物理世界的机器。机器人学结合了机械与电气工程、控制理论和计算机科学。传统工业机器人会在围栏隔离的工作单元中重复预先编写的动作,而人工智能(AI)让新型机器人能够应对各种变化:找到位置并非完全固定的零件、绕开人员,并通过演示而非手写代码学习操作技能。

机器人的工作原理:感知、规划、行动#

大多数机器人软件都遵循持续运行的感知-规划-行动结构:

  • 传感: 摄像头、深度传感器、激光雷达、惯性测量单元(IMU)、关节编码器和力-扭矩传感器会测量环境和机器人自身的状态。
  • 感知: 计算机视觉模型通过目标检测、分割、姿态估计和深度估计,将原始图像转换为物体、人员、表面和距离信息。
  • 状态估计与建图: 使用卡尔曼滤波器等滤波器进行传感器融合,以估计机器人的位置和运动;视觉 SLAM则在机器人于未知空间中移动时构建地图并跟踪机器人位置。
  • 规划: 任务规划器决定下一步要做什么,运动规划器则为车轮或机械臂计算无碰撞路径。
  • 控制: 从 PID 控制回路到模型预测控制,低级控制器会驱动电机执行规划,通常每秒执行数百次。

ROS 2(机器人操作系统)等中间件将这些组件连接为独立进程,让它们通过命名话题交换消息。每次行动都会改变传感器接下来看到的内容,因此这一循环能够持续运行:

控制回路中的视觉#

感知必须足够快,才能让机器人的自带计算机及时进行规划;这台计算机通常是 NVIDIA Jetson 等嵌入式 GPU 模块。Ultralytics 的 ROS 快速入门指南会将 Ultralytics YOLO26作为 ROS 节点运行:该节点订阅摄像头话题,并发布带标注的检测与分割结果、检测到的类别名称,以及根据深度图像计算的物体距离,供其他节点使用。从感知到行动的同一步骤只需几行 Python 代码即可实现;下面的示例会在摄像头画面中出现人员时立即让移动机器人停下:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"

# Sense-act loop: read frames as they arrive and stop as soon as a person is detected
for frame_idx, result in enumerate(model.predict(video, stream=True, classes=[0])):
    if len(result.boxes) > 0:
        print(f"Person detected in frame {frame_idx}: sending stop command")
        break

使用 stream=True 时,模型会随着视频读取逐帧生成一个结果;使用 source=0 这样的实时摄像头索引时,也采用相同的模式。

基于学习的机器人技术#

学习得到的感知能力如今已成为标准做法,而学习方法也越来越多地应用于规划和控制:

  • 模仿学习: 机器人通过行为克隆从远程操控演示中学习。动作分块和扩散策略等技术让机器人能够实际完成精细操作,例如折叠衣物或插入连接器。
  • 仿真中的强化学习: 使用强化学习在数百万次仿真试验中训练的策略,可以借助领域随机化迁移到真实硬件。领域随机化会改变物理参数和外观,使真实世界看起来像又一种变化。四足机器人和人形机器人的敏捷行走与奔跑控制器通常都采用这种方式训练。
  • 机器人基础模型: 视觉-语言-动作模型将摄像头图像和自然语言指令直接转换为电机命令。示例包括 Physical Intelligence 的 π0、Google DeepMind 的 Gemini Robotics,以及 NVIDIA 面向人形机器人的开放式 Isaac GR00T模型。训练数据会汇集多种机器人的数据,例如 Open X-Embodiment数据集,其中包含来自 22 种机器人类型的逾 100 万条轨迹。

这些方法通常归为具身人工智能和物理人工智能,这两个 AI 研究领域关注通过身体感知并采取行动的智能体。

机器人学与机器人流程自动化#

机器人流程自动化(RPA)虽有“机器人”之名,却不涉及硬件:RPA“机器人”是用于自动执行重复数字工作的软件,例如在业务应用之间复制数据或处理发票。机器人学始终涉及实体机器,例如 Boston Dynamics 的 Spot四足机器人会在施工现场行走并拍摄检查图像。

应用场景#

  • 制造业: 多关节机械臂负责焊接、喷漆和装配,而协作机器人(cobot)则以较低速度和力度在人旁边工作。视觉技术可引导料箱拣选,并检查零件缺陷。
  • 物流: 自主移动机器人(AMR)利用机载地图和感知能力在仓库中导航,并绕开障碍物改道;较早的自动导引车(AGV)则沿着固定的磁带或导线路径行驶。
  • 农业: 机器人利用视觉区分植物,从而为农作物除草、间苗和采收。
  • 医疗保健: 远程操控手术系统会将外科医生的手部动作转化为精确的器械运动,移动机器人则在医院内配送物资。
  • 交通运输: 自动驾驶车辆和无人机是以更高速度运行同一感知-规划-行动循环的移动机器人。

根据国际机器人联合会的数据,2024 年全球安装了 542,000 台工业机器人,其中 54% 位于中国,使在运行的工业机器人总数达到约 466 万台。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来