深圳Yolo 视觉
深圳
立即加入

将计算机视觉与Ultralytics YOLO11集成到机器人技术中

Abirami Vina

5 分钟阅读

2025年3月18日

近距离了解Ultralytics YOLO11 等计算机视觉模型如何让机器人变得更加智能,并塑造机器人技术的未来。

自 20 世纪 50 年代发明的第一台工业机器人 Unimate 以来,机器人已经走过了漫长的道路。最初是预编程的、基于规则的机器,现在已经发展成为能够执行复杂任务并与现实世界无缝交互的智能系统。 

如今,机器人被用于从制造业和医疗保健到农业的各个行业,用于各种流程自动化。机器人技术发展的关键因素是 AI 和 计算机视觉,它是 AI 的一个分支,可帮助机器理解和解释视觉信息。

例如,计算机视觉模型 Ultralytics YOLO11等计算机视觉模型正在提高机器人系统的智能。将视觉人工智能集成到这些系统中后,机器人就能识别物体、导航环境并做出实时决策。

在本文中,我们将了解YOLO11 如何利用先进的计算机视觉功能增强机器人,并探讨其在各行各业的应用。

人工智能和计算机视觉在机器人技术中的概述

机器人的核心功能取决于它对周围环境的理解程度。这种感知将其物理硬件与智能决策联系起来。没有它,机器人只能遵循固定的指令,并且难以适应不断变化的环境或处理复杂的任务。正如人类依靠视觉来导航一样,机器人使用计算机视觉来解释其环境,了解情况并采取适当的行动。

图 1. 一个机器人正在玩井字游戏,它使用计算机视觉来解释棋盘并做出战略性移动。

事实上,计算机视觉是大多数机器人任务的基础。它可以帮助机器人在移动过程中detect 物体并避开障碍物。然而,要做到这一点,仅仅看到世界是不够的;机器人还必须能够迅速做出反应。在现实世界中,即使是轻微的延迟也会导致代价高昂的错误。Ultralytics YOLO11 等模型使机器人能够实时收集洞察力,即使在复杂或陌生的情况下也能立即做出反应。

了解Ultralytics YOLO11

在深入探讨如何将YOLO11 集成到机器人系统中之前,让我们先来了解一下YOLO11的主要功能。

Ultralytics YOLO 模型支持各种计算机视觉任务,有助于提供快速、实时的洞察力。其中,Ultralytics YOLO11 性能更快、计算成本更低、精度更高。例如,它可用于高精度地detect 图像和视频中的物体,因此非常适合机器人、医疗保健和制造业等领域的应用。 

以下是使YOLO11 成为机器人技术最佳选择的一些具有影响力的功能:

  • 易于部署:它易于部署,并且可以无缝集成到各种软件和硬件平台中。
  • 适应性强: YOLO11 在不同的环境和硬件设置下都能很好地工作,即使在动态条件下也能提供一致的性能。

用户友好: YOLO11易于理解的文档和界面有助于降低学习曲线,使其易于集成到机器人系统中。

图 2.使用YOLO11 分析图像中人物姿势估计 示例。

探索由YOLO11支持的计算机视觉任务YOLO11

下面我们将详细介绍YOLO11 支持的一些计算机视觉任务: 

  • 对象检测:YOLO11 的实时物体检测功能可让机器人即时识别和定位视野内的物体。这有助于机器人避开障碍物,执行动态路径规划,并在室内和室外环境中实现自动导航。
  • 实例分割:通过识别单个物体的准确边界和形状,YOLO11 可帮助机器人执行精确的拾放操作和复杂的装配任务。
  • 姿势估计 YOLO11对姿势估计 的支持使机器人能够识别和解释人类的肢体动作和手势。
  • 对象跟踪:
    YOLO11
  • 图像分类:YOLO11 可以classify 图像中的物体进行classify ,让机器人可以根据物体类型对物品进行分类、detect 异常或做出决策,例如识别医疗保健环境中的医疗用品。
图 3. YOLO11 支持的计算机视觉任务。

人工智能在机器人技术中的应用:由YOLO11提供技术支持

从智能学习到工业自动化,YOLO11 等模型有助于重新定义机器人的功能。它与机器人技术的结合展示了计算机视觉模型如何推动自动化领域的进步。让我们探讨一下YOLO11 能够产生重大影响的一些关键领域。

使用计算机视觉教机器人 

计算机视觉被广泛应用于仿人机器人,使其能够通过观察环境进行学习。像YOLO11 这样的模型可以提供先进的物体检测和姿势估计 ,帮助机器人准确解读人类的动作和行为,从而增强这一过程。

通过实时分析细微的动作和交互,可以训练机器人复制复杂的人工任务。这使他们能够超越预先设定的程序并学习任务,例如仅通过观看人来使用遥控器或螺丝刀。

图 4.模仿人类动作的机器人。

这种类型的学习在不同的行业中都很有用。例如,在农业中,机器人可以观察人类工人学习诸如种植、收割和管理作物等任务。通过复制人类完成这些任务的方式,机器人可以适应不同的农业条件,而无需为每种情况进行编程。

与医疗机器人相关的应用

同样,在医疗保健领域,计算机视觉也变得越来越重要。例如,YOLO11 可用于医疗设备,帮助外科医生完成复杂的手术。通过物体检测和实例分割等功能,YOLO11 可以帮助机器人发现身体内部结构、管理手术工具并做出精确的动作。

虽然这听起来像是科幻小说中的情节,但最近的研究证明了计算机视觉在外科手术中的实际应用。在一项关于自主机器人胆囊切除术(胆囊切除)的有趣研究中,研究人员将YOLO11 集成到组织分割 (对图像中的不同组织进行分类和分离)和手术器械关键点检测(识别工具上的特定地标)中。 

该系统能够准确区分不同的组织类型——即使组织在手术过程中变形(改变形状)——并动态地适应这些变化。这使得机器人仪器可以沿着精确的解剖(外科切割)路径进行操作。

智能制造和工业自动化

可以拾取和放置物体的机器人在自动化制造运营和优化供应链方面发挥着关键作用。它们的速度和准确性使它们能够以最少的人工输入来执行任务,例如识别和分类物品。 

利用YOLO11的精确实例分割功能,可以训练机械臂detect 和segment 传送带上移动的物体,准确地拾取它们,并根据其类型和大小将它们放置到指定位置。

例如,流行的汽车制造商正在使用基于视觉的机器人来组装不同的汽车零件,从而提高装配线的速度和精度。像YOLO11 这样的计算机视觉模型可以让这些机器人与人类工人一起工作,确保自动化系统在动态生产环境中的无缝集成。这一进步可以加快生产速度,减少错误,提高产品质量。

图 5. 基于视觉的机械臂正在组装汽车。

将Ultralytics YOLO11 集成到机器人技术中的优势

YOLO11 具有多项主要优势,是无缝集成到自主机器人系统的理想选择。以下是一些主要优势:

  • 推理延迟:
    YOLO11
  • 轻量级型号
    YOLO11
  • 节能: YOLO11 采用节能设计,非常适合需要在保持高性能的同时节约电能的电池供电机器人。

机器人技术中视觉 AI 的局限性

虽然计算机视觉模型为机器人视觉提供了强大的工具,但在将其集成到实际机器人系统中时,仍需考虑一些限制。这些限制包括:

  • 昂贵的数据收集:为特定于机器人的任务训练有效的模型通常需要大量、多样且良好标记的数据集,而这些数据集的获取成本很高。
  • 环境变化:机器人工作在不可预测的环境中,光照条件或杂乱的背景等因素会影响视觉模型的性能。
  • 校准和对齐问题: 确保视觉系统经过适当校准并与机器人的其他传感器对齐,这对于准确的性能至关重要,而未对齐可能会导致决策错误。

机器人和人工智能进步的未来

计算机视觉系统不仅仅是当今机器人的工具,它们还是机器人自主运行的未来基石。凭借其实时检测能力和对多任务的支持,它们非常适合下一代机器人技术

事实上,当前的市场趋势表明,计算机视觉在机器人技术中正变得越来越重要。行业报告强调,计算机视觉是全球 AI 机器人市场中第二大广泛使用的技术。 

图 6. 全球人工智能机器人按技术划分的市场份额。

主要要点

凭借处理实时视觉数据的能力,YOLO11 可以帮助机器人更准确地detect、识别周围环境并与之互动。这对于机器人可以与人类协作的制造业和可以协助复杂手术的医疗保健业等领域而言,意义重大。 

随着机器人技术的不断进步,将计算机视觉集成到此类系统中对于使机器人能够更有效地处理各种任务至关重要。 机器人技术的未来看起来充满希望,人工智能和计算机视觉将推动更智能、更适应性强的机器。

加入我们的社区,并查看我们的GitHub仓库,以了解更多关于人工智能的最新进展。在我们的解决方案页面上探索人工智能在医疗保健领域计算机视觉在农业领域的各种应用。查看我们的许可计划,以构建您自己的计算机视觉解决方案。

让我们一起构建人工智能的未来!

开启您的机器学习未来之旅

免费开始