遇见 YOLO26: 下一代视觉 AI。
Ultralytics
视觉 AI

了解计算机视觉在机器人技术中的集成

探索计算机视觉在机器人技术中的集成如何改变机器在各行各业感知和响应周围环境的方式。

ABAbirami Vina
5 min read
集成到机器人系统中的计算机视觉

AI 在机器人领域的进步速度惊人,机器人正被构建用于以更少的人工干预执行更复杂的任务。例如,DeepMind 的 RoboCat 是一款 AI 驱动的机器人,只需 100 次演示即可学习新任务。RoboCat 随后可以使用这些输入来生成更多 训练 数据并提高其技能,在进一步训练后将其成功率从 36% 提升至 74%。像 RoboCat 这样的创新展示了在创建能够以极少的人工输入处理各种任务的机器人方面迈出的重要一步。

DeepMind RoboCat 工作原理示意图

图 1. DeepMind 的 RoboCat 工作原理。

人工智能驱动的机器人已经在各种实际应用中产生影响,例如 亚马逊使用机器人 来精简 仓库运营,以及在 农业 中优化耕作实践的 AI 机器人。此前,我们探讨了 AI 在机器人领域 的整体作用,并看到了它如何重塑从 物流医疗保健 的各行各业。在本文中,我们将深入探讨为什么计算机视觉在机器人技术中如此关键,以及它如何帮助机器人感知和解释周围环境。

Link to this section视觉系统在机器人技术中的重要性#

机器人中的视觉系统充当机器人的眼睛,帮助它识别和理解其环境。这些系统通常使用 摄像头 和传感器来捕获视觉数据。计算机视觉算法 然后处理捕获的视频和图像。通过 目标检测、深度感知和 模式识别,机器人可以识别物体、评估周围环境并做出实时决策。

配备机器视觉的机器人

图 2. 配备机器视觉的机器人(来源:roboticstomorrow.com)。

视觉 AI 或机器视觉对于机器人在动态和非结构化环境中自主操作至关重要。如果机器人需要捡起一个物体,它应该能够使用计算机视觉定位它。这是一个非常简单的例子。构建机器人可以在 制造业 中检查产品,或以精确度和准确性辅助 医疗手术 的应用,也需要计算机视觉系统的相同基础。通过提供实时决策所需的感官输入,视觉系统使机器人能够更自然地与周围环境互动,并扩展它们在各行业中能够处理的任务范围。

Link to this section自主机器人计算机视觉的最新进展#

最近,全球范围内计算机视觉在机器人技术中的应用有所增加。事实上,全球机器人视觉市场 预计到 2028 年将达到 40 亿美元。让我们看看一些案例研究,展示视觉 AI 如何应用于现实世界的机器人应用中,以提高效率并解决复杂问题。

Link to this section利用视觉 AI 和机器人技术改进水下检查#

水下检查对于保持管道、海上钻井平台 和水下电缆等结构处于良好状态至关重要。这些检查有助于确保一切安全并正常运作,从而防止昂贵的维修或 环境问题。然而,由于能见度差和难以触及的区域,检查 水下 环境可能很困难。

带有计算机视觉的机器人可以捕获清晰、高质量的视觉数据,这些数据可以现场分析,或者用于创建正在检查区域的详细 3D 模型。通过将人类专业知识与该技术相结合,检查变得更安全、更高效,并为维护和长期规划提供了更好的见解。

例如,领先的商业潜水公司 NMS 使用 Blue Atlas Robotics 的 Sentinus 遥控潜水器 (ROV) 进行了一次具有挑战性的水下管道检查,该管道的入口点非常浑浊。配备计算机视觉的 Sentinus ROV 用其 14 盏灯照亮了该区域,并从不同角度捕获了高分辨率图像。这些图像随后被用于创建管道内部的精确 3D 模型,以帮助 NMS 全面评估其状况并做出明智的维护和风险管理决策。

Blue Atlas Robotics Sentinus ROV 的工作原理

图 3. Blue Atlas Robotics 的 Sentinus (ROV) 工作原理。

Link to this section利用视觉 AI 和机器人精度建造房屋#

建筑 行业中,在应对劳动力短缺的同时保持一致的质量可能具有挑战性。使用工业机器人实现建筑自动化提供了一种精简建筑过程、减少对人工需求并保证精确、高质量工作的方法。通过使机器人能够执行实时监控和 检查,计算机视觉技术可以集成到这种自动化中。具体而言,计算机视觉系统可以帮助机器人检测材料中的错位或缺陷,以复核一切是否定位正确并符合质量标准。

一个很好的例子是 ABB Robotics 与英国初创公司 AUAR 之间的合作。他们共同使用配备视觉 AI 的机器人微型工厂,用板材木材建造负担得起的、可持续的房屋。计算机视觉使机器人能够精确地切割和组装材料。自动化过程有助于缓解劳动力短缺,并通过专注于单一材料来简化供应链。此外,这些微型工厂可以扩展以满足当地需求并支持附近的工作岗位,同时使建筑更加高效和灵活。

由 Vision AI 驱动的机器人微型工厂

图 4. 视觉 AI 驱动的机器人微型工厂。

Link to this section使用 3D 视觉 AI 实现 EV 充电自动化#

EV 充电是视觉 AI 在机器人技术中的另一个有趣用例。利用 3D 视觉和 AI,机器人现在可以自动定位并连接到 EV 充电端口,即使在户外 停车场 等具有挑战性的环境中也是如此。视觉 AI 通过捕获车辆及其周围环境的高分辨率 3D 图像来工作,使机器人能够准确识别充电端口的位置。然后,它可以计算连接充电器所需的精确位置和方向。视觉赋能的 AI 不仅加快了充电过程,而且使其更可靠,并减少了人工干预的需要。

这方面的一个例子是 Mech-Mind 与一家大型能源公司的合作。他们开发了一种 3D 视觉引导机器人,即使在复杂的照明条件下,也能精确找到并连接到 EV 的充电端口。自动 EV 充电提高了商业空间(如办公楼和商场)的效率和充电能力。

3D 视觉引导的电动汽车充电

图 5. 3D 视觉引导的 EV 充电。

Link to this section视觉 AI 对机器人应用的好处#

计算机视觉在机器人技术中提供了多种好处,并帮助机器以更高的自主性、精确度和适应性执行任务。以下是视觉 AI 在机器人技术中的一些独特优势:

  • 成本效率:通过自动化需要高精度和一致性的任务,视觉 AI 减少了对人工的需求,降低了错误率,并提高了生产力,从而实现长期的成本节约。
  • 自适应学习:通过持续的视觉数据分析,机器人可以随着时间的推移提高其性能,从交互中学习,并适应新任务或环境变化。
  • 安全与合规:视觉 AI 使机器人能够检测并避开障碍物、识别不安全情况并遵守法规标准,从而提高了与人类一起工作的机器人的安全性。
  • 多任务处理:图像分析允许机器人同时处理多项任务,例如在检查物体时对其进行分类,从而提高整体效率。

Link to this section机器人技术中的计算机视觉挑战#

虽然视觉 AI 为机器人技术提供了许多优势,但也存在与在机器人技术中实施计算机视觉相关的挑战。这些挑战可能会影响机器人在不同环境中的表现以及它们运行的可靠性,因此在规划机器人系统的开发和部署时记住这些挑战非常重要。以下是在机器人技术中使用计算机视觉的一些关键挑战:

  • 与其他传感器的集成:视觉系统通常需要与 LiDAR 或超声波传感器等其他传感器协同工作。确保这些不同的传感器顺利协作以提供对环境的完整理解是一项复杂的任务。
  • 实施成本:开发和部署高级视觉系统可能非常昂贵。平衡 实施视觉 AI 的成本 与预期收益是许多组织面临的挑战。
  • 数据的质量和可用性:机器视觉系统依赖于大型数据集进行训练,但获取高质量、已标记且能准确代表机器人各种情况的数据可能很困难。如果数据较差或不完整,可能会导致模型准确性降低以及机器人性能不佳。
  • 跨条件的可靠性:计算机视觉系统需要可靠并在各种设置(如室内和室外环境)中保持一致的表现。然而,在不频繁进行调整或人工干预的情况下确保这种耐用性可能很困难。

Link to this section视觉 AI 正在塑造下一代机器人#

视觉 AI 正在改变机器人与环境互动的方式,赋予它们曾经无法想象的理解和精度水平。我们已经看到计算机视觉在制造业和医疗保健等领域产生重大影响,机器人正在处理越来越多的复杂任务。随着 AI 的持续发展和计算机视觉系统的改进,机器人的能力上限也在不断提升。机器人技术的发展不仅仅在于先进技术,更在于创造能够与我们协同工作的机器人。随着机器人变得越来越有能力,它们可能会在我们的日常生活中扮演更重要的角色,开辟新的机会,并使我们的世界更加高效和互联。

加入 我们的社区 并探索我们的 GitHub 存储库 以了解各种视觉 AI 用例。你还可以在我们的解决方案页面上找到有关 自动驾驶制造业 中计算机视觉应用的更多信息。

Explore solutions

Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。

了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。

了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。

了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。

了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。

了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。

了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。

了解更多
Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。

了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。

了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。

了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。

了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。

了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。

了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。

了解更多
Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。

了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。

了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。

了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。

了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。

了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。

了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。

了解更多

让我们一起构建 AI 的未来!

开启你的机器学习未来之旅