计算机视觉驱动视觉 AI 智能体的决策方式

从制造业到零售业，每个行业都有自身的流程挑战，而寻找创新方式解决这些问题一直是企业成功运营的关键。近年来，AI 代理已成为许多领域广受欢迎的解决方案。这些系统不只是分析数据，还能采取行动。

例如，制造业中的 AI 代理可以实时检测缺陷，并自动启动质量控制措施，确保生产顺利进行。同样，在物流和零售业中，它们可以利用智能监控来监测多个地点，并立即向团队发出异常活动警报。

随着这一趋势不断发展，AI 代理正在积极改变全球各行各业。全球 AI 代理市场在 2024 年达到 51 亿美元，预计到 2030 年将增长至 471 亿美元。

图 1。全球 AI 代理市场规模概览。

推动这些进步的关键技术之一是计算机视觉。视觉 AI 让机器能够处理和解读视觉数据，使 AI 代理可以极高精度地执行实时目标检测、实例分割和目标跟踪等计算机视觉任务。它弥合了机器所看到的内容与机器进行决策之间的鸿沟，因此成为许多 AI 驱动解决方案的重要组成部分。

本文将探讨 AI 代理及其与计算机视觉的关系。我们还将介绍不同类型的 AI 代理，以及它们如何应用于基于视觉的应用中。让我们开始吧！

什么是 AI 代理？#

在深入了解基于视觉的 AI 代理之前，我们先花一点时间了解 AI 代理的基本概念，看看这些系统究竟有多么灵活。

AI 代理是一种能够理解并响应任务或问题的智能系统，无需人类协助。许多 AI 代理使用机器学习和自然语言处理（NLP）来处理各种任务，从回答基本问题到管理复杂流程。

一些 AI 代理甚至能够随着时间推移不断学习和改进，这不同于每次更新都依赖人类输入的传统 AI 系统。这正是 AI 代理迅速成为 AI 领域必不可少的一部分的原因。它们可以自动化执行任务、做出决策，并与环境交互，而不需要持续监督。它们尤其适合管理重复且耗时的任务。

例如，在客户服务和酒店服务等行业中都可以找到 AI 代理。在客户服务领域，AI 代理可用于处理退款并提供个性化产品推荐。同时，在酒店服务行业，它们可以帮助酒店员工管理宾客请求、简化客房服务流程，并向宾客推荐附近的景点。这些例子展示了 AI 代理如何让日常流程更快速、更高效。

了解视觉 AI 代理的工作原理#

接下来，我们快速了解一下 AI 代理的工作方式。虽然每个 AI 代理都各不相同，并且针对特定任务进行设计，但它们都包含相同的三个主要步骤：感知、决策和行动。

首先，在感知步骤中，AI 代理从不同来源收集信息，以了解正在发生的事情。接下来是决策。AI 代理会根据收集到的信息，利用算法分析情况并决定最佳行动方案。最后是行动。一旦做出决策，它就会执行该决策——无论是回答问题、完成任务，还是标记问题交由人类处理。

这听起来可能很简单，但根据 AI 代理的类型不同，为了让这些步骤顺利运行，幕后通常需要处理大量工作。从分析复杂数据到使用先进的机器学习模型，每个 AI 代理都以自己的方式构建，用于处理特定任务。

例如，许多 AI 代理专注于通过 NLP 处理语言，而另一些被称为视觉 AI 代理的系统则集成计算机视觉来处理视觉数据。借助 Ultralytics YOLO11 等先进的计算机视觉模型，视觉 AI 代理可以执行更精准的图像分析。

图 2。 使用 YOLO11 对图像中的苹果进行计数的示例。

自动驾驶汽车中的视觉 AI 代理#

下面以自动驾驶汽车为例，看看视觉 AI 代理如何通过上述三个主要步骤工作：

• 感知：自动驾驶汽车中的视觉 AI 代理从安装在车辆上的摄像头和传感器收集视觉数据。这些数据包括周围环境的图像和视频，例如其他车辆、行人、交通信号灯和道路标志。
• **决策：**AI 代理使用 Ultralytics YOLO11 等模型处理这些视觉数据。它可以识别汽车和行人等目标，检测障碍物或突然变道，并识别车流和信号灯状态等模式。这有助于汽车实时了解道路状况。
• **行动：**AI 代理根据分析结果采取行动，例如转向避开障碍物、调整速度或在红灯前停车。为了确保驾驶安全高效，这些决策会被快速执行。

Waymo 的自动驾驶汽车就是这项技术的优秀示例。它们使用视觉 AI 代理了解周围环境、实时做出决策，并在没有人类输入的情况下安全高效地在道路上行驶。

图 3。 Waymo 基于 AI 代理的自动驾驶出租车。

视觉 AI 代理的类型#

现在我们已经了解了 AI 代理的工作方式以及它们如何使用计算机视觉，接下来看看不同类型的 AI 代理。每种类型都针对特定任务进行设计，从简单操作到更复杂的决策和学习。

简单反射代理#

简单反射代理是最基本的一类 AI 代理。它们根据当前情况，对特定输入做出预定义的响应，而不考虑任何历史信息或未来结果。这些代理通常使用简单的“如果—那么”规则来指导行为。

在图像分析中，简单反射代理可能会被编程为检测特定颜色（例如红色）并触发即时操作（例如突出显示或统计红色目标）。虽然这种方式适用于简单直接的任务，但面对更复杂的环境时就显得不足，因为代理不会从以往的经验中学习或进行适应。

基于模型的反射代理#

基于模型的反射代理比简单反射代理更先进，因为它们使用环境的内部模型来更好地理解当前情况。该模型让它们能够处理缺失或不完整的信息，并做出更有依据的决策。

以AI 安防摄像头系统为例。其中集成的视觉 AI 代理可以使用计算机视觉实时分析正在发生的事情。它们可以将动作和行为与正常行为模型进行比较，从而更准确地发现异常活动（如商店盗窃），并标记潜在的安全威胁。

图 4。 使用计算机视觉检测盗窃行为的示例。

效用型代理#

想象一架用于农作物监测的效用型无人机。它会在避开障碍物的同时调整飞行路径，以覆盖更大范围，并选择最适合任务的路线。这意味着无人机会评估多个潜在行动，例如优先监测哪个区域或如何高效导航，然后选择能够最大化其效用的行动。

同样，效用型代理的设计目标是从多个选项中选择最佳行动，以获得最大收益或最佳结果。为此设计的视觉 AI 代理可以处理和分析不同的视觉输入，例如图像或传感器数据，并根据预定义标准选择最有用的结果。

图 5。效用型无人机可用于农作物监测。

目标型代理#

目标型代理与效用型代理相似，因为两者都旨在实现特定目标。不过，目标型代理只关注能够让自身更接近既定目标的行动。它们根据每个行动对实现目标的帮助程度进行评估，而不会权衡总体价值或取舍等其他因素。

例如，当目标是抵达目的地时，自动驾驶汽车就以目标型代理的方式运行。它会处理来自 AI 摄像头和传感器的数据，做出避开障碍物、遵守交通信号以及选择正确转弯路线等决策。这些决策完全取决于其与安全高效抵达目的地这一目标的契合程度。与效用型代理不同，目标型代理只关注实现目标，不会考虑效率或优化等额外标准。

图 6。 使用计算机视觉识别周围目标的自动驾驶汽车。

学习型代理#

如果你熟悉计算机视觉，可能听说过微调——这是一种通过从新数据中学习来改进模型的过程。学习型代理的工作方式类似：它们在积累经验的过程中不断适应和改进。在基于视觉的质量控制等应用中，这些代理会在每次检查后提高缺陷检测能力。这种不断优化性能的能力在航空等领域尤其重要，因为安全性和精确性至关重要。

分层代理#

分层代理将复杂任务拆分为更小、更易管理的步骤，从而简化任务。高层代理负责监督整个流程并做出战略决策，而低层代理则处理具体任务。对于涉及多个步骤和详细执行的操作，这种方式更加高效。

例如，在自动化仓库中，高层机器人可能会规划分拣流程，决定哪些物品应送往哪些区域。与此同时，低层机器人专注于使用计算机视觉识别物品，分析尺寸、形状或标签等特征，并将物品整理到正确的箱格中。明确划分职责有助于系统顺利运行。

图 7。 机器人 AI 代理分拣包裹的示例。

如何开始构建视觉 AI 代理#

具备视觉能力的 AI 代理的核心是计算机视觉模型。当前可用的最新且最可靠的计算机视觉模型之一是 Ultralytics YOLO11。YOLO11 以实时效率和准确性著称，非常适合计算机视觉任务。

以下是在使用 Ultralytics YOLO11 的能力构建自己的 AI 代理时所涉及的不同流程：

• 准备数据集**：**收集并预处理与你的 AI 代理将执行的任务相关的已标注图像。

• 自定义训练**模型：**在你的数据集上专门训练 Ultralytics YOLO11，以提升其针对独特应用的准确性和性能。

• **集成到决策框架中：**将训练好的模型连接到一个系统，使 AI 代理能够根据视觉输入做出决策。

• **测试和优化：**部署 AI 代理，测试其性能，收集反馈，并调整模型以提高准确性和可靠性。

要点总结#

集成了计算机视觉的 AI 代理——即视觉 AI 代理——正在通过自动化任务、加快流程和改进决策来改变各个行业。从控制交通的智慧城市到使用面部识别的安防系统，这些代理正在为常见问题带来新的解决方案。

它们还可以随着时间推移持续学习和改进，因此适用于不断变化的环境。借助 Ultralytics YOLO11 等工具，创建和使用这些 AI 代理变得更加容易，从而带来更智能、更高效的解决方案。

加入我们的社区，并查看我们的 GitHub 代码仓库，了解有关 AI 的信息。在我们的解决方案页面上探索计算机视觉在医疗保健领域的应用和农业中的 AI等各种应用。查看可用的许可选项，开始使用吧！