推出 Ultralytics Agents：更快构建视觉 AI 工作流

训练出强大的计算机视觉模型只是整个过程的一部分。下一个挑战是决定模型做出预测后应该采取什么行动：保存图像、请求更多上下文、向团队发出提醒，还是收集不确定的样例以供审核。

过去，团队通常通过独立脚本和集成来实现这种编排。Ultralytics Agents 将编排带到可视化画布中，帮助团队以更少的定制开发将预测转化为实际操作。

Agents 在 Ultralytics Platform 中提供，可将图像、Ultralytics YOLO 模型、部署、条件、语言模型、数据集和操作连接起来，构建可复用的可视化工作流。

什么是 Ultralytics Agents？#

Agents 提供了一种可视化方式，用于设计和运行计算机视觉工作流。将模块添加到画布，连接各个步骤，并定义图像满足特定条件时应执行的操作。

工作流可以使用官方 YOLO26 模型、在你的工作区中训练的模型，或现有的 Platform 部署。随后，工作流可以按类别数量或置信度筛选预测结果，将选定的图像发送给视觉语言模型，将图像收集到数据集中，通知 Slack 频道，或显示结果。

使用 Agents，你可以：

• 可视化构建： 连接模型、条件和操作，无需从头手动创建完整工作流。
• 聚焦重点： 仅处理符合你所设定条件的图像。
• 结合视觉与语言智能： 先用 YOLO 识别重点内容，再向视觉语言模型询问更多背景信息。
• 将预测转化为行动： 保存相关图像、发送有条件触发的 Slack 提醒，或将结果传递给工作流的下一步。
• 将生产环境洞察转化为数据： 收集不确定或重要的图像，以供审核并用于后续模型开发。
• 检查实现方式： 查看根据你的可视化工作流生成的 Python 代码。

团队不必止步于“模型检测到了什么？”，还可以回答更有价值的问题：“接下来应该做什么？”

从检测迈向决策#

许多视觉 AI 系统都需要多种工具和自定义连接。模型生成预测结果，应用逻辑对结果进行评估，另一个系统存储相关输入，还有单独的集成负责发送通知。

Agents 将这些步骤整合到一个可视化工作流中。

例如，制造团队可以运行经过训练的检测模型，检查缺陷是否达到指定阈值，保存图像以供审核，并向运营频道发送提醒。物流团队可以收集低置信度检测结果，以找出训练数据中的不足。安全团队可以先用 YOLO 检测受限区域内是否有人，再让视觉语言模型描述更广阔的场景。

工作流遵循用户设定的条件，因此每个后续步骤为何运行或不运行都一目了然。

结合使用 Ultralytics YOLO 和视觉语言模型#

YOLO 模型擅长定位、分类和计数图像中的物体。视觉语言模型则可以用自然语言解读更广泛的视觉上下文。

Agents 可以高效地结合这些能力。YOLO 可以充当第一道筛选关卡，只有图像满足所需条件时，工作流才会调用视觉语言模型。

例如，工作流可以：

1. 在图像上运行 YOLO26。
2. 检查是否至少检测到一个人。
3. 将匹配的图像发送给指定的视觉语言模型。
4. 让模型描述场景。
5. 显示生成的描述。

如果条件不满足，就不会运行描述步骤。这样，团队就能更好地控制哪些图像会进入工作流的后续环节，以及何时调用外部模型。

从可编辑的工作流模板开始#

Agents 提供多种模板，帮助团队快速将想法变为可用的可视化 AI 工作流。

• YOLO → VLM 监控： 先用 YOLO 识别相关图像，再让视觉语言模型进行描述。
• 收集不确定的检测结果： 按置信度筛选预测结果，并将不确定的图像收集到数据集中以供审核。
• 捕获并提醒： 检测条件满足时，保存图像并发送 Slack 通知。

模板提供的是实用的起点，而非固定方案。团队可以选择自己的图像、模型、部署、条件、提示词、目标数据集和集成。

用户还可以检查工作流生成的 Python 代码，将可视化开发的速度与技术团队理解实现方式所需的透明度结合起来。

打通部署与模型改进的闭环#

真实世界的图像可能会揭示训练期间缺失或代表性不足的情况。新环境、物体外观变化和不确定的检测结果，都可能表明模型还有改进空间。

Agents 帮助团队将这些观察转化为可执行的数据闭环：

1. 运行：通过 Ultralytics YOLO 模型或 Platform 部署处理图像。
2. 筛选：根据类别或置信度条件筛选结果。
3. 收集：将选定的原始图像收集到目标数据集中。
4. 审核和标注：在 Ultralytics Platform 中处理图像。
5. 重新训练并重新部署：使用真实世界输入所提供的数据。

通过 Agents 收集的图像会以未标注状态进入目标数据集的训练集分区，可直接在标注编辑器中进行审核。团队可以为这些有针对性的样例添加标签，并用它们指导下一轮模型迭代。

这样一来，从发现难例到准备更好的训练数据，路径会更加直接。

围绕真实世界的结果构建工作流#

Agents 可用于各行各业和各种场景的工作流：

• 制造业： 捕获可能存在缺陷的图像以供审核，并在满足指定条件时通知质量团队。
• 物流： 收集涉及集装箱、车辆或设备的不确定检测结果，以提升数据集的覆盖范围。
• 零售： 根据检测到的类别或数量筛选图像，并将相关结果发送给后续操作。
• 安全 与安保： 在请求更多场景背景信息之前，先检测指定场景中的人员或物体。
• 数据集开发： 找出低置信度样例，并将其收集到专门的审核集。

每个工作流都可以根据一个条件分支到多个操作。例如，同一张匹配的图像既可以保存到数据集，也可以触发 Slack 消息，帮助团队留存证据，同时通知负责审核的人员。

从可视化原型到透明的 Python 代码#

可视化工作流构建器可以加快试验进程，但技术团队也需要了解正在运行的内容。

Agents 允许用户检查工作流生成的 Python 代码。这样既保留了可视化画布的易用性，也满足了开发者了解底层实现所需的透明度。

团队可以使用共享试用资源测试小型工作流，也可以为更大的数据集、更长时间的运行和训练好的工作区模型选择专用 Platform 部署资源。

开始使用 Agents 构建#

Ultralytics Agents 帮助团队超越孤立的预测结果，构建相互连接的可视化 AI 工作流。Agents 将 YOLO、视觉语言模型、可配置条件、数据集和操作整合到同一画布上，帮助你更快地将预测转化为实际成果。

Agents 目前通过 Early access 提供。切换到你的个人工作区，并在 Settings > Profile 下启用 Early access。这是个人偏好设置，即使你正在团队工作区中工作也是如此。

然后从侧边栏打开 Agents，从模板开始，或在Agents 画布上构建自己的工作流。在Ultralytics Agents 文档中了解支持的模块、条件、执行选项和设置指南。