行为 AI 正在让计算机视觉产生更大影响

多年来，计算机视觉创新一直专注于目标检测等任务——识别图像和视频中的狗或汽车等物体。这些方法推动了自动驾驶汽车、制造业和医疗保健等领域的应用。

然而，这些任务通常只关注识别物体是什么。如果视觉 AI 系统能更进一步呢？例如，它不只是检测到一只狗，还能理解这只狗正在追球，或者汽车因为行人正在过马路而突然刹车。这种从基础识别到上下文理解的转变，代表着行为 AI 向更智能、更具上下文感知能力的方向迈出了重要一步。

在YOLO Vision 2024 (YV24)上，Ultralytics 每年举办的混合型活动，旨在庆祝视觉 AI领域的进展，David Scott（The Main Branch 首席执行官）在一场精彩演讲中重点介绍了 AI 驱动的行为分析这一概念。

在演讲中，David 探讨了从基础计算机视觉任务到行为跟踪的转变。凭借超过 25 年构建尖端技术应用的经验，他展示了这一飞跃所带来的影响。他强调，解码模式和行为正在重塑农业和动物福利等行业。

在本文中，我们将带你了解David 演讲的精彩内容，并探讨行为跟踪如何让 AI 更加实用。

了解 AI 采用面临的挑战#

David Scott 在主题演讲中以一句直面现实的话开场：“我的一位同事经常说，‘科学卖不出去’，这让我们在场的许多人有些不舒服，因为我们真的很喜欢科学。AI 确实很酷——人们为什么不直接购买它呢？但现实是，人们不会仅仅因为我们觉得它很酷就购买它；他们需要一个购买它的理由。”

他接着解释说，在他的公司 The Main Branch，重点始终是用 AI 解决实际问题，而不只是炫耀 AI 的能力。许多客户来找他们，是想讨论如何在一般意义上使用 AI，但他认为这是一种本末倒置的方法——就像有了一个解决方案，却没有要解决的问题。相反，他们会与带着具体挑战而来的客户合作，从而创建真正能产生影响的AI 解决方案。

图 1. David Scott 在 YV24 现场演讲。

David 还分享道，他们的工作往往不只是识别场景中的物体。发现其中有什么只是第一步。真正的价值在于弄清楚如何利用这些信息，并让它们在更大的价值链中发挥作用。

行为跟踪技术：实现可执行 AI 的关键#

要让 AI 真正发挥作用，关键一步是超越目标检测等基础的计算机视觉任务，并利用这些洞察进行行为跟踪。David 强调，行为 AI 关注的是理解动作和模式，而不只是识别物体。这使 AI 能够识别有意义的事件，并提供可执行的洞察。

他举了一个动物在地板上打滚的例子，这可能表明动物生病了。人们无法全天候观察动物，但具备行为跟踪能力的AI 驱动监控系统可以做到。这类解决方案能够持续监控物体，检测特定行为，发送警报，并支持及时采取行动。这样一来，原始数据就转化成了实用且有价值的信息。

David 还展示了这种方法如何让 AI 不仅有趣，而且真正产生影响。通过解决监控行为并据此采取行动等实际问题，行为跟踪可以成为各行业有效 AI 解决方案的重要组成部分。

让行为 AI 真正落地#

随后，David Scott 介绍了作为计算机视觉模型的Ultralytics YOLOv8如何成为其团队行为跟踪项目的突破口。它为检测、分类和跟踪物体提供了坚实基础。他的团队还更进一步，通过自定义训练 YOLOv8，专注于长期监控行为，让它在现实场景中更加实用和有效。

有趣的是，随着Ultralytics YOLO11的发布，The Main Branch 创建的这类解决方案可以变得更加可靠和准确。这个最新模型具备精度提升、处理速度更快等特性，增强了其跟踪行为的能力。在进一步了解行为 AI 的应用场景后，我们将对此展开更详细的讨论。

接下来，让我们探讨 David 介绍的解决方案，以及行为跟踪技术如何应用于现实场景，解决日常挑战并产生有意义的影响。

利用 AI 驱动的行为分析实现 HerdSense#

首先，David 分享了他们通过一个名为 HerdSense 的项目解决的一项令人兴奋的挑战：监控大型饲养场中数千头牛的健康状况。项目目标是跟踪每头牛的行为，以识别潜在的健康问题。这意味着要同时观察数万只动物，并不是一项简单的任务。

图 2. HerdSense 专注于利用行为 AI 监控并识别牛只。

为了解决识别每头牛并跟踪其行为的问题，David 的团队开展了为期两天的研讨会，梳理出他们需要监控的所有可能行为。他们总共识别出了 200 多种行为。

这 200 多种行为中的每一种，都依赖于准确识别单头牛的能力，因为所有数据都必须与特定动物关联起来。一个主要难点是跟踪聚集成群的牛，这会使单头动物难以辨认。

David 的团队开发了一个计算机视觉系统，确保每头牛都能被持续识别，即使处于复杂情况也不例外。他们能够确认，同一头牛始终会被分配相同的 ID，即使它暂时离开视野、与其他牛混在一起，或之后再次出现。

利用计算机视觉监测马匹健康状况#

随后，David 介绍了另一个有趣的项目，他们在其中应用类似的行为跟踪技术来监测马匹。在这个项目中，David 的团队不需要像跟踪牛那样密切地跟踪每匹马的 ID。相反，他们专注于特定行为，并跟踪进食模式和总体活动水平等细节，以便及早发现健康问题。识别行为中的细微变化，有助于更快采取干预措施，从而提供更好的照护，并防止问题恶化。

图 3. 借助行为 AI 监测马匹。

为什么行为 AI 并没有看起来那么简单#

David 还通过一个引人入胜的例子讨论了行为跟踪的复杂性。在研究改进行为分析的方法时，他的团队遇到一家公司，声称可以通过分析特定姿势来检测商店盗窃，例如某人把手放在口袋里。起初，这似乎是个聪明的想法——某些动作确实可能暗示可疑行为，对吧？

图 4. 了解行为跟踪技术面临的挑战。

然而，随着进一步探索，David 意识到这种方法存在局限。单一姿势，例如把手放在口袋里，并不一定意味着某人在行窃。它也可能只是表示对方很放松、正在思考，甚至觉得冷。专注于孤立姿势的问题在于，它忽略了更大的上下文。行为不只是一个单独动作，而是由上下文和意图塑造、随时间展开的一系列动作模式。

David 强调，真正的行为跟踪要复杂得多，需要采用整体性方法。它需要分析一连串动作，并理解这些动作在更广泛背景下的含义。虽然 AI 行业正在取得进展，但他指出，要进一步发展行为跟踪技术，使其提供有意义且准确的洞察，仍有许多工作要做。

创建能够理解动作的更智能视觉 AI 模型#

随后，David 带领观众深入幕后，展示他的团队如何借助 Ultralytics YOLOv8 及其姿态估计能力，构建用于监测牛只健康状况的计算机视觉解决方案。

他们首先为牛的姿态估计创建了一个自定义数据集，将标准关键点数量从 17 个增加到 145 个，从而提升模型分析运动的能力。随后，他们使用包含超过 200 万张图像和 1.1 亿个行为示例的大型数据集对模型进行训练。

借助先进的硬件基础设施，David 的团队仅用两天就完成了模型训练，而使用传统硬件可能需要数周。训练完成后，模型与自定义行为跟踪器集成，该跟踪器能够同时分析多个视频帧，以检测牛只动作中的模式。

最终，他们得到了一套由视觉 AI 驱动的解决方案，能够检测和跟踪进食、饮水、躺下等八种不同的牛只行为，从而发现可能预示健康问题的细微行为变化。这使农场主能够迅速采取行动，并改善牛群管理。

行为 AI 的未来发展#

David 在演讲结束时向观众分享了一个重要经验：“如果你不给 AI 留出失败的空间，就是在为失败埋下伏笔，因为归根结底，它是统计性的。”他指出，AI 尽管实力强大，却并非完美无缺。它是一种从模式中学习的工具，总会有无法正确处理问题的时候。与其害怕这些错误，关键不如在于构建能够应对错误并持续改进的系统。

对于计算机视觉模型本身来说，情况也一样。例如，Ultralytics YOLO 模型的最新版本 Ultralytics YOLO11，在构建时就考虑了相较于 YOLOv8 更上一层楼的需求。

图 5. Ultralytics YOLO11 支持的计算机视觉任务。

尤其是在农业和医疗保健等以精度为关键的实时应用中，Ultralytics YOLO11 提供了更出色的性能。凭借其先进功能，YOLO11 通过提供创新的实时洞察并帮助各行业更有效地应对挑战，正在重新定义行业使用 AI 的方式。

要点总结#

David 在 YV24 上的主题演讲提醒我们，AI 不只是酷炫的创新，更是解决实际问题、改善生活和工作方式的强大工具。通过关注行为，AI 已经在动物健康跟踪以及日常行动中识别有意义模式等领域产生影响。

行为 AI 的潜力令人振奋，而我们还只是处于起步阶段。通过将原始数据转化为可执行的洞察，行为 AI 正从被动监控转向主动解决问题。随着进一步发展，行为 AI 将推动更明智的决策、简化流程，并为我们的生活带来有意义的改善。

关注我们的社区，了解更多关于 AI 及其现实应用的信息。访问我们的 GitHub 代码仓库，探索农业中的 AI和制造业中的计算机视觉等领域的创新。