行为人工智能正在使计算机视觉更具影响力

多年来，计算机视觉创新一直专注于对象检测等任务——识别图像和视频中的对象，例如狗或汽车。这些方法已在自动驾驶汽车、制造业和医疗保健等领域实现了应用。 

然而，这些任务通常只专注于识别物体是什么。 如果视觉人工智能系统能够更进一步呢？ 例如，与其简单地检测到一只狗，不如说它可以理解这只狗正在追逐一个球，或者一辆汽车正在突然刹车，因为一个行人正在过马路。 这种从基本识别到情境理解的转变代表着向更智能、具有情境意识的行为人工智能的重大转变。

在Ultralytics举办的YOLO Vision 2024 (YV24)年度混合活动中，为庆祝视觉AI领域的进步，The Main Branch 首席执行官David Scott发表了一场有趣的演讲，其中AI驱动的行为分析的概念成为了焦点。

在他的演讲中，David 探讨了从基本的计算机视觉任务到行为跟踪的转变。凭借超过 25 年的构建尖端技术应用的经验，他展示了这一飞跃的影响。他强调了解码模式和行为正在重塑农业和动物福利等行业。

在本文中，我们将回顾 David 的演讲 的亮点，并探讨行为跟踪如何使 AI 更加实用。 

了解人工智能采用的挑战

David Scott 以一个大胆的现实检验开始了他的主题演讲，他说：“我的一位同事经常说，‘科学卖不出去’，这让我们很多人感到不快，因为我们真的很喜欢科学。人工智能真的很酷——为什么人们不直接购买它呢？但现实是，人们不会仅仅因为我们认为它很酷就购买它；他们需要一个购买的理由。”

他接着解释说，在他的公司 The Main Branch，重点始终是用 AI 解决实际问题，而不仅仅是炫耀它的能力。很多客户来找他，想谈谈他们如何才能在一般情况下使用 AI，但他认为这是一种倒退的方法——就像有一个解决方案却没有问题。相反，他们与提出具体挑战的客户合作，以便他们可以创建真正发挥作用的 AI 解决方案。

​

David 还分享说，他们的工作通常不仅仅是识别场景中的物体。发现存在的事物只是第一步。真正的价值在于弄清楚如何利用这些信息，并在更大的价值链中发挥作用。 

行为追踪技术：可执行人工智能的关键

使 AI 真正有用的一个重要步骤是超越基本的计算机视觉任务（如对象检测），并将这些见解用于行为跟踪。David 强调，行为 AI 侧重于理解行为和模式，而不仅仅是识别对象。这使得 AI 能够识别有意义的事件并提供可操作的见解。

他举了一个动物在地板上打滚的例子，这可能表明生病了。虽然人们不能全天候观察动物，但具有行为跟踪功能的 AI 驱动的监控系统 可以。此类解决方案可以持续监控物体，检测特定行为，发送警报，并允许及时采取行动。这可以将原始数据转化为实用且有价值的东西。

David 还展示了这种方法如何使 AI 不仅有趣，而且真正具有影响力。通过解决实际问题，例如监控行为并对其采取行动，行为追踪可以成为各个行业有效 AI 解决方案的关键组成部分。

将行为人工智能变为现实

David Scott 随后阐述了 Ultralytics YOLOv8（一种计算机视觉模型）如何成为他的团队行为追踪项目的突破口。它为检测、分类和跟踪物体奠定了坚实的基础。他的团队还更进一步，定制训练了 YOLOv8，专注于长期监控行为，使其在现实情况下更实用、更有帮助。

有趣的是，随着 Ultralytics YOLO11 的发布，像 The Main Branch 创建的解决方案可以变得更加可靠和准确。这个最新的模型提供了诸如提高精度和更快的处理速度等功能，从而增强了其跟踪行为的能力。在更好地了解行为 AI 可以用于哪些应用之后，我们将更详细地讨论这一点。

接下来，让我们探讨一下 David 提到的解决方案，以及行为跟踪技术如何在实际应用中用于解决日常挑战并产生有意义的影响。

HerdSense 与 AI 驱动的行为分析

首先，David 分享了他们通过一个名为 HerdSense 的项目解决的一个激动人心的挑战，该项目涉及监测大型饲养场中数千头奶牛的健康状况。目标是跟踪单个奶牛的行为，以识别潜在的健康问题。这意味着同时关注数万只动物，这不是一项简单的任务。

​

为了开始解决识别每头奶牛并跟踪其行为的问题，David的团队举办了一个为期两天的研讨会，以概述他们需要监控的每一种可能的行为。他们总共识别出200多种行为。

所有200种行为的分析都依赖于对个体奶牛的准确识别，因为所有数据都必须与特定的动物相关联。一个主要的挑战是跟踪成群聚集的奶牛，这使得识别单个动物变得困难。 

David 的团队开发了一个计算机视觉系统，以确保每头牛都能被始终如一地识别，即使在棘手的情况下也是如此。他们能够确认，即使一头牛从视野中消失、与其他牛混在一起或稍后再次出现，它始终会被分配到相同的 ID。

使用计算机视觉监测马匹健康

接下来，David 介绍了另一个引人入胜的项目，他们应用类似的行为跟踪技术来监测马匹。在这个项目中，David 的团队不需要像跟踪牛那样密切地跟踪单个马匹的 ID。相反，他们专注于特定的行为，并跟踪诸如饮食习惯和总体活动水平等细节，以便及早发现任何健康问题。识别行为上的微小变化可以促使更快的干预，从而提供更好的护理，并在问题变得严重之前加以预防。

​

为什么行为 AI 并不像看起来那么简单

David 还通过一个有趣的例子讨论了行为追踪的复杂性。在研究改进行为分析的方法时，他的团队遇到一家公司声称可以通过分析特定姿势（例如某人将手放在口袋里）来检测入店行窃。起初，这似乎是一个聪明的想法——某些动作可能暗示可疑行为，对吧？

​

然而，随着 David 的进一步探索，他意识到了这种方法的局限性。 单一的姿势，例如手放在口袋里，并不一定意味着有人在扒窃。 这可能只是表明他们很放松、在思考，甚至很冷。 关注孤立姿势的问题在于它忽略了更大的背景。 行为不仅仅是一个单一的动作，它是在一段时间内的一系列动作模式，受到背景和意图的影响。

David 强调，真正的行为追踪要复杂得多，需要一种整体方法。它涉及分析一系列动作，并理解它们在更广阔的背景下的含义。虽然 AI 行业正在取得进展，但他指出，在推进行为追踪以提供有意义和准确的见解方面，仍有许多工作要做。

创建能够理解动作的更智能的视觉 AI 模型

随后，David 带领观众了解了他的团队如何借助 YOLOv8 及其姿态估计能力构建计算机视觉解决方案来监测奶牛的健康状况。

他们首先创建了一个定制的奶牛姿态估计数据集，将关键点的标准数量从 17 个增加到 145 个，以使模型更好地分析运动。然后，该模型在超过 200 万张图像和 1.1 亿个行为示例的大型数据集上进行了训练。 

David 的团队利用先进的硬件基础设施，仅用两天时间就完成了模型的训练，而使用传统硬件则需要数周时间。然后，将训练好的模型与定制的行为跟踪器集成，该跟踪器同时分析多个视频帧，以检测奶牛行为中的模式。

结果是一个由视觉 AI 驱动的解决方案，可以检测和跟踪八种不同的奶牛行为，如进食、饮水和躺卧，以发现可能预示健康问题的微小行为变化。这使农民能够迅速采取行动并改善畜群管理。

行为人工智能的未来展望

David 在结束演讲时与观众分享了一个重要的教训：“如果你不给 AI 犯错的空间，你就是在为自己的失败做准备，因为归根结底，它是统计学。”他指出，AI 尽管有其优势，但并非完美无缺。它是一种从模式中学习的工具，总会有出错的时候。关键不是害怕这些错误，而是构建能够处理这些错误并随着时间推移不断改进的系统。

对于计算机视觉模型本身来说也是如此。例如，Ultralytics YOLO11 是 Ultralytics YOLO 模型的最新版本，在构建时充分考虑了与 YOLOv8 相比，需要将性能提升到新的水平。

​

特别是，YOLO11 提供了更好的性能，尤其是在精度是关键的实时应用方面，如农业和医疗保健。凭借其先进的功能，YOLO11 正在通过提供创新的实时见解并帮助他们更有效地应对挑战，从而重新定义各行各业使用人工智能的方式。

主要要点

David 在 YV24 上的主题演讲提醒我们，AI 不仅仅是一项很酷的创新，它还是解决实际问题和改善我们生活和工作的强大工具。通过关注行为，AI 已经在动物健康追踪和识别日常行为中有意义的模式等领域产生了影响。 

行为人工智能的潜力令人兴奋，而我们仅仅处于起步阶段。通过将原始数据转化为可操作的见解，行为人工智能从被动监控转变为主动解决问题。随着它的进一步发展，行为人工智能将推动更明智的决策，简化流程，并为我们的生活带来有意义的改善。

与我们的社区保持联系，以了解更多关于人工智能及其在现实世界中的应用。访问我们的 GitHub 仓库，了解农业人工智能和制造业计算机视觉等领域的创新。