行为人工智能正在使计算机视觉更具影响力

多年来，计算机视觉创新一直专注于对象检测等任务——识别图像和视频中的对象，例如狗或汽车。这些方法已在自动驾驶汽车、制造业和医疗保健等领域实现了应用。 

然而，这些任务通常只专注于识别物体是什么。 如果视觉人工智能系统能够更进一步呢？ 例如，与其简单地检测到一只狗，不如说它可以理解这只狗正在追逐一个球，或者一辆汽车正在突然刹车，因为一个行人正在过马路。 这种从基本识别到情境理解的转变代表着向更智能、具有情境意识的行为人工智能的重大转变。

YOLO Vision 2024（YV24）是Ultralytics为庆祝视觉人工智能（Vision AI ）的进步而举办的年度混合活动，在该活动中，人工智能驱动的行为分析概念在 The Main Branch 首席执行官大卫-斯科特（David Scott ）的精彩演讲中占据了中心位置。

在他的演讲中，David 探讨了从基本的计算机视觉任务到行为跟踪的转变。凭借超过 25 年的构建尖端技术应用的经验，他展示了这一飞跃的影响。他强调了解码模式和行为正在重塑农业和动物福利等行业。

在本文中，我们将回顾 David 的演讲 的亮点，并探讨行为跟踪如何使 AI 更加实用。 

了解人工智能采用的挑战

David Scott 以一个大胆的现实检验开始了他的主题演讲，他说：“我的一位同事经常说，‘科学卖不出去’，这让我们很多人感到不快，因为我们真的很喜欢科学。人工智能真的很酷——为什么人们不直接购买它呢？但现实是，人们不会仅仅因为我们认为它很酷就购买它；他们需要一个购买的理由。”

他接着解释说，在他的公司 The Main Branch，重点始终是用 AI 解决实际问题，而不仅仅是炫耀它的能力。很多客户来找他，想谈谈他们如何才能在一般情况下使用 AI，但他认为这是一种倒退的方法——就像有一个解决方案却没有问题。相反，他们与提出具体挑战的客户合作，以便他们可以创建真正发挥作用的 AI 解决方案。

​

David 还分享说，他们的工作通常不仅仅是识别场景中的物体。发现存在的事物只是第一步。真正的价值在于弄清楚如何利用这些信息，并在更大的价值链中发挥作用。 

行为追踪技术：可执行人工智能的关键

使 AI 真正有用的一个重要步骤是超越基本的计算机视觉任务（如对象检测），并将这些见解用于行为跟踪。David 强调，行为 AI 侧重于理解行为和模式，而不仅仅是识别对象。这使得 AI 能够识别有意义的事件并提供可操作的见解。

他举了一个动物在地上打滚的例子，这可能预示着动物生病了。虽然人无法全天候监视动物，但具有行为跟踪功能的人工智能驱动监控系统却可以。这种解决方案可以持续监控物体，detect 特定行为，发出警报，并及时采取行动。这样就能将原始数据转化为实用且有价值的东西。

David 还展示了这种方法如何使 AI 不仅有趣，而且真正具有影响力。通过解决实际问题，例如监控行为并对其采取行动，行为追踪可以成为各个行业有效 AI 解决方案的关键组成部分。

将行为人工智能变为现实

大卫-斯科特随后说明了 Ultralytics YOLOv8计算机视觉模型是他团队行为跟踪项目的一大突破。它为他们检测、分类和跟踪物体奠定了坚实的基础。他的团队还更进一步，对 YOLOv8进行了定制训练，使其能够随着时间的推移重点监控行为，从而使其在现实世界中更加实用和有用。

有趣的是，随着 Ultralytics YOLO11的发布，像 The Main Branch 所创建的解决方案将变得更加可靠和准确。这种最新型号具有更高的精度和更快的处理速度等特点，从而提高了track 行为的能力。在更好地了解行为人工智能的应用后，我们将对此进行更详细的讨论。

接下来，让我们探讨一下 David 提到的解决方案，以及行为跟踪技术如何在实际应用中用于解决日常挑战并产生有意义的影响。

HerdSense 与 AI 驱动的行为分析

首先，戴维分享了他们在一个名为 "牛群感知"（HerdSense）的项目中遇到的一个令人兴奋的挑战，该项目涉及监测一个大型饲养场中成千上万头奶牛的健康状况。该项目的目标是track 每头奶牛的行为，以发现潜在的健康问题。这意味着要同时监控数以万计的动物，而这并不是一项简单的任务。

​

为了开始解决识别每头奶牛并跟踪其行为的问题，David的团队举办了一个为期两天的研讨会，以概述他们需要监控的每一种可能的行为。他们总共识别出200多种行为。

所有200种行为的分析都依赖于对个体奶牛的准确识别，因为所有数据都必须与特定的动物相关联。一个主要的挑战是跟踪成群聚集的奶牛，这使得识别单个动物变得困难。 

David 的团队开发了一个计算机视觉系统，以确保每头牛都能被始终如一地识别，即使在棘手的情况下也是如此。他们能够确认，即使一头牛从视野中消失、与其他牛混在一起或稍后再次出现，它始终会被分配到相同的 ID。

使用计算机视觉监测马匹健康

接着，戴维介绍了另一个引人入胜的项目，他们将类似的行为跟踪技术应用于监测马匹。在这个项目中，戴维的团队不需要 track 马的个体 ID。相反，他们专注于特定的行为，并跟踪饮食模式和一般活动水平等细节，以便及早发现任何健康问题。发现行为上的细微变化可以更快地进行干预，提供更好的护理，防患于未然。

​

为什么行为 AI 并不像看起来那么简单

大卫还通过一个有趣的例子讨论了行为跟踪的复杂性。在研究改进行为分析的方法时，他的团队遇到了一家公司，该公司声称可以通过分析特定姿势（比如某人把手放在口袋里）来detect 商店行窃。起初，这似乎是个聪明的想法--某些动作可能暗示着可疑行为，对吗？

​

然而，随着大卫的进一步探索，他意识到了这种方法的局限性。一个单一的姿势估计，比如把手放在口袋里，并不一定意味着某人在商店行窃。它可能只是表示他们在放松、思考，甚至是冷漠。关注孤立姿势的问题在于，它忽略了更大的背景。行为不仅仅是一个单一的动作，它是一个长期的动作模式，受环境和意图的影响。

David 强调，真正的行为追踪要复杂得多，需要一种整体方法。它涉及分析一系列动作，并理解它们在更广阔的背景下的含义。虽然 AI 行业正在取得进展，但他指出，在推进行为追踪以提供有意义和准确的见解方面，仍有许多工作要做。

创建能够理解动作的更智能的视觉 AI 模型

随后，David 在幕后向观众展示了他的团队如何利用YOLOv8 及其姿势估计 能力构建计算机视觉解决方案来监测奶牛的健康状况。

他们首先创建了一个用于估算奶牛姿势估计 自定义数据集，将关键点的标准数量从 17 个增加到 145 个，以使模型能更好地分析动作。然后，该模型在一个包含 200 多万张图像和 1.1 亿个行为实例的海量数据集上进行了训练。 

利用先进的硬件基础设施，戴维的团队只用了两天时间就完成了模型训练，而传统硬件则需要数周时间。训练好的模型随后与定制的行为跟踪器集成，该跟踪器可同时分析多个视频帧，以detect 奶牛的行为模式。

最终，我们开发出了一款人工智能驱动的视觉解决方案，可以detect 和track 奶牛的八种不同行为，如进食、饮水和躺卧，从而发现可能预示着健康问题的细微行为变化。这样，牧场主就能迅速采取行动，改善牛群管理。

行为人工智能的未来展望

David 在结束演讲时与观众分享了一个重要的教训：“如果你不给 AI 犯错的空间，你就是在为自己的失败做准备，因为归根结底，它是统计学。”他指出，AI 尽管有其优势，但并非完美无缺。它是一种从模式中学习的工具，总会有出错的时候。关键不是害怕这些错误，而是构建能够处理这些错误并随着时间推移不断改进的系统。

计算机视觉模型本身也是如此。例如，Ultralytics YOLO11 是Ultralytics YOLO 模型的最新版本，与YOLOv8 相比，它的设计考虑到了更高水平的需求。

​

特别是，YOLO11 提供了更好的性能，尤其是在农业和医疗保健等精度至关重要的实时应用方面。凭借其先进的功能，YOLO11 正在重新定义各行业使用人工智能的方式，提供创新的实时洞察力，帮助他们更有效地应对挑战。

主要要点

David 在 YV24 上的主题演讲提醒我们，AI 不仅仅是一项很酷的创新，它还是解决实际问题和改善我们生活和工作的强大工具。通过关注行为，AI 已经在动物健康追踪和识别日常行为中有意义的模式等领域产生了影响。 

行为人工智能的潜力令人兴奋，而我们仅仅处于起步阶段。通过将原始数据转化为可操作的见解，行为人工智能从被动监控转变为主动解决问题。随着它的进一步发展，行为人工智能将推动更明智的决策，简化流程，并为我们的生活带来有意义的改善。

与我们的社区保持联系，以了解更多关于人工智能及其在现实世界中的应用。访问我们的 GitHub 仓库，了解农业人工智能和制造业计算机视觉等领域的创新。