行为 AI 正在让计算机视觉产生更大的影响力
加入我们，回顾 David Scott 在 YOLO Vision 2024 上关于 AI 驱动行为分析的主题演讲，以及它在畜牧业等领域的现实应用。
多年来，计算机视觉的创新主要集中在物体检测等任务上——在图像和视频中识别狗或汽车等物体。这些方法在自动驾驶、制造业和医疗保健等领域的应用成为了可能。
然而，这些任务通常只专注于识别物体本身。如果视觉 AI 系统能更进一步呢？例如，它不仅仅是探测到一只狗，而是能理解这只狗正在追球，或者一辆车因为行人过马路而突然刹车。这种从基础识别到情境理解的转变，代表着向更智能、具备情境感知能力的行为 AI 迈出的重大一步。
在YOLO Vision 2024 (YV24)（Ultralytics 庆祝视觉 AI 进展的年度混合活动）上，The Main Branch 首席执行官 David Scott 的一场精彩演讲将人工智能驱动的行为分析概念推向了中心舞台。
David 在演讲中探讨了从基础计算机视觉任务向行为跟踪的过渡。凭借在构建前沿技术应用方面超过 25 年的经验，他展示了这一跨越带来的影响。他强调了解码模式和行为如何重塑农业和动物福利等行业。
在这篇文章中，我们将回顾 David 演讲的亮点，并探讨行为追踪如何让 AI 变得更加实用。
理解 AI 采用过程中面临的挑战#
David Scott 在开场白中进行了一次大胆的现实审视，他说道：“我的同事经常说，‘科学是不卖座的’，这让我们在座的许多人感到有点被冒犯，因为我们真的很喜欢科学。AI 是真的很酷——为什么人们不买它呢？但现实是，人们不会仅仅因为我们觉得它酷就去买它；他们需要一个购买的理由。”
他接着解释说，在他的公司 The Main Branch，重点始终是利用 AI 解决实际问题，而不仅仅是展示其功能。许多客户来找他是为了讨论如何普遍使用 AI，但他认为这是一种倒退的方法——这就像是带着一个没有问题的解决方案。相反，他们与带来具体挑战的客户合作，从而能够创建真正发挥作用的AI 解决方案。
图 1. David Scott 在 YV24 舞台上。
David 还分享说，他们的工作通常不仅限于识别场景中的物体。发现场景中有什么只是第一步。真正的价值在于找出如何利用这些信息，并使其在更广泛的价值链中发挥作用。
行为跟踪技术：实现可操作 AI 的关键#
使 AI 真正发挥作用的关键一步是超越诸如物体检测之类基础的计算机视觉任务，并利用这些洞察进行行为追踪。David 强调，行为 AI 的重点是理解动作和模式，而不仅仅是识别物体。这使得 AI 能够识别有意义的事件并提供可操作的洞察。
他举了一个动物在地上打滚的例子，这可能表明它生病了。虽然人们无法全天候盯着动物，但具备行为追踪功能的AI 驱动监控系统可以。此类解决方案可以连续监控物体、检测特定行为、发送警报并允许采取及时行动。这会将原始数据转化为实用且有价值的东西。
David 还展示了这种方法不仅让 AI 变得有趣，而且真正产生了影响。通过解决诸如监控行为并采取行动等实际问题，行为跟踪可以成为各行业有效 AI 解决方案的关键部分。
让行为 AI 成为现实#
David Scott 随后阐述了计算机视觉模型 Ultralytics YOLOv8 如何成为其团队行为追踪项目的重大突破。它为他们检测、分类和追踪物体提供了坚实的基础。他的团队还更进一步，自定义训练了 YOLOv8，以便专注于随时间推移对行为进行监控，使其在现实世界的情况下更加实用和有用。
有趣的是，随着 Ultralytics YOLO11 的发布，像 The Main Branch 创建的那些解决方案可以变得更加可靠和准确。这个最新模型提供了诸如提高精度和加快处理速度等功能，从而增强了其追踪行为的能力。在更好地了解行为 AI 可用于的应用后，我们将进行更详细的讨论。
接下来，让我们探讨 David 所谈到的解决方案，以及行为跟踪技术如何应用于现实场景，以解决日常挑战并产生有意义的影响。
通过 AI 驱动的行为分析实现 HerdSense#
首先，David 分享了一个他们通过 HerdSense 项目解决的令人兴奋的挑战，该项目涉及监测大型饲养场中数千头牛的健康状况。目标是跟踪个体牛的行为以识别潜在的健康问题。这意味着要同时关注数万只动物，这并非易事。
Fig 2. HerdSense 专注于使用行为 AI 监控和识别奶牛。
为了开始解决识别每头牛并跟踪其行为的问题，David 的团队进行了一次为期两天的研讨会，以列出他们需要监控的每一个可能的行为。他们总共确定了 200 多种行为。
这 200 种行为中的每一种都依赖于准确识别个体牛的能力，因为所有数据都必须与特定动物挂钩。一个主要的担忧是当牛群挤在一起时如何进行跟踪，这使得观察单个动物变得困难。
David 的团队开发了一个计算机视觉系统，以确保每头牛都能被持续识别，即使是在棘手的情况下。他们能够确认同一头牛总是被分配相同的 ID，即使它从视野中消失、与其它牛混在一起或稍后重新出现。
使用计算机视觉监测马匹健康#
接下来，David 介绍了另一个迷人的项目，他们在其中应用了类似的行为追踪技术来监控马匹。在这个项目中，David 的团队不像对奶牛那样需要密切追踪每匹马的 ID。相反，他们专注于特定行为，并追踪进食模式和总体活动水平等细节，以便及早发现任何健康问题。识别行为的微小变化可以带来更快的干预，从而提供更好的护理并在问题变得严重之前加以阻止。
Fig 3. 在行为 AI 的帮助下监控马匹。
为什么行为 AI 并不像看起来那么简单#
David 还通过一个有趣的例子讨论了行为追踪的复杂性。在研究改善行为分析的方法时，他的团队遇到了一家声称通过分析特定姿势（例如某人将手放在口袋里）来检测入店行窃的公司。起初，这听起来像是个好主意——某些动作可能暗示可疑行为，对吧？
Fig 4. 了解行为追踪技术的挑战。
然而，随着 David 的深入探索，他意识到了这种方法的局限性。单一的姿势，例如手放在口袋里，并不一定意味着某人在行窃。它可能只是表明他们很放松、在思考，甚至感到寒冷。专注于孤立姿势的问题在于它忽略了更大的背景。行为不仅仅是一个单一的动作，它是由情境和意图塑造的随时间变化的动作模式。
David 强调，真正的行为跟踪要复杂得多，需要一种整体的方法。它关乎分析动作序列并理解它们在更广阔图景中的含义。虽然 AI 行业正在取得长足进步，但他指出，在推进行为跟踪以提供有意义且准确的见解方面，仍有工作要做。
创建能理解动作的更智能的视觉 AI 模型#
随后，David 带观众深入幕后，展示了其团队如何借助 Ultralytics YOLOv8 及其姿态估计能力，构建用于监测奶牛健康的计算机视觉解决方案。
他们首先为奶牛姿态估计创建了一个自定义数据集，将关键点的标准数量从 17 个增加到 145 个，以使模型更好地分析运动。然后，该模型在包含超过 200 万张图像和 1.1 亿个行为示例的海量数据集上进行了训练。
利用先进的硬件基础设施，David 的团队仅用了两天时间就完成了模型训练，而不是在传统硬件上可能需要的数周。随后，训练好的模型与一个自定义行为跟踪器集成，该跟踪器可同时分析多个视频帧，以检测牛动作中的模式。
结果是一个由视觉 AI 驱动的解决方案，可以检测和跟踪八种不同的牛行为，例如进食、饮水和躺卧，从而发现可能预示健康问题的细微行为变化。这使农民能够迅速采取行动，并改善了牛群管理。
行为 AI 的未来之路#
David 在演讲结束时与观众分享了一个重要的教训：“如果你不给 AI 犯错的空间，那你就是在为失败做准备，因为归根结底，它是一个统计学工具。” 他指出，尽管 AI 有其优势，但它并非完美无缺。它是一个从模式中学习的工具，总会有出错的时候。与其害怕那些错误，关键在于构建能够处理这些错误并随时间持续改进的系统。
计算机视觉模型本身也是如此。例如，作为 Ultralytics YOLO 模型最新版本的 Ultralytics YOLO11 在构建时就牢记了相比 YOLOv8 将事物提升到新水平的需求。
图 5. Ultralytics YOLO11 支持的计算机视觉任务。
特别是 Ultralytics YOLO11 提供了更好的性能，尤其是在精度至关重要的实时应用中，例如农业和医疗保健。凭借其先进的功能，YOLO11 正在通过提供创新的实时洞察并帮助各行各业更有效地应对挑战，重新定义行业使用 AI 的方式。
关键要点#
David 在 YV24 上的主题演讲提醒我们，AI 不仅仅是一项酷炫的创新，它还是一个解决现实问题并改善我们生活和工作方式的强大工具。通过关注行为，AI 已经在跟踪动物健康和识别日常动作中的有意义模式等领域产生影响。
行为 AI 的潜力令人兴奋，而我们才刚刚起步。通过将原始数据转化为可操作的见解，行为 AI 从被动监控转变为主动解决问题。随着它的进一步发展，行为 AI 将推动更明智的决策，简化流程，并为我们的生活带来有意义的改善。
与我们的社区保持联系，以了解有关 AI 及其现实世界应用的更多信息。访问我们的 GitHub 仓库，探索诸如农业 AI 和制造业计算机视觉等领域的创新。
