行为 AI 正在提升计算机视觉的影响力

多年来，计算机视觉创新一直专注于目标检测等任务，即在图像和视频中识别狗或汽车等物体。这些方法推动了自动驾驶汽车、制造业和医疗等领域的应用。

然而，这些任务通常只关注识别物体是什么。如果视觉 AI 系统能更进一步呢？例如，除了检测到一只狗，还能理解它正在追球；或者理解一辆车为何突然刹车，因为有行人正在过马路。从基础识别转向情境理解，标志着向更智能、更具情境感知能力的行为 AI 迈出了重要一步。

在 YOLO Vision 2024 (YV24) 上，Ultralytics 举办了年度混合形式活动，庆祝视觉 AI领域的进展。The Main Branch 首席执行官 David Scott 的精彩演讲将 AI 驱动的行为分析推到了聚光灯下。

在演讲中，David 探讨了从基础计算机视觉任务到行为跟踪的转变。他拥有构建先进技术应用的 25 年以上经验，并展示了这一跨越带来的影响。他强调，解读模式和行为正在重塑农业和动物福利等行业。

本文将梳理 David 的演讲要点，并探讨行为跟踪如何让 AI 更具实用价值。

了解 AI 应用面临的挑战#

David Scott 以一番直言不讳的现实提醒开始主题演讲，他说：“我的一位同事常说，‘科学卖不出去’，这话让我们在座的很多人有些不舒服，因为我们真的很喜欢科学。AI 确实很酷——人们为什么不直接买呢？但现实是，人们不会仅仅因为我们觉得 AI 很酷就买它；他们需要一个购买理由。”

他接着解释说，在他的公司 The Main Branch，重点始终是用 AI 解决实际问题，而不是炫耀 AI 的能力。许多客户一开始就想讨论如何普遍应用 AI，但他认为这种做法本末倒置——这就像只有解决方案，却没有问题。相反，他们会与带着具体挑战的客户合作，从而打造真正能带来改变的 AI 解决方案。

图 1. David Scott 在 YV24 舞台上。

David 还分享说，他们的工作往往不止于识别场景中的物体。发现画面里有什么只是第一步。真正的价值在于弄清楚如何利用这些信息，并让这些信息在更大的价值链中发挥作用。

行为跟踪技术：让 AI 产生实际成效的关键#

要让 AI 真正发挥作用，一个关键步骤是超越目标检测等基础计算机视觉任务，利用这些洞察进行行为跟踪。David 强调，行为 AI 关注的是理解动作和模式，而不仅仅是识别物体。因此，AI 能够识别有意义的事件，并提供可采取行动的洞察。

他举例说，动物在地上打滚可能意味着它生病了。人们无法全天候看护动物，但具备行为跟踪能力的 AI 监控系统可以做到。这类解决方案能够持续监控对象、检测特定行为、发送警报，并让人们及时采取行动。这样一来，原始数据就变得实用且有价值。

David 还展示了这种方法如何让 AI 不只是有趣，而且真正产生影响。通过解决监测行为并据此采取行动等实际问题，行为跟踪可以成为各行业有效 AI 解决方案的重要组成部分。

让行为 AI 落地#

随后，David Scott 说明了 Ultralytics YOLOv8 这款计算机视觉模型如何为团队的行为跟踪项目带来突破。它为检测、分类和跟踪物体打下了坚实基础。团队还更进一步，对 YOLOv8 进行自定义训练，使其能够重点监测随时间变化的行为，从而更适用于实际场景，也更具实用价值。

有趣的是，随着 Ultralytics YOLO11 的发布，The Main Branch 创建的这类解决方案可以变得更加可靠、准确。该模型具备精度提升和处理速度加快等特性，增强了行为追踪能力。在深入了解行为 AI 的应用场景后，我们会对此进行更详细的讨论。

接下来，我们来看看 David 介绍的解决方案，以及行为跟踪技术如何应用于实际场景，解决日常挑战并带来切实影响。

通过 HerdSense 进行 AI 驱动的行为分析#

首先，David 分享了他们通过一个名为 HerdSense 的项目攻克的一项激动人心的挑战：在大型饲养场中监测数千头奶牛的健康状况。项目的目标是跟踪每头奶牛的行为，以发现潜在的健康问题。这意味着要同时关注数万头动物，这可不是件简单的事。

图 2. HerdSense 专注于使用行为 AI 监测和识别牛只。

为了解决识别每头牛并跟踪其行为的问题，David 的团队举办了为期两天的研讨会，列出所有需要监测的行为。他们总共识别出了 200 多种行为。

这 200 种行为都依赖于准确识别每头牛，因为所有数据都必须关联到特定动物。一个主要难题是在牛群聚集成团时跟踪牛只，因为这会让人难以分辨个体。

David 的团队开发了一套计算机视觉系统，确保每头奶牛都能被持续识别，即使遇到棘手的情况也不例外。他们能够确认，同一头奶牛始终会被分配相同的 ID，即使它消失在视野中、混入其他奶牛群，或之后再次出现。

使用计算机视觉监测马匹健康#

接下来，David 介绍了另一个引人入胜的项目，他们在其中运用类似的行为跟踪技术来监测马匹。与监测牛只不同，在这个项目中，David 的团队不需要严格跟踪每匹马的 ID。他们转而关注特定行为，并跟踪进食模式和总体活动水平等细节，以便尽早发现健康问题。识别行为上的细微变化有助于更快采取干预措施，提供更好的护理，并在问题变得严重之前加以预防。

图 3. 借助行为 AI 监测马匹。

为什么行为 AI 并不像看起来那么简单#

David 还通过一个引人深思的例子，讨论了行为跟踪的复杂性。在研究改进行为分析的方法时，他的团队发现一家公司声称可以通过分析特定姿势来检测商店盗窃，例如某人把手放在口袋里。乍一看，这似乎是个聪明的主意——某些动作可能表明行为可疑，对吧？

图 4. 了解行为跟踪技术面临的挑战。

然而，David 进一步探究后意识到这种方法存在局限。一个姿势，比如把手放在口袋里，并不一定意味着某人在行窃。也可能只是表示此人很放松、正在思考，甚至觉得冷。只关注孤立的姿势会忽略更大的情境。行为不只是单个动作，而是随时间变化的一系列动作模式，并受到情境和意图的影响。

David 强调，真正的行为跟踪要复杂得多，需要采取整体性方法。关键在于分析一连串动作，并理解这些动作在更大的背景下意味着什么。他指出，尽管 AI 行业正在取得进展，但要进一步发展行为跟踪技术，提供有意义且准确的洞察，仍有很多工作要做。

打造能够理解动作的更智能视觉 AI 模型#

随后，David 带领观众深入幕后，展示团队如何借助 Ultralytics YOLOv8 及其姿态估计能力，构建计算机视觉解决方案来监测牛只健康。

他们首先为奶牛姿态估计创建了一个自定义数据集，并将标准关键点数量从 17 个增加到 145 个，以便模型更好地分析运动。随后，他们使用包含 200 多万张图像和 1.1 亿个行为样本的大型数据集训练模型。

借助先进的硬件基础设施，David 的团队只用了两天就训练好了模型，而使用传统硬件则需要数周。之后，他们将训练好的模型与自定义行为跟踪器集成，由该跟踪器同时分析多个视频帧，以检测牛只行为中的模式。

最终，他们打造出一套由视觉 AI 驱动的解决方案，能够检测并跟踪进食、饮水和躺卧等八种不同的牛只行为，发现可能预示健康问题的细微行为变化。这让农场主能够迅速采取行动，并改善牛群管理。

行为 AI 的未来#

David 在演讲结束时与观众分享了一条重要经验：“如果不给 AI 留出犯错的空间，你就是在为失败埋下伏笔，因为说到底，AI 是基于统计的。”他指出，AI 虽然有很多优势，但并非完美无缺。AI 是一种从模式中学习的工具，总会有判断出错的时候。与其害怕这些错误，关键在于构建能够应对错误、并随着时间不断改进的系统。

计算机视觉模型本身也是如此。例如，Ultralytics YOLO11 是当时最新版本的 Ultralytics YOLO 模型（后来由 Ultralytics YOLO26接替），其设计考虑了相较于 YOLOv8 更进一步的需求。

图 5. Ultralytics YOLO11 支持的计算机视觉任务。

具体来说，Ultralytics YOLO11 性能更出色，尤其适用于精度至关重要的实时应用，例如农业和医疗保健。凭借其先进功能，YOLO11 能帮助各行各业获取实时洞察，更有效地应对挑战。

要点#

David 在 YV24 上的主题演讲提醒我们，AI 不只是酷炫的新技术，更是解决实际问题、改善生活和工作方式的强大工具。通过关注行为，AI 已经在动物健康跟踪以及识别日常行为中的有意义模式等领域产生了影响。

行为 AI 的潜力令人振奋，而我们才刚刚起步。通过将原始数据转化为可采取行动的洞察，行为 AI 从被动监控转向主动解决问题。随着技术进一步发展，行为 AI 有望推动更明智的决策、简化流程，并为我们的生活带来切实改善。

关注我们的社区，了解更多 AI 及其实际应用。访问我们的 GitHub 代码库，探索农业领域的 AI和制造业中的计算机视觉等领域的创新。