行为 AI 正在让计算机视觉产生更大的影响力
加入我们，回顾 David Scott 在 YOLO Vision 2024 上关于 AI 驱动行为分析的主题演讲，以及它在畜牧业等领域的现实应用。
多年来，计算机视觉的创新一直专注于诸如 object detection 之类的任务——即识别图像和视频中的狗或汽车等物体。这些方法已在自动驾驶、制造业和医疗保健等领域实现了相关应用。
然而，这些任务通常只专注于识别物体本身。如果视觉 AI 系统能更进一步呢？例如，它不仅仅是探测到一只狗，而是能理解这只狗正在追球，或者一辆车因为行人过马路而突然刹车。这种从基础识别到情境理解的转变，代表着向更智能、具备情境感知能力的行为 AI 迈出的重大一步。
在 YOLO Vision 2024 (YV24) 上（这是 Ultralytics 举办的年度混合活动，旨在庆祝 vision AI 的进步），The Main Branch 首席执行官 David Scott 发表了一场引人入胜的演讲，其中 AI 驱动的行为分析成为了核心议题。
David 在演讲中探讨了从基础计算机视觉任务向行为跟踪的过渡。凭借在构建前沿技术应用方面超过 25 年的经验，他展示了这一跨越带来的影响。他强调了解码模式和行为如何重塑农业和动物福利等行业。
在本文中，我们将回顾 David 演讲 的亮点，并探讨行为跟踪如何让 AI 变得更加实用。
Link to this section理解 AI 采用过程中面临的挑战#
David Scott 在开场白中进行了一次大胆的现实审视，他说道：“我的同事经常说，‘科学是不卖座的’，这让我们在座的许多人感到有点被冒犯，因为我们真的很喜欢科学。AI 是真的很酷——为什么人们不买它呢？但现实是，人们不会仅仅因为我们觉得它酷就去买它；他们需要一个购买的理由。”
他接着解释说，在他的公司 The Main Branch，重点始终是利用 AI 解决实际问题，而不是仅仅展示其能力。许多客户前来咨询如何使用 AI，但他认为这是一种倒退的方法——就像是拥有了解决方案却没问题要解决。相反，他们会与提出特定挑战的客户合作，从而创造出能真正产生影响的 AI solutions。
图 1. David Scott 在 YV24 舞台上。
David 还分享说，他们的工作通常不仅限于识别场景中的物体。发现场景中有什么只是第一步。真正的价值在于找出如何利用这些信息，并使其在更广泛的价值链中发挥作用。
Link to this section行为跟踪技术：实现可操作 AI 的关键#
让 AI 真正实用的一个关键步骤是超越物体检测等基础 computer vision tasks，并将这些见解用于行为跟踪。David 强调，行为 AI 的重点是理解动作和模式，而不仅仅是识别物体。这使得 AI 能够识别有意义的事件并提供可操作的见解。
他举了一个动物在地板上打滚的例子，这可能预示着生病。虽然人类无法 24 小时监视动物，但具有行为跟踪能力的 AI-driven surveillance systems 可以做到。此类解决方案可以持续监控物体、检测特定行为、发送警报并允许及时采取行动。这会将原始数据转化为实际且有价值的信息。
David 还展示了这种方法不仅让 AI 变得有趣，而且真正产生了影响。通过解决诸如监控行为并采取行动等实际问题，行为跟踪可以成为各行业有效 AI 解决方案的关键部分。
Link to this section让行为 AI 成为现实#
David Scott 随后阐述了 Ultralytics YOLOv8 这一计算机视觉模型如何成为他团队行为跟踪项目的突破点。它为他们检测、分类和跟踪物体提供了坚实的基础。他的团队还更进一步，custom-trained YOLOv8 以专注于长期监控行为，使其在现实场景中更加实用和有帮助。
有趣的是，随着 Ultralytics YOLO11 的发布，像 The Main Branch 创建的这类解决方案可以变得更加可靠和准确。这个最新的模型提供了诸如更高精度和更快处理速度等功能，从而增强了其跟踪行为的能力。在更好地理解行为 AI 的应用场景后，我们将详细讨论这一点。
接下来，让我们探讨 David 所谈到的解决方案，以及行为跟踪技术如何应用于现实场景，以解决日常挑战并产生有意义的影响。
Link to this section通过 AI 驱动的行为分析实现 HerdSense#
首先，David 分享了一个他们通过 HerdSense 项目解决的令人兴奋的挑战，该项目涉及监测大型饲养场中数千头牛的健康状况。目标是跟踪个体牛的行为以识别潜在的健康问题。这意味着要同时关注数万只动物，这并非易事。
图 2. HerdSense 专注于使用行为 AI 监测和识别牛群。
为了开始解决识别每头牛并跟踪其行为的问题，David 的团队进行了一次为期两天的研讨会，以列出他们需要监控的每一个可能的行为。他们总共确定了 200 多种行为。
这 200 种行为中的每一种都依赖于准确识别个体牛的能力，因为所有数据都必须与特定动物挂钩。一个主要的担忧是当牛群挤在一起时如何进行跟踪，这使得观察单个动物变得困难。
David 的团队开发了一个计算机视觉系统，以确保每头牛都能被持续识别，即使是在棘手的情况下。他们能够确认同一头牛总是被分配相同的 ID，即使它从视野中消失、与其它牛混在一起或稍后重新出现。
Link to this section使用计算机视觉监测马匹健康#
接下来，David 介绍了另一个引人入胜的项目，他们应用类似的行为跟踪技术来监测马匹。在这个项目中，David 的团队不需要像处理牛那样严格地 track 个体马匹 ID。相反，他们专注于特定行为，并跟踪饮食模式和一般活动水平等细节，以便及早发现任何健康问题。识别行为中的微小变化可以促使更快速的干预，从而提供更好的护理并防止问题变得严重。
图 3. 在行为 AI 的帮助下监测马匹。
Link to this section为什么行为 AI 并不像看起来那么简单#
David 还通过一个有趣的例子讨论了行为跟踪的复杂性。在研究改进行为分析的方法时，他的团队遇到了一家声称通过分析特定姿势（例如有人把手放在口袋里）来 detect shoplifting 的公司。起初，这听起来像是一个聪明的主意——某些动作可能暗示可疑行为，对吧？
图 4. 理解行为跟踪技术面临的挑战。
然而，随着 David 的深入探索，他意识到了这种方法的局限性。单一的姿势，例如手放在口袋里，并不一定意味着某人在行窃。它可能只是表明他们很放松、在思考，甚至感到寒冷。专注于孤立姿势的问题在于它忽略了更大的背景。行为不仅仅是一个单一的动作，它是由情境和意图塑造的随时间变化的动作模式。
David 强调，真正的行为跟踪要复杂得多，需要一种整体的方法。它关乎分析动作序列并理解它们在更广阔图景中的含义。虽然 AI 行业正在取得长足进步，但他指出，在推进行为跟踪以提供有意义且准确的见解方面，仍有工作要做。
Link to this section创建能理解动作的更智能的视觉 AI 模型#
随后，David 带观众深入幕后，展示了他的团队如何利用 YOLOv8 及其 pose estimation 能力构建了一个监测牛健康的计算机视觉解决方案。
他们首先为牛的姿势估计创建了一个自定义 dataset，将标准关键点数量从 17 个增加到 145 个，以提高模型分析动作的能力。然后，该模型在超过 200 万张图像和 1.1 亿个行为示例的海量数据集上进行了训练。
利用先进的硬件基础设施，David 的团队仅用了两天时间就完成了模型训练，而不是在传统硬件上可能需要的数周。随后，训练好的模型与一个自定义行为跟踪器集成，该跟踪器可同时分析多个视频帧，以检测牛动作中的模式。
结果是一个由视觉 AI 驱动的解决方案，可以检测和跟踪八种不同的牛行为，例如进食、饮水和躺卧，从而发现可能预示健康问题的细微行为变化。这使农民能够迅速采取行动，并改善了牛群管理。
Link to this section行为 AI 的未来之路#
David 在演讲结束时与观众分享了一个重要的教训：“如果你不给 AI 犯错的空间，那你就是在为失败做准备，因为归根结底，它是一个统计学工具。” 他指出，尽管 AI 有其优势，但它并非完美无缺。它是一个从模式中学习的工具，总会有出错的时候。与其害怕那些错误，关键在于构建能够处理这些错误并随时间持续改进的系统。
这一点对于 computer vision models 本身也是如此。例如，Ultralytics YOLO11（Ultralytics YOLO 模型的最新版本）的构建就考虑到了与 YOLOv8 相比需要更上一层楼的需求。
图 5. YOLO11 支持的计算机视觉任务。
特别是，YOLO11 提供了更好的性能，尤其是在精度至关重要的实时应用方面，如农业和医疗保健。凭借其先进的功能，YOLO11 通过提供创新的实时见解并帮助行业更有效地应对挑战，正在重新定义各行业使用 AI 的方式。
Link to this section关键要点#
David 在 YV24 上的主题演讲提醒我们，AI 不仅仅是一项酷炫的创新，它还是一个解决现实问题并改善我们生活和工作方式的强大工具。通过关注行为，AI 已经在跟踪动物健康和识别日常动作中的有意义模式等领域产生影响。
行为 AI 的潜力令人兴奋，而我们才刚刚起步。通过将原始数据转化为可操作的见解，行为 AI 从被动监控转变为主动解决问题。随着它的进一步发展，行为 AI 将推动更明智的决策，简化流程，并为我们的生活带来有意义的改善。
与 our community 保持联系，了解更多关于 AI 及其现实应用的信息。访问 our GitHub repository，发现在 AI in agriculture 和 computer vision in manufacturing 等领域的创新。
