Ultralytics YOLO27: 加入候补名单。
获取 YOLO 许可
指南

什么是 OpenPose?探索姿态估计领域的里程碑

了解 OpenPose 如何实时检测多人的身体、手部和面部关键点、它的工作原理和应用场景,以及它与较新模型的比较。

Abirami VinaAbirami Vina6 分钟阅读
了解 OpenPose 如何实时检测多人的身体、手部和面部关键点、它的工作原理和应用场景,以及它与较新模型的比较。

如今,图像和摄像头无处不在——它们内置于我们的手机和家中,甚至出现在公共场所。我们依靠它们不只是为了记录瞬间,还为了帮助我们理解并与周围的世界互动。

在幕后,计算机视觉这一人工智能(AI)分支领域通过赋予机器解读视觉数据的能力,让这一切成为可能。它使系统能够检测物体、识别人脸并跟踪移动,在我们日常使用的许多技术中发挥着关键作用。

得益于 AI 的最新进展,计算机视觉模型现在能够分析和提取更复杂的数据与洞见。姿态估计就是一个例子,它是一项专注于理解人体动作的计算机视觉任务。

它通过在图像或视频中识别身体上的关键点来实现,例如肩膀、肘部和膝盖。这使得分析人的动作成为可能,并推动了健身追踪、动画、医疗保健等领域的应用。

在众多为姿态估计开发的工具中,OpenPose 是一项重要突破。它由卡内基梅隆大学感知计算实验室的研究人员创建,是最早能够仅用摄像头实时检测多个人全身姿态的开源系统之一,可识别手、脚和面部关键点(每人最多 135 个关键点)。

本文将探讨 OpenPose、它的工作原理,以及它作为计算机视觉里程碑的重要意义。

OpenPose 骨架追踪一群人在滨水广场上共舞时的身体关键点

图 1。使用 OpenPose 进行多人姿态估计。

姿态估计发展历程概览#

在 AI 尚未广泛应用之前,追踪视频中的人体动作需要使用专用设备。在电影和动画等行业,演员通常会穿着带有反光标记的服装,以便摄像机在受控的摄影棚环境中捕捉他们的动作。

虽然基于标记的动作捕捉技术很准确,但成本也很高,而且只能用于特定的设备配置。随着计算机视觉的发展,研究人员开始探索不使用标记来追踪身体动作的方法。他们通过边缘、轮廓和模板在图像中寻找人体形状。

这些早期系统在简单、直接的场景中表现良好,但难以应对真实世界的情况。当人的动作出乎意料,或画面中出现多个人时,它们往往会给出较差的结果。

在 2010 年代后期,深度学习为姿态估计带来了重大变革。视觉 AI 模型可以利用大型人体姿态数据集进行训练。模型不再依赖边缘和模板,而是通过研究数千张带标注的图像,学会识别身体关节和结构。这使姿态估计更加准确、灵活,并能在更广泛的场景中发挥作用。

2017 至 2023 年人体姿态估计模型的发展时间线

图 2。2017 至 2023 年人体姿态估计模型的发展历程。

OpenPose:现代姿态估计的起点#

OpenPose 于 2017 年首次发布,能够在单张图像中同时估计多个人的姿态。与早期系统不同,OpenPose 不需要特殊服装或标记。它可以使用标准摄像机,并能实时处理图像和视频。这些特性让开发者和研究人员更容易使用姿态估计。

OpenPose 为计算机视觉奠定的基础,帮助其他人构建了适用于各种其他应用的新架构。如今,像 Ultralytics YOLOv8 和 Ultralytics YOLO11 这样的视觉 AI 模型,以及近期推出的 Ultralytics YOLO26,都支持姿态估计任务,能够提供更快的结果和更低的延迟。

Ultralytics YOLO11 姿态估计在办公室桌旁庆祝的五位同事身上绘制检测框和关键点骨架

图 3。使用 YOLO11 进行姿态估计。

不过,如果你想了解姿态估计的发展历程,OpenPose 是一个很好的起点。它提出了许多至今仍被新系统沿用的关键理念。

OpenPose 的核心能力#

现在我们已经更清楚 OpenPose 的重要性,接下来深入了解它的实际功能。

OpenPose 的核心能力之一是关键点检测。关键点是人体上的特定标志点,例如鼻尖、肩膀中心、肘部、手腕、臀部、膝盖和脚踝。OpenPose 每人最多可检测 135 个这样的点,包括手指和面部特征等细节区域。

将这些点连接起来,就能形成简化的人体表示——你可以把它想象成一个数字骨架。这种骨架轮廓不仅显示一个人的位置,还能呈现其姿势:是坐着、站着、挥手、微笑还是行走。计算机可以借助这些骨架从视觉上解读人体动作,就像我们能凭直觉理解他人的肢体语言一样。

骨架追踪尤其有用,因为它能剔除背景噪声和干扰,让系统专注于人体姿态和动作。OpenPose 无需分析每个像素,而是专注于能够说明一个人如何移动或互动的关键点。

通过从日常图像或视频中提取这些结构化信息,OpenPose 可以用于构建能够响应手势、监测身体活动、评估情绪线索,甚至为数字角色制作动画的应用。

OpenPose 如何工作?#

以下概述了 OpenPose 如何从视觉输入中检测并连接人体关键点:

  • 从图像开始: OpenPose 会从照片、视频或实时摄像头画面中获取一张图像。
  • 识别重要身体部位: 系统会寻找身体上的关键点,例如鼻子、肘部、手腕、膝盖和脚踝。系统确信某个身体部位所在的位置都会被标记出来。
  • 判断哪些部位属于同一个人: 接下来,OpenPose 会检查关键点之间的连接关系。它通过数学计算来判断哪些关节属于同一个人,例如将手腕与正确的肘部和肩膀对应起来。
  • 为每个人绘制骨架: 对关键点分组后,OpenPose 会将它们连接成一个“火柴人”,展示每个人的姿态。即使同一画面中出现多个人,这种方法也能正常工作。
  • 返回姿态数据: 最后,系统会提供所有检测到的关键点的精确位置。这些数据可用于追踪动作、识别手势或构建交互式工具,而且整个过程都是实时的。

使用 OpenPose 进行人体关键点检测和追踪

图 4。使用 OpenPose 进行人体关键点检测和追踪。

OpenPose 在各行业中的姿态估计应用#

OpenPose 是最早的高级工具之一,让姿态估计在各种真实世界用例中变得切实可行。虽然如今它在实时计算机视觉解决方案中并不常见,但它在塑造体育、娱乐、教育和安全等领域的早期工作方面发挥了重要作用。

下面来详细看看它如何为这些领域的发展铺平道路。

使用 OpenPose 进行健身和体育姿态估计#

观看棒球比赛时,我们很容易理解场上发生了什么——一眼就能认出投球、挥棒或盗垒。作为人类,我们能凭直觉读懂身体动作,不费什么力气就能理解其中含义。但对机器来说,识别这些动作要复杂得多。机器需要关于身体各个部位如何在空间中移动的精确信息。

OpenPose 是计算机视觉在这一领域的一大进步。它是一款实用工具,可用于在各种场景中分析运动员的动作。

许多研究项目使用 OpenPose 分析挥棒和跳跃等动作,甚至根据球员的动作对特定的棒球动作进行分类。由于它能在开放环境中使用标准视频运行,研究人员得以测试这类系统在真实世界训练或指导场景中的表现。

这些早期研究为如今先进体育科技中使用的性能跟踪工具奠定了基础。

使用 OpenPose 的棒球动作分类流程

图 5。使用 OpenPose 的棒球动作分类流程示意图。

在安防与安全系统中使用 OpenPose#

同样,研究人员也使用 OpenPose 探索基于视频的姿态跟踪如何支持安全监控。他们测试了该技术能否检测行为,例如跌倒、意外手势,或公共区域中的移动模式。

由于可以使用标准摄像头,OpenPose 让医院和交通枢纽等环境中的早期试验更容易开展。这些研究推动了较新模型的发展,这些模型如今用于监控、跌倒检测和应急响应系统。

由 OpenPose 实现的跌倒检测

图 6。由 OpenPose 实现的跌倒检测。

OpenPose 的优缺点#

下面简要介绍 OpenPose 的一些优势:

  • 适用于研究和原型开发: OpenPose 已广泛应用于学术研究,尤其是人机交互、生物力学和行为分析等领域。
  • 跨平台支持: OpenPose 可在 Windows、Linux 和 macOS 上运行,并支持中央处理器(CPUs)和图形处理器(GPUs)。
  • 支持离线处理:OpenPose 可在无法访问互联网的环境中运行,因此非常适合医疗或教育等对隐私敏感的场景。

尽管 OpenPose 是一项重大进步,但它也有一些需要注意的技术限制。以下是与 OpenPose 相关的一些主要挑战:

  • 处理需求高: 要让 OpenPose 实时运行,需要性能强劲的 GPU 和大量计算资源。
  • 易受环境影响: 在光线较暗、人群拥挤或摄像头角度不理想时,性能可能会下降。
  • 与较新模型相比体量较大: 与较新的姿态估计模型相比,OpenPose 相对庞大且速度较慢。它不太适合部署在智能手机、平板电脑或嵌入式系统等资源受限的设备上。

要点#

OpenPose 在普及姿态估计方面发挥了重要作用。它表明,只需一台普通摄像头就能跟踪身体动作,无需依赖动作捕捉服或专用设备。

它为医疗保健、教育、娱乐和研究领域的众多实际应用奠定了基础。虽然较新的模型如今速度更快、资源占用更少,但 OpenPose 仍是理解姿态估计演进历程的重要参考。

加入我们的社区,访问我们的 GitHub 代码库,进一步了解 AI。如果你想构建自己的计算机视觉解决方案,可以查看我们的许可选项。此外,还可以了解医疗领域的计算机视觉和物流领域的 AI如何发挥作用!

作者

Abirami Vina
Abirami Vina

内容创作者 · Ultralytics

Abirami Vina 职业生涯始于计算机视觉工程师,由此在视觉 AI 和机器学习领域打下了坚实基础。她是 Ultralytics 的内容创作者,也是 Scribe of AI 的创始人兼首席撰稿人,为专注 AI 的公司撰写高质量技术内容。她热衷于让 AI 更易理解、更具吸引力,通过自己的作品连接前沿技术与现实影响。

评论

提出问题、分享你的结果,或帮助其他人。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来