OpenPoseとは？姿勢推定におけるマイルストーンを探る

今日、画像やカメラは至るところに存在し、スマートフォンや家庭、公共スペースにまで組み込まれています。私たちは単に瞬間を捉えるだけでなく、周囲の世界を理解し、相互に作用するためにそれらを活用しています。

バックグラウンドでは、人工知能（AI）のサブフィールドであるcomputer visionが、マシンに視覚データの解釈を可能にすることでこれを実現しています。これにより、システムはオブジェクトの検出、顔の認識、および動きの追跡を行うことができ、私たちが日々使用する多くのテクノロジーにおいて重要な役割を果たしています。

AIにおける最近の進歩のおかげで、computer visionモデルは、より複雑なデータやインサイトを分析および抽出できるようになりました。その一例が、人間の動きの理解に特化したcomputer visionタスクであるpose estimationです。

これは、画像や動画の中にある肩、肘、膝などの身体上のキーポイントを特定することで機能します。これにより、人々の動きを分析することが可能になり、フィットネストラッキング、アニメーション、ヘルスケアなど、さまざまな分野での応用が実現しています。

姿勢推定のために開発された数多くのツールの中で、OpenPoseは画期的な存在として際立っています。カーネギーメロン大学のPerceptual Computing Labの研究者によって作成されたこのシステムは、カメラのみを使用して（1人あたり最大135個のキーポイントで）、手、足、顔のキーポイントを含む全身の姿勢を複数の人物に対してリアルタイムで検出できる、最初のオープンソースシステムの1つでした。

この記事では、OpenPoseについて、その仕組み、そしてコンピュータービジョンにおけるマイルストーンとしての重要性を探ります。

Fig 1. OpenPoseを使用したマルチパーソンpose estimation。

姿勢推定の歴史を振り返る#

AIが広く採用される前は、ビデオ内の人間の動きの追跡には専用の機器を使用する必要がありました。film and animationなどの業界では、カメラが管理されたスタジオ環境で動きをキャプチャできるように、俳優が反射マーカー付きのスーツを着用することがよくありました。

これらのマーカーベースのモーションキャプチャ技術は正確でしたが、コストが高く、特定のセットアップに限定されていました。コンピュータービジョンが発展するにつれ、研究者たちはマーカーを使わずに身体の動きを追跡する方法を模索しました。彼らはエッジ、輪郭、テンプレートを使用して、画像内の人間の形状を見つけていました。

これらの初期のシステムは単純で直接的なケースでは機能しましたが、現実世界のシナリオには苦戦しました。人々が予想外の動きをしたり、フレーム内に複数の人が現れたりすると、結果が不正確になることがよくありました。

deep learningは2010年代後半に、pose estimationに大きな変化をもたらしました。ビジョンAIモデルは、人間のポーズの大規模なデータセットでトレーニングできるようになりました。エッジやテンプレートに依存する代わりに、何千ものラベル付き画像を学習することで、モデルは体の関節や構造を認識する方法を習得しました。これにより、pose estimationはより正確で柔軟になり、より幅広い環境で影響力を持つようになりました。

Fig 2. 2017年から2023年までの人間のpose estimationモデルの進化。

OpenPose：現代の姿勢推定が飛躍した場所#

OpenPoseは2017年に初めてリリースされ、1枚の画像内で同時に複数の人の姿勢を推定することができます。古いシステムとは異なり、OpenPoseは特別なスーツやマーカーを必要としません。標準的なカメラで動作し、画像や動画をリアルタイムで処理できます。これらの機能により、開発者や研究者にとって姿勢推定がより身近なものとなりました。

OpenPoseがcomputer visionのために築いた基盤は、他の人々がさまざまな他のアプリケーション向けの新しいアーキテクチャを構築するのに役立ちました。今日、pose estimationタスクをサポートするUltralytics YOLOv8やUltralytics YOLO11などのビジョンAIモデルは、より高速な結果とより低いレイテンシを提供します。

Fig 3. pose estimationにYOLO11を使用する。

しかし、姿勢推定がどのように進化したのか興味があるなら、OpenPoseは素晴らしい出発点となります。これは、多くの新しいシステムが今日でも頼りにしている重要な概念を導入したからです。

OpenPoseの主な機能#

OpenPoseがなぜ重要なのかを理解したところで、それが実際に何ができるのかを詳しく見ていきましょう。

OpenPoseの機能の核心にあるのは、keypoint detectionと呼ばれるものです。キーポイントとは、鼻の先端、肩の中心、ひじ、手首、腰、ひざ、足首など、人体上の特定の目印です。OpenPoseは、指や顔のパーツなどの詳細な領域を含め、1人あたり最大135個のこれらのポイントを検出できます。

これらのポイントを繋ぐと、人体の単純化された表現が形成されます。これはデジタルスケルトン（骨格）と考えることができます。このスケルトンの輪郭は、その人がどこにいるかだけでなく、どのようにポーズをとっているか（座っている、立っている、手を振っている、笑っている、歩いているなど）を示します。コンピューターは、私たちが本能的に誰かのボディランゲージを理解するように、これらのスケルトンを使用して人間の動きを視覚的に解釈できます。

スケルトントラッキングは、背景のノイズや気を散らす要素を取り除き、システムが人間の姿勢と動きに純粋に集中できるようにするため特に有用です。すべてのピクセルを分析する代わりに、OpenPoseは、人がどのように動いたり対話したりしているかを物語る意味のあるポイントに集中します。

日常の画像や動画からこの構造化された情報を抽出することで、OpenPoseは、ジェスチャーに応答したり、身体活動を監視したり、感情的な合図を評価したり、あるいはデジタルキャラクターをアニメーション化したりするアプリケーションを構築することを可能にします。

OpenPoseの仕組み#

OpenPoseが視覚入力から人体のキーポイントをどのように検出・接続するかについての概要を以下に示します。

• **画像から開始：**OpenPoseは、写真、ビデオ、またはライブcameraフィードから単一の画像を取得します。
• 重要な身体部分の特定: システムは、鼻、肘、手首、膝、足首など、身体上のキーポイントを探します。身体部分がそこにあるとシステムが確信できる場所にマークが付けられます。
• 部分の関連付け: 次に、OpenPoseはキーポイントがどのように接続されているかをチェックします。数学的計算を使用して、どの関節が同じ人物に属しているかを判断します（例：手首を適切な肘や肩と一致させる）。
• 各個人のスケルトンを描画: キーポイントをグループ化した後、OpenPoseはそれらを「棒人間」に接続し、各人の姿勢を表示します。これは、複数の人が同じフレームに現れる場合でも機能します。
• 姿勢データの出力: 最後に、検出されたすべてのキーポイントの正確な位置を提供します。これらは、動きの追跡、ジェスチャー認識、またはインタラクティブなツールの構築に使用でき、すべてリアルタイムで行われます。

Fig 4. OpenPoseを使用した人間のkeypoint detectionとトラッキング。

OpenPoseを用いた業界別の姿勢推定アプリケーション#

OpenPoseは、さまざまな現実世界のユースケースに対してpose estimationを実用的なものにした最初期の高度なツールの1つでした。現在ではリアルタイムのcomputer vision solutionsで一般的に使用されているわけではありませんが、スポーツ、エンターテインメント、教育、安全などの分野における初期の取り組みを形作る上で重要な役割を果たしました。

これらの分野でどのように道を切り開くのに役立ったのか、詳しく見ていきましょう。

フィットネスとスポーツのためのOpenPoseによる姿勢推定#

野球を見ているとき、何が起こっているのかを理解するのは簡単です。ピッチ、スイング、盗塁を即座に認識できます。人間として、私たちは直感的に身体の動きを読み取り、それほど努力せずに理解します。しかし、機械にとってこれらのアクションを認識することははるかに複雑です。機械には、身体の各部分が空間を通ってどのように動くかについての正確な情報が必要です。

OpenPoseはこのコンピュータービジョンの分野における大きな前進でした。さまざまな環境で運動フォームを分析するための実用的なツールでした。

Many research projects used OpenPose to break down movements like swings and jumps, even classifying specific baseball actions based on how players moved. Because it worked in open environments with standard video, it allowed researchers to test how such systems might function in real-world training or coaching scenarios.

これらの初期の調査は、高度なsports technologyで現在使用されているパフォーマンス追跡ツールの基礎を築くのに役立ちました。

Fig 5. OpenPoseを使用した野球アクション分類パイプラインの外観。

セキュリティおよび安全システムにおけるOpenPoseの活用#

同様に、研究者はOpenPoseを使用して、ビデオベースのポーズトラッキングが安全監視をどのようにサポートできるかも調査しました。公共の場での転倒、予期しないジェスチャー、または動きのパターンのようなdetecting behaviorsにおいてテストされました。

標準的なカメラで動作するため、OpenPoseにより、病院や交通ハブなどの環境での初期の実験がよりアクセシブルになりました。これらの調査は、監視、転倒検出、および緊急対応システムで現在使用されているnewer modelsの開発を推進するのに役立ちました。

Fig 6. OpenPoseによって可能になった転倒検出。

OpenPoseの長所と短所#

OpenPoseが提供する利点の一部を以下に示します。

• 研究とプロトタイピングに役立つ: 学術研究、特に人間とコンピューターの対話、バイオメカニクス、行動分析などの分野で広く使用されています。
• **クロスプラットフォームサポート：**Windows、Linux、macOSで実行でき、中央処理装置（CPU）とgraphics processing units (GPUs)の両方をサポートしています。
• オフライン処理機能: インターネットアクセスなしの環境で実行できるため、ヘルスケアや教育などのプライバシーに敏感な環境に最適です。

OpenPoseは大きな前進でしたが、考慮すべき重要な技術的限界もあります。OpenPoseに関連する主な課題の一部を以下に示します。

• 高い処理要件: OpenPoseをリアルタイムで実行するには、強力なGPUとかなりのコンピューティングリソースが必要です。
• 環境への依存: 低照度、混雑した場所、またはカメラアングルが理想的でない場合、パフォーマンスが低下する可能性があります。
• 新しいモデルと比較して重い: 新しい姿勢推定モデルと比較して、OpenPoseは比較的大型で低速です。スマートフォン、タブレット、組み込みシステムなどのリソースが限られたデバイスへのデプロイにはあまり適していません。

重要なポイント#

OpenPoseは、姿勢推定をより身近なものにする上で重要な役割を果たしました。スーツや特殊な機器に頼ることなく、シンプルなカメラで身体の動きを追跡できることを示しました。

これは、ヘルスケア、教育、エンターテインメント、研究全体にわたる多くの実用的なアプリケーションの基礎を築きました。新しいモデルがより高速で軽量なパフォーマンスを提供するようになった現在でも、OpenPoseは姿勢推定がどのように進化したかを理解するための重要な基準点であり続けています。

AIについて詳しく知るために、communityに参加してGitHub repositoryにアクセスしてください。独自のcomputer vision solutionsを構築したい場合は、licensing optionsをご覧ください。また、computer vision in healthcareとAI in logisticsがどのように影響を与えているかも確認してください。