Ultralytics YOLO11による手のキーポイント推定の強化

最近、スーパーボウルの手話通訳者が大きな注目を集めています。テレビでお気に入りのアーティストの曲を歌う通訳者を見たとき、手話を知っていれば、その動きを理解できます。これは、脳が手の動きを処理しているからです。しかし、コンピューターも同じことができるとしたらどうでしょうか。AIを活用したハンドトラッキングソリューションにより、機械が手の動きを驚くほど正確に追跡し、解釈することが可能になっています。

こうしたソリューションの中核にあるのが、AIの一分野であるコンピュータービジョンです。コンピュータービジョンによって、機械は視覚情報を処理して理解できるようになります。画像や動画を分析することで、ビジョンAIは物体の検出、動きの追跡、複雑なジェスチャーの認識を高い精度で実行できます。

例えば、Ultralytics YOLO11のようなコンピュータービジョンモデルは、姿勢推定を使用して、手のキーポイントをリアルタイムで検出・分析するようにトレーニングできます。これにより、ジェスチャー認識、手話翻訳、AR/VRインタラクションなどのアプリケーションに活用できます。

この記事では、Ultralytics YOLO11によってAIベースのハンドトラッキングを実現する方法、トレーニングに使用するデータセット、手の姿勢推定用モデルをカスタムトレーニングする方法について説明します。実世界でのアプリケーションについても見ていきます。それでは始めましょう。

AIベースの手のキーポイント検出を理解する#

AIは、手首、指先、指の関節などのキーポイントを特定することで、視覚データ内の手の動きを認識・追跡できます。姿勢推定と呼ばれる手法の一つでは、キーポイントをマッピングし、時間経過に伴う変化を分析することで、コンピューターが人間の動きを理解できるようにします。これにより、AIシステムは身体の姿勢、ジェスチャー、動作パターンを高い精度で解釈できます。

コンピュータービジョンモデルは、画像や動画を分析して手のキーポイントを特定し、その動きを追跡することで、これを可能にします。これらの点がマッピングされると、AIはキーポイント間の空間的な関係と時間経過に伴う変化を分析して、ジェスチャーを認識できます。

例えば、親指と人差し指の間の距離が縮まると、AIはそれをつまむ動作として解釈できます。同様に、キーポイントが一連の動作の中でどのように移動するかを追跡することで、複雑な手のジェスチャーを特定し、将来の動きを予測することもできます。

図1. コンピュータービジョンを使用した手のキーポイント認識の例です。

手のトラッキングにおける姿勢推定は、スマートデバイスのハンズフリー操作から、ロボットの精度向上、ヘルスケアアプリケーションの支援まで、興味深い可能性を切り開いています。AIとコンピュータービジョンが進化し続けるにつれて、ハンドトラッキングは、日常生活でテクノロジーをよりインタラクティブで利用しやすく、直感的なものにするうえで、より大きな役割を果たすと考えられます。

姿勢推定におけるUltralytics YOLO11の活用#

AIベースのハンドトラッキングソリューションの作成方法を詳しく見ていく前に、姿勢推定と、Ultralytics YOLO11がこのコンピュータービジョンタスクをどのようにサポートするかを確認しましょう。物体全体を識別する標準的な物体検出とは異なり、姿勢推定では、関節、手足、輪郭などの主要なランドマークの検出に重点を置き、動きや姿勢を分析します。

具体的には、Ultralytics YOLO11はリアルタイムの姿勢推定向けに設計されています。トップダウン方式とボトムアップ方式の両方を活用することで、人を効率的に検出し、1回の処理でキーポイントを推定します。その結果、従来のモデルを速度と精度の面で上回ります。

Ultralytics YOLO11は、標準でCOCO-Poseデータセットを使用して事前トレーニングされており、頭部、肩、肘、手首、腰、膝、足首など、人体上のキーポイントを認識できます。

図2. YOLO11を使用した人間の姿勢推定です。

人間の姿勢推定だけでなく、Ultralytics YOLO11は、動物や無生物を含むさまざまな物体上のキーポイントを検出するようにカスタムトレーニングできます。この柔軟性により、YOLO11は幅広いアプリケーションに適した選択肢となります。

Hand Keypointsデータセットの概要#

モデルをカスタムトレーニングする最初のステップは、データを収集してアノテーションを付けるか、プロジェクトの要件に合う既存のデータセットを見つけることです。例えば、Hand Keypointsデータセットは、ハンドトラッキングや姿勢推定用のビジョンAIモデルをトレーニングするための出発点として適しています。26,768枚のアノテーション済み画像が含まれているため、手作業でラベル付けする必要がありません。

このデータセットは、Ultralytics YOLO11のようなモデルに手の動きの検出・追跡方法を効率的に学習させるために使用できます。データセットには、手首、指、関節をカバーする、1つの手あたり21個のキーポイントが含まれています。また、データセットのアノテーションは、リアルタイムメディア処理向けのAIソリューションを開発するためのツールであるGoogle MediaPipeを使用して生成されており、正確で信頼性の高いキーポイント検出を実現します。

図3. Hand Keypointsデータセットに含まれる21個のキーポイントです。

このような構造化されたデータセットを使用すると時間を節約でき、開発者はデータの収集やラベル付けではなく、モデルのトレーニングとファインチューニングに集中できます。実際、このデータセットはすでにトレーニング用（18,776枚）と検証用（7,992枚）のサブセットに分割されているため、モデルのパフォーマンスを簡単に評価できます。

手の姿勢推定用にUltralytics YOLO11をトレーニングする方法#

YOLO11の手の姿勢推定向けトレーニングは、特にUltralytics Pythonパッケージを使用すれば簡単に実行できます。このパッケージにより、モデルのセットアップとトレーニングが容易になります。Hand Keypointsデータセットはすでにトレーニングパイプラインでサポートされているため、追加のフォーマットなしですぐに使用でき、時間と労力を節約できます。

トレーニングプロセスは次のとおりです。

• 環境をセットアップする: 最初のステップは、Ultralytics Pythonパッケージをインストールすることです。
• Hand Keypointsデータセットを読み込む: Ultralytics YOLO11はこのデータセットをネイティブにサポートしているため、自動的にダウンロードして準備できます。
• 事前トレーニング済みモデルを使用する: 事前トレーニング済みのUltralytics YOLO11姿勢推定モデルから開始できます。これにより、精度の向上とトレーニングプロセスの高速化が可能になります。
• モデルをトレーニングする: モデルは複数のトレーニングサイクルを通じて、手のキーポイントを検出・追跡する方法を学習します。
• パフォーマンスを監視する: Ultralyticsパッケージには、精度や損失などの主要な指標を追跡する組み込みツールも用意されており、モデルが時間の経過とともに改善されていることを確認できます。
• 保存してデプロイする: トレーニング済みのモデルはエクスポートし、リアルタイムのハンドトラッキングアプリケーションで使用できます。

カスタムトレーニングしたモデルを評価する#

カスタムモデルの作成手順を進めると、パフォーマンスの監視が不可欠であることに気付くでしょう。トレーニング中の進捗を追跡するだけでなく、その後にモデルを評価し、手のキーポイントを正確に検出・追跡できることを確認することが重要です。

精度、損失値、平均適合率（mAP）などの主要なパフォーマンス指標は、モデルの性能を評価するのに役立ちます。Ultralytics Pythonパッケージには、結果を可視化し、予測と実際のアノテーションを比較する組み込みツールが用意されているため、改善すべき領域を見つけやすくなります。

モデルのパフォーマンスをより深く理解するには、トレーニングログに自動生成される損失曲線、適合率-再現率プロット、混同行列などの評価グラフを確認できます。

これらのグラフは、過学習（モデルがトレーニングデータを記憶する一方で、新しいデータへの対応に苦労する状態）や未学習（モデルが正確に動作するのに十分なパターンを学習できていない状態）などの問題の特定に役立ち、精度を向上させるための調整を導きます。また、新しい画像や動画でモデルをテストし、実世界のシナリオでどの程度機能するかを確認することも重要です。

AIを活用したハンドトラッキングソリューションのアプリケーション#

次に、Ultralytics YOLO11による手のキーポイント推定の中でも、特に大きな効果をもたらすアプリケーションをいくつか見ていきましょう。

Ultralytics YOLO11によるリアルタイムジェスチャー認識#

手を振るだけでテレビの音量を調整したり、空中で簡単にスワイプしてスマートホームシステムを操作したりできるとしたらどうでしょうか。Ultralytics YOLO11を活用したリアルタイムジェスチャー認識は、手の動きをリアルタイムで正確に検出することで、こうした非接触のインタラクションを可能にします。

これは、AIカメラを使用して手のキーポイントを追跡し、ジェスチャーをコマンドとして解釈することで実現します。深度センシングカメラ、赤外線センサー、通常のWebカメラなどで手の動きを撮影し、Ultralytics YOLO11がそのデータを処理してさまざまなジェスチャーを認識します。例えば、このようなシステムは、曲を変更するスワイプ、ズームインするピンチ、音量を調整する円運動を区別できます。

手話認識のためのAIベースの手のキーポイント検出#

ハンドトラッキング向けのAIソリューションは、聴覚障害のある人と手話を知らない人との円滑なコミュニケーションを支援できます。例えば、カメラとUltralytics YOLO11を統合したスマートデバイスを使用して、手話を即座にテキストや音声へ翻訳できます。

Ultralytics YOLO11のような進歩により、手話翻訳ツールはより正確で利用しやすくなっています。これは、支援技術、ライブ翻訳サービス、教育プラットフォームなどのアプリケーションに影響を与えます。AIはコミュニケーションの隔たりを埋め、職場、学校、公共空間でのインクルーシブな環境づくりを促進できます。

ハンドトラッキングのためのコンピュータービジョン：ARおよびVR体験の向上#

コントローラーを使わずに物体をつかめるバーチャルリアリティ（VR）ゲームをプレイしたことはありますか。コンピュータービジョンを活用したハンドトラッキングにより、ユーザーは拡張現実（AR）やVR環境で自然に操作できるようになります。

図4. ハンドトラッキングはARおよびVRアプリケーションの重要な要素です。

Ultralytics YOLO11のようなモデルを使用した手のキーポイント推定により、AIは動きをリアルタイムで追跡し、ピンチ、つかむ、スワイプなどのジェスチャーを可能にします。これにより、ゲーム、バーチャルトレーニング、リモートコラボレーションが強化され、インタラクションがより直感的になります。ハンドトラッキング技術が向上するにつれて、ARやVRはさらに没入感が高く、現実に近いものになるでしょう。

主なポイント#

Ultralytics YOLO11による手のキーポイント推定によって、AIを活用したハンドトラッキングソリューションは、より利用しやすく信頼性の高いものになっています。リアルタイムジェスチャー認識から手話の解釈、AR/VRアプリケーションまで、コンピュータービジョンは人間とコンピューターのインタラクションに新たな可能性を切り開いています。

さらに、効率化されたカスタムトレーニングとファインチューニングのプロセスにより、開発者はさまざまな実世界の用途に対応する効率的なモデルを構築できるようになっています。コンピュータービジョン技術が進化するにつれて、ヘルスケア、ロボティクス、ゲーム、セキュリティなどの分野で、さらなるイノベーションが期待されます。

私たちのコミュニティに参加し、GitHub repositoryでAIの進歩を探ってみませんか。製造業におけるAIとヘルスケアにおけるcomputer visionのインパクトを、私たちのソリューションページでご覧ください。ライセンスプランを確認して、今すぐAIの旅を始めましょう。