コンピュータービジョンでモーショントラッキングの信頼性を向上

舞台劇を見ていて、お気に入りの俳優が舞台上を移動するとき、意識しなくても目で追うことができます。人間にとって、このような動きの追跡は自然なことです。脳は、ある瞬間に見たものと次の瞬間に見たものを自動的につなぎ、場面が変わる間の隙間を補って、連続性を保ちます。

機械の場合、同じ作業ははるかに複雑です。カメラは動画を個々のフレームの連続として撮影するため、システムは同じ物体を段階的に繰り返し特定し、移動先を推定するとともに、追跡対象がまだ同じ物体かどうかを判断する必要があります。

この課題はモーショントラッキングの核心です。モーショントラッキングとは、動画内で物体を時間の経過に沿って追跡することで、スポーツ分析、ロボティクス、モバイルアプリケーションなどの分野で重要な役割を果たします。

従来のモーション追跡やカメラ追跡は、多くの場合、手動での設定、トラックポイント、キーフレームに依存しています。単純なシーンでは機能しますが、動きが速かったり、一部が遮られたりすると、すぐに処理が遅くなり、信頼性も低下します。

図1. モーショントラッキングシステムの様子（出典）

コンピュータービジョンの近年の進歩により、こうした作業は大幅に容易になりました。コンピュータービジョンは、機械が画像や動画を理解できるようにするAIの一分野であり、モーショントラッキングの精度向上と手作業への依存軽減に役立ちます。各フレームの物体を検出し、そのIDを時間の経過に沿って一貫して維持することで、現実世界の状況でも動きをより確実に追跡できます。

この記事では、コンピュータービジョンによってモーショントラッキングをどのように効率化できるかを紹介します。

従来のモーションキャプチャおよび追跡手法とその限界#

従来のモーショントラッキングでは、特に動画編集やVFXのワークフローにおいて、慎重な手動設定が必要になることがよくあります。こうしたワークフローでは、映像内で動く要素にグラフィック、エフェクト、オーバーレイを追従させます。

多くのワークフローでは、まずショット内の特定の箇所にトラックポイントを配置し、ソフトウェアでフレームをまたいで追従させ、動きの軌跡をマッピングします。After Effectsなどのツールで一般的な手法であり、Premiere Proでもマスクトラッキングなどの機能を通じて同様のワークフローが使われています。マスクや領域を時間に沿って追跡する方法です。

マッチムーブも一般的な手法です。デジタル要素を実際のカメラの動きに合わせ、実写映像内でエフェクトやグラフィックの位置を保ちます。こうした手法は単純なシーンではうまく機能しますが、映像が混雑していたり、物体が素早く動いたりすると、問題が起きやすくなります。

照明が変化したり、被写体の一部が隠れたりすると、トラッキングが破綻し、追跡位置がずれたり急に飛んだりすることがあります。その結果、作業が遅れ、編集者はショットの一部をやり直さなければなりません。物体の方向が急に変わると、古いモーショントラッカーでは追従が難しくなり、結果の一貫性や信頼性が損なわれます。

コンピュータービジョンがモーショントラッキングを変革する方法#

最新のコンピュータービジョンシステムは、AIモデルを使って動画内を移動する物体を追跡します。常に手動で微調整したり、フレームごとの不安定な追跡に頼ったりするのではなく、モデルが物体の見た目や典型的な動き方を学習します。そのため、シーンが複雑になった場合や照明が変化した場合、物体が一時的に見えなくなった場合でも、モーショントラッキングを安定させることができます。

たとえば、Ultralytics YOLO11やその後継モデルのUltralytics YOLO26などのコンピュータービジョンモデルは、各フレームの物体を検出して物体追跡に対応します。簡単に言えば、検出した物体ごとにバウンディングボックスと信頼度スコアを出力して、フレーム内に何がどこにあるかを特定します。

図2. Ultralytics YOLO11を使用した領域内の車両追跡（出典）

興味深いことに、YOLOモデル自体が時間経過に伴って物体を追跡するわけではありません。追跡は、YOLOの検出結果とByteTrackやBoT-SORTなどのマルチオブジェクト追跡アルゴリズムを連携させるUltralytics Pythonパッケージによって実現されます。この構成では、YOLOがフレームごとに物体を検出し、トラッカーがフレーム間の検出結果を関連付けて、物体の移動中も一貫したIDを維持します。

AI搭載モーショントラッキングの実世界での活用例#

次に、AI搭載モーショントラッキングが実際に効果を発揮している活用例をいくつか詳しく見ていきましょう。

スポーツ分析と高精度な選手追跡#

サッカーの試合では、選手が絶えず加速、停止、方向転換をするため、フィールド全体での動きを正確に測定するのは困難です。こうした状況では、手動追跡がうまく機能しなくなることがよくあります。特に選手同士が重なったり、密集したり、混雑したエリアを移動したりすると、その傾向が顕著です。

AI搭載モーショントラッキングは、プレー中の各選手を追跡し、動きの軌跡を明確かつ一貫して保つことで役立ちます。たとえば最近のある研究では、研究者が複数のカメラアングルからYOLO11で選手を検出し、ボールも検出しました。YOLO11が各フレームの選手を特定し、トラッキングシステムが検出結果を時間に沿って関連付けることで、選手の移動中も各選手のIDを一貫して維持しました。

図3. 複数のサッカー選手の検出と追跡（出典）

拡張現実と仮想現実におけるモーショントラッキング#

拡張現実（AR）によって、アプリは製品のラベル、床の上のキャラクター、動きに合わせて足に重ねる表示など、デジタルオブジェクトを現実世界に配置できます。こうした体験にリアリティを持たせるには、歩き回ったり、スマートフォンを傾けたり、オブジェクト自体を動かしたりしても、仮想コンテンツを適切な位置に固定する必要があります。

ここでは、コンピュータービジョンが重要な役割を果たします。モバイルデバイスが、何を見ているのか、カメラがシーン内をどのように移動しているのかを理解できるようにします。つまり、空間内の物体の位置や向きを推定し、ユーザーの動きに合わせてその位置を更新することで、3Dトラッキングを実現します。

図4. ARアプリケーションにおける3Dトラッキングの例（出典）

仮想現実（VR）でも同様の追跡手法を使いますが、目的は異なります。デジタルコンテンツを現実世界に固定するのではなく、頭部や手を追跡し、ユーザーの動きに合わせて仮想世界が自然に反応するようにします。

移動する機器の追跡とプロセスの自動化#

産業環境では、ワークフローの複数の段階を通じて機器や製品が移動することがよくあります。各段階では、正確なタイミングと連携が求められます。物品ごとに移動速度が異なったり、互いに重なったり、位置が急に変わったりするため、手動追跡では対応が遅れることがあります。

AI搭載モーショントラッキングは、生産システムにおいて、ラインを移動する各物体をより明確に把握できるようにします。興味深い研究では、接続されたカメラのネットワークが生産サイクル全体を通じて製品を追跡し、実際のプロセスを仮想的に再現するデジタルツインをリアルタイムで更新しました。

システムは各製品を特定して動きを追跡し、現場で起きていることにデジタルモデルを同期させました。このアプローチは監視を改善し、各段階でオペレーターに信頼できる状況把握を提供することで、より安全な運用を支援しました。また、一貫した追跡データがあれば、モーショントラッキングによって、より柔軟でスケーラブルな自動化を実現できることも示しました。

AI搭載モーショントラッキングのメリットとデメリット#

AI搭載モーショントラッキングを活用するメリットをいくつか紹介します。

• オクルージョンからの復帰性能の向上: ビジョンAIシステムは、物体が重なったり一時的に見えなくなったりしても、追跡を維持または再開できることがよくあります。
• スケーラビリティ: デプロイ後のAIトラッカーは、ショットごとのセットアップを繰り返すことなく、長時間の動画クリップや複数のカメラ映像を処理できます。
• より豊富な動きのデータ: 追跡結果を使って、分析に必要な軌跡、個数、滞在時間、基本的な速度を測定できます。

AI搭載トラッキングは多くのケースで効果を発揮しますが、どの環境でもそのまま使えるわけではありません。考慮すべき制約をいくつか紹介します。

• 継続的なメンテナンス: カメラアングル、環境、ワークロードの変化に伴い、性能が変わることがあります。そのため、定期的な更新が必要になることがよくあります。
• 統合の複雑さ: 既存の動画編集、分析、自動化システムにトラッカーを接続するには、アダプター、キャリブレーション、追加テストが必要になることがあります。
• 極端な条件でのエッジケース: 暗所、モーションブラー、強いオクルージョン、非常に小さな物体では、依然として追跡エラーが発生することがあります。

重要なポイント#

動きが速く、シーンが混雑し、手動修正を大規模に適用できない実世界の動画では、AIによるモーショントラッキング機能が急速に現実的な選択肢になりつつあります。コンピュータービジョンの進歩に伴い、追跡システムは導入しやすくなり、困難な条件下での信頼性も向上しています。その結果、モーショントラッキングはロボティクス、モバイルアプリ、分析、コンテンツ制作など、さまざまな分野でますます役立っています。

コミュニティに参加して、ビジョンAIの最新情報をGitHubリポジトリでご覧ください。製造業におけるAIやヘルスケアにおけるコンピュータービジョンなどのアプリケーションがどのように進歩を推進しているか、ソリューションページをご覧ください。また、次のAIソリューションに活用できるライセンスオプションもご確認ください。