コンピュータビジョンがモーション追跡の信頼性を高める

舞台演劇を観ているとき、お気に入りの俳優がステージ上を移動すると、意識せずとも目で追いかけることができます。人間にとって、このようなモーション追跡は自然なことです。脳は、ある瞬間から次の瞬間へと何を見ているかを自動的に繋ぎ合わせ、場面が変化する中でギャップを埋めて継続性を維持します。

マシンにとって、同じタスクははるかに複雑です。カメラはビデオを一連の個別のフレームとしてキャプチャし、システムは対象物がどこへ移動したかを推定し、それが引き続き追跡すべき対象かどうかを判断するために、ステップバイステップで同じ物体を繰り返し特定しなければなりません。

この課題はmotion trackingの核心にあります。モーション追跡には、ビデオ内で時間に沿ってオブジェクトを追跡することが含まれ、スポーツ分析、ロボット工学、モバイルアプリケーションなどの分野で重要な役割を果たしています。

従来のモーション追跡やカメラ追跡は、多くの場合、手動設定、トラックポイント、キーフレームに依存しています。単純なシーンでは機能しますが、動きが速い場合や一部が隠れている場合には、すぐに動作が遅くなり信頼性が低下します。

図1: モーション追跡システムの概要 (Source)

computer visionにおける最近の進歩により、これがはるかに容易になりました。コンピュータービジョンは、機械が画像や動画を理解できるようにするAIの分野であり、モーション追跡の精度を高め、手作業への依存度を低減します。各フレーム内のオブジェクトを検出し、その同一性を経時的に維持することで、現実世界の条件下でもより信頼性の高い動きの追跡が可能になります。

この記事では、コンピュータビジョンがどのようにモーション追跡を合理化できるかを探ります。それでは始めましょう！

従来のモーションキャプチャ・追跡手法とその限界#

従来のモーション追跡には、特にビデオ編集やVFXワークフローにおいて慎重な手動設定が必要です。そこでの目的は、映像内の動く要素にグラフィック、エフェクト、またはオーバーレイを付加することです。

多くのワークフローでは、ショットの特定の箇所にトラックポイントを配置することから始まり、その後、ソフトウェアがフレーム間でそれらを追跡してモーションパスをマッピングします。これはAfter Effectsのようなツールで一般的であり、同様のワークフローはPremiere Proでもマスク追跡のような機能を通じて見られ、編集者はマスクや領域を時間経過で追跡します。

マッチムーブも一般的な手法です。これは、デジタル要素を実際のカメラの動きに合わせるのに役立ち、ライブ映像内でエフェクトやグラフィックが所定の位置に留まるようにします。これらのアプローチは単純なシーンではうまく機能しますが、映像が混雑していたり、物体が素早く動いたりする場合には苦戦することがよくあります。

また、照明が変化したり、被写体が部分的に遮られたりすると追跡がうまくいかなくなることがあり、ドリフトや追跡の突然の飛びが発生する原因となります。これによりワークフローが停滞し、編集者はショットの一部をやり直さざるを得なくなります。物体が素早く方向を変えるとき、古いモーショントラッカーは追従に苦慮し、結果として一貫性がなく信頼しにくくなります。

コンピュータビジョンはどのようにモーション追跡を変革するか#

最先端のコンピュータビジョンシステムは、AIモデルを使用してビデオ内の動く物体を追尾します。絶え間ない手動調整や脆弱なフレーム単位の追跡に頼る代わりに、モデルは物体の外観や動きの傾向を学習します。これにより、シーンが混雑していたり、照明が変化したり、物体が一時的に消えたりしても、モーション追跡を安定させることができます。

たとえば、Ultralytics YOLO11や今後登場するUltralytics YOLO26などのコンピュータービジョンモデルは、すべてのフレームでオブジェクトを検出することでオブジェクト追跡をサポートします。簡単に言えば、検出された各オブジェクトのバウンディングボックスと信頼度スコアを出力することで、フレーム内に何があり、どこにあるのかを特定します。

図2: ゾーン内でのUltralytics YOLO11を使用した車両の追跡 (Source)

興味深いことに、YOLOモデルはそれ自体で経時的にオブジェクトを追跡するわけではありません。その代わり、Ultralytics Python packageを介して追跡が可能になり、YOLOの検出結果とByteTrackやBoT-SORTなどのマルチオブジェクト追跡アルゴリズムが接続されます。この構成では、YOLOがフレームごとにオブジェクトを検出し、トラッカーがフレーム間でそれらの検出結果をリンクして、オブジェクトが移動する際に各オブジェクトの一貫したIDを維持します。

AIを活用したモーション追跡の現実世界での応用#

次に、AIを活用したモーション追跡が影響を与えている現実世界のアプリケーションをいくつか見ていきましょう。

スポーツ分析と精密な選手追跡#

soccer matchでは、プレイヤーは常に加速、停止、方向転換を行っており、フィールド全体の動きを正確に測定することが困難になっています。手動での追跡は、特にプレイヤー同士が重なり合ったり、密集したり、混雑したエリアを移動したりする際に、しばしば機能しなくなります。

AIを活用したモーション追跡は、アクション中の各プレイヤーを追跡し、その移動パスを明確で一貫性のある状態に保つことで役立ちます。たとえば、最近のある研究では、研究者らがYOLO11 to detect playersと複数のカメラアングルからのボールを使用しました。YOLO11はすべてのフレームで各プレイヤーを識別し、追跡システムは時間の経過とともにそれらの検出をリンクして、移動時に各プレイヤーの身元を一貫して保ちました。

図3: 複数のサッカープレイヤーの検出と追跡 (Source)

拡張現実と仮想現実におけるモーション追跡#

Augmented reality (AR)は、製品のラベル、床の上のキャラクター、または移動時の足元のオーバーレイなど、アプリがデジタルオブジェクトを現実世界に配置できるようにするものです。これらの体験に現実感を持たせるためには、歩行中、スマートフォンの傾け、またはオブジェクト自体の移動時に、仮想コンテンツが適切な位置に固定されている必要があります。

コンピュータビジョンは、モバイルデバイスが何を見ているか、またカメラがシーン内をどのように移動しているかを理解するのに役立つため、ここで重要な役割を果たします。言い換えれば、物体が空間内のどこにあり、どのような向きであるかを推定し、ユーザーの動きに合わせてその位置を更新することで、3D追跡を実現しています。

図4: ARアプリケーション内の3Dトラッキングの例 (Source)

仮想現実 (VR) も同様の追跡概念に依存していますが、目標は異なります。VRはデジタルコンテンツを現実世界に固定するのではなく、あなたが動くにつれて仮想世界が自然に反応するように、頭や手の動きを追跡することに焦点を当てています。

移動機器の追跡とプロセス自動化#

産業環境では、機器や製品がワークフローの複数の段階を移動することがよくあります。各段階は正確なタイミングと調整に依存しています。アイテムが異なる速度で移動したり、重なり合ったり、素早く位置が変わったりするため、手動追跡では対応が遅れる可能性があります。

AIを活用したモーション追跡は、生産ラインを移動する各オブジェクトを製造システムがより明確に把握できるようにすることで貢献します。ある興味深い研究では、接続されたカメラのネットワークがproduction cycle全体を通じて製品を追跡し、現実のプロセスの仮想コピーであるデジタルツインをリアルタイムで更新しました。

システムは各製品を特定し、その動きを追跡し、デジタルモデルを現場の状況と一致させました。このアプローチにより、監視が改善され、オペレーターにあらゆる段階で信頼性の高いビューを提供することで、より安全な作業がサポートされました。また、一貫した追跡データを利用できる場合に、モーション追跡がより柔軟でscalable automationを実現できることも示しました。

AIを活用したモーション追跡のメリットとデメリット#

AIを活用したモーション追跡を使用するメリットをいくつか挙げます。

• オクルージョン（遮蔽）からの回復力の向上： ビジョンAIシステムは、物体が重なったり一時的に見えなくなったりした場合でも、多くの場合追跡を維持または再開できます。
• Scalability: デプロイ後、AIトラッカーは、ショットごとの繰り返しのセットアップなしで、長いビデオクリップや複数のカメラフィードを処理できます。
• より豊かなモーションデータ： 追跡出力は、経路、カウント、滞留時間、および基本的な速度推定の分析に使用できます。

AIを活用した追跡は多くの場合にうまく機能しますが、すべての環境でプラグアンドプレイで使用できるわけではありません。考慮すべきいくつかの制限事項を挙げます。

• 継続的なメンテナンス： カメラの角度、環境、ワークロードの変化に伴い、パフォーマンスは時間とともに変化する可能性があるため、定期的な更新が必要になることがよくあります。
• 統合の複雑さ： トラッカーを既存のビデオ編集、分析、または自動化システムに接続するには、アダプター、キャリブレーション、および追加のテストが必要になる場合があります。
• 極端な条件下でのエッジケース： 低照度、モーションブラー、激しいオクルージョン、非常に小さな物体などは、依然として追跡エラーの原因となる可能性があります。

重要なポイント#

AI駆動型のモーション追跡機能は、動きが速く、シーンが混雑し、手動修正ではスケールしない現実世界のビデオにおいて、より実用的な選択肢として急速に定着しつつあります。コンピュータビジョンは急速に向上しており、それにより追跡システムの導入が容易になり、困難な条件下でも信頼性が高まっています。その結果、モーション追跡はロボット工学、モバイルアプリ、分析、コンテンツ制作の全域でより役立つようになっています。

our communityに参加し、GitHub repositoryでビジョンAIの最新情報をご確認ください。ソリューションページにアクセスして、AI in manufacturingやcomputer vision in healthcareなどのアプリケーションがどのように進歩を推進しているかを確認し、licensing optionsを確認して次のAIソリューションを強化してください。