コンピュータービジョンがモーショントラッキングの信頼性を高める
AIとコンピュータービジョンが、スポーツ、ロボティクス、モバイルアプリ、その他の実世界のワークフローで、モーショントラッキングをよりスマートかつ高速で信頼性の高いものにする方法を学びます。
舞台劇を見ていて、お気に入りの俳優が舞台を横切るとき、皆さんの目はほとんど意識することなくその動きを追えます。人間にとって、このようなモーショントラッキングは自然なものです。脳は、ある瞬間に見たものと次の瞬間に見たものを自動的につなぎ合わせ、場面が変化しても空白を補いながら連続性を維持します。
機械の場合、同じ作業ははるかに複雑です。カメラは動画を個々のフレームの連続として捉えるため、システムは対象がどこへ移動したかを推定し、それが追跡し続けるべき同じ対象かどうかを判断するために、フレームごとに同一の物体を繰り返し特定する必要があります。
この課題の中心にあるのがmotion trackingです。モーショントラッキングでは、時間の経過に沿って動画内の物体を追跡します。スポーツ分析、ロボティクス、モバイルアプリケーションなどの分野で重要な役割を果たします。
従来のモーションおよびカメラトラッキングは、手動設定、トラックポイント、キーフレームに依存することが多くあります。単純なシーンでは機能しますが、動きが速い場合や一部が遮られる場合には、すぐに時間がかかり、信頼性も低下します。
図1. モーショントラッキングシステムの概要（出典）
近年のcomputer visionの進歩により、この作業ははるかに容易になっています。コンピュータービジョンは、機械による画像や動画の理解を支援するAIの一分野であり、モーショントラッキングの精度を高め、手作業への依存を減らします。各フレームで物体を検出し、時間の経過に沿ってそのIDを一貫して維持することで、これらのシステムは実環境でもより信頼性の高い動きの追跡を実現します。
この記事では、コンピュータービジョンによってモーショントラッキングをより効率化する方法を見ていきます。それでは始めましょう。
従来のモーションキャプチャおよびトラッキング手法とその限界#
従来のモーショントラッキングでは、特に動画編集やVFXのワークフローにおいて、慎重な手動設定が必要になることがよくあります。そこでは、映像内で動く要素にグラフィックス、エフェクト、オーバーレイを取り付けることが目的です。
多くのワークフローでは、まずショット内の特定部分にトラックポイントを配置し、ソフトウェアでフレーム間のポイントを追跡してモーションパスをマッピングします。これはAfter Effectsなどのツールで一般的です。同様のワークフローは、編集者がマスクや領域を時間の経過に沿って追跡するマスクトラッキングなどの機能を通じて、Premiere Proにも見られます。
マッチムーブも一般的な手法です。デジタル要素を実際のカメラの動きに合わせ、実写ショット内でエフェクトやグラフィックスが適切な位置に留まるようにします。これらの手法は単純なシーンではうまく機能しますが、映像が混雑していたり、物体が高速で移動したりすると、問題が生じることがよくあります。
照明が変化したり、対象が部分的に遮られたりすると、トラッキングが破綻し、軌跡のずれや急なジャンプが発生することもあります。その結果、ワークフローが遅くなり、編集者はショットの一部をやり直さなければなりません。物体が急に方向を変える場合、従来のモーショントラッカーでは追従しきれず、結果に一貫性がなくなり、信頼しにくくなることがあります。
コンピュータービジョンがモーショントラッキングを変革する方法#
最先端のコンピュータービジョンシステムは、AIモデルを使用して動画内を移動する物体を追跡します。絶え間ない手動調整や脆弱なフレーム単位のトラッキングに依存する代わりに、モデルは物体の外観と一般的な動き方を学習します。これにより、シーンが複雑になったり、照明が変化したり、物体が一時的に見えなくなったりしても、モーショントラッキングを安定させられます。
たとえば、Ultralytics YOLO11や今後登場するUltralytics YOLO26などのコンピュータービジョンモデルは、各フレームで物体を検出することで、物体のトラッキングをサポートします。簡単に言えば、検出した各物体についてバウンディングボックスと信頼度スコアを出力し、フレーム内に何があり、どこにあるかを特定します。
図2. ゾーン内でUltralytics YOLO11を使用して車両をトラッキング（出典）
興味深いことに、YOLOモデル自体は時間の経過に沿って物体を実際にトラッキングしているわけではありません。トラッキングはUltralytics Python packageを通じて有効になり、YOLOの検出結果とByteTrackやBoT-SORTなどのマルチオブジェクトトラッキングアルゴリズムを接続します。この構成では、YOLOがフレームごとに物体を検出し、トラッカーがフレーム間で検出結果を関連付けることで、物体の移動中も各物体の一貫したIDを維持します。
AIを活用したモーショントラッキングの実環境での応用#
次に、AIを活用したモーショントラッキングが効果を発揮している、いくつかの実環境での応用例を詳しく見ていきます。
スポーツ分析と高精度な選手トラッキング#
サッカーの試合では、選手が絶えず加速、停止、方向転換を行うため、フィールド全体での動きを正確に測定することが困難です。特に選手同士が重なったり、密集したり、混雑したエリアを移動したりする場面では、手動トラッキングがうまく機能しなくなることがよくあります。
AIを活用したモーショントラッキングは、プレー中の各選手を追跡し、その移動経路を明確かつ一貫して維持することで役立ちます。たとえば、最近のある研究では、研究者が複数のカメラアングルからYOLO11で選手とボールを検出しました。YOLO11は各フレームで各選手を特定し、トラッキングシステムは時間の経過に沿って検出結果を関連付け、選手が移動してもそれぞれのIDを一貫して維持しました。
図3. 複数のサッカー選手の検出とトラッキング（出典）
拡張現実と仮想現実におけるモーショントラッキング#
拡張現実 (AR)によって、アプリは製品上のラベル、床の上のキャラクター、動かす足の上に表示されるオーバーレイなど、デジタルオブジェクトを現実世界に配置できます。こうした体験をリアルに感じられるものにするには、歩き回ったり、スマートフォンを傾けたり、オブジェクト自体を動かしたりしても、仮想コンテンツが正しい位置に固定されていなければなりません。
ここでコンピュータービジョンが重要な役割を果たします。モバイルデバイスが見ているものと、カメラがシーン内をどのように移動しているかを理解できるようにするためです。つまり、空間内の物体の位置と向きを推定し、ユーザーの移動に応じてその位置を更新することで、3Dトラッキングを可能にします。
図4. ARアプリケーション内での3Dトラッキングの例（出典）
仮想現実 (VR)も同様のトラッキングの考え方に基づいていますが、目的は異なります。デジタルコンテンツを現実世界に固定するのではなく、VRでは頭部と手を追跡し、ユーザーの動きに応じて仮想世界が自然に反応することを重視します。
移動する設備のトラッキングとプロセス自動化#
産業環境では、設備や製品がワークフローの複数の工程を通って移動することがよくあります。各工程は正確なタイミングと連携に依存しています。品目の移動速度が異なったり、互いに重なったり、位置が急速に変化したりするため、手動トラッキングでは遅れが生じることがあります。
AIを活用したモーショントラッキングは、製造システムに対して、ラインを移動する各物体をより明確に把握できるようにします。興味深い研究では、接続されたカメラのネットワークが生産サイクル全体で製品を追跡し、実際のプロセスを仮想的に複製したデジタルツインをリアルタイムで更新しました。
システムは各製品を特定して動きを追跡し、デジタルモデルを現場で起きていることと一致させました。このアプローチは監視を改善し、各工程で信頼できる状況把握をオペレーターに提供することで、より安全な運用を支援しました。また、一貫したトラッキングデータを利用できれば、モーショントラッキングによって、より柔軟でスケーラブルな自動化を実現できることも示しました。
AIを活用したモーショントラッキングのメリットとデメリット#
AIを活用したモーショントラッキングを使用する主なメリットは次のとおりです。
- オクルージョンからの復旧性の向上： ビジョンAIシステムは、物体が重なったり一時的に見えなくなったりしても、トラックを維持または再取得できることがよくあります。
- スケーラビリティ： 一度導入すれば、AIトラッカーはショットごとの繰り返し設定なしで、長時間の動画クリップや複数のカメラフィードを処理できます。
- より豊富なモーションデータ： トラッキングの出力は、分析のために経路、数、滞在時間、基本的な速度推定の測定に使用できます。
AIを活用したトラッキングは多くのケースで効果を発揮しますが、あらゆる環境ですぐに使えるわけではありません。考慮すべき制限事項は次のとおりです。
- 継続的なメンテナンス： カメラアングル、環境、ワークロードの変化に伴って性能が変わる可能性があるため、定期的な更新が必要になることがよくあります。
- 統合の複雑さ： 既存の動画編集、分析、自動化システムにトラッカーを接続するには、アダプター、キャリブレーション、追加のテストが必要になる場合があります。
- 極端な条件でのエッジケース： 低照度、モーションブラー、激しいオクルージョン、非常に小さな物体では、依然としてトラッキングエラーが発生する可能性があります。
主なポイント#
AIを活用したモーショントラッキング機能は、動きが速く、シーンが混雑し、手動修正では拡張できない実環境の動画において、より実用的な選択肢になりつつあります。コンピュータービジョンは急速に進歩しており、それによって、困難な条件でもトラッキングシステムの導入が容易になり、信頼性も向上しています。その結果、モーショントラッキングはロボティクス、モバイルアプリ、分析、コンテンツ制作など、さまざまな分野でより有用になっています。
コミュニティに参加し、GitHubリポジトリでビジョンAIの最新情報をご覧ください。ソリューションページでは、製造業におけるAIやヘルスケアにおけるコンピュータービジョンなどのアプリケーションがどのように進歩を促しているかを確認できます。また、次のAIソリューションに活用できるライセンスオプションもご覧ください。
