ポイント追跡

ポイントトラッキングは、コンピュータビジョンにおける基本的なタスクの一つであり、動画シーケンスの連続するフレーム間で、 特定の局所的な点（ピクセルや特徴的な部位など）の 動きを推定し、追跡することを指します。バウンディングボックスや セグメンテーションマスクを用いて対象物全体の 大まかな位置を追跡する オブジェクトトラッキングとは異なり、ポイントトラッキングは、 サブピクセルレベルという、はるかに微細な 詳細に焦点を当てています。これらの正確な位置間の対応関係を特定し維持することで、 人工知能（AI）システムは、 複雑な動きの分析を必要とする 高度な映像理解タスクを実現することができます。

ポイントトラッキングの仕組み

動的なシーン内でポイントを正確に追跡することは、非常に困難です。追跡対象のポイントは、 物体が一時的にカメラの視界を遮る「オクルージョン」に頻繁に遭遇したり、あるいは 視野から完全に外れてしまったりすることがあります。さらに、照明の変化、 遠近法の変化、急激な動きによって、ポイントの外観が劇的に変化することもあります。

従来、 ルーカス・カナデのオプティカルフローのような古典的なアルゴリズムが、これらのタスクを処理していました。 しかし、現代のアプローチでは、強力な ディープラーニングアーキテクチャが採用されています。Google （Tracking Any Point with Initialization and Refinement）やMeta AIのCoTracker3など、主要な研究機関による最近の革新的な成果が、この分野に革命をもたらしました。 ポイントを個別に追跡していた従来の方法とは異なり、CoTracker3のようなモデルは トランスフォーマーを用いて複数の ポイントを共同追跡し、同じオブジェクトに属するポイント間の物理的な依存関係を活かしています。これらの最先端 モデルは、実世界の 動画に対する疑似ラベリングも活用し、データ要件を大幅に削減しながら高精度なシステムを学習させています。

ポイント追跡と関連タスク

ポイント追跡は他のコンピュータビジョンタスクと密接に関連しているものの、それとは大きく異なる点がある：

• オブジェクト追跡： 物体全体（例：人物や車）に固有のIDを割り当て、それらを追跡します。これは、 Ultralytics のような物体検出モデルに大きく依存しています。
• 姿勢推定：任意のピクセルではなく、特定のセマンティック キーポイント（人間の関節など）を追跡します。ポイント追跡と共通点はあるものの、姿勢 推定には、対象物の構造的枠組みに対するセマンティックな理解が必要です。

実際のアプリケーション

ポイント追跡は、さまざまな高度なアプリケーションを実現するための重要な要素です：

• 3D再構築と構造から動きの推定（SfM）： 異なるカメラアングルや動画フレーム間で特定の特徴点を追跡することで、システムは奥行きを推定し、 環境の正確な3D再構築を行うことができます。これは、 拡張現実（AR）マッピングにおいて不可欠な技術です。
• ロボティクスと自律航行： 自律走行車やロボットは、ポイントトラッキング（多くの場合、 視覚オドメトリを用いて）を行い、周囲に対する自身の位置関係を把握し、 軌道を計算し、 複雑で動的な環境内を安全に航行します。
• 映像編集と特殊効果： プロ向けの視覚効果（VFX）ソフトウェアは、手ぶれのある映像を安定させたり、 実写シーン内の動く被写体にコンピュータ生成映像（CGI）を シームレスに合成したりするために、ポイントトラッキングを多用しています。

Ultralyticsによるキーポイントの追跡

一般的なポイントトラッカーは任意の画像ピクセルを追跡しますが、 このシステムのポーズ追跡機能を使えば、track 構造的キーポイント（人の目、肩、手首など）track することができます。 ultralytics パッケージ。 推奨される YOLO26 このモデルは、動作解析に最適な、高速なエンドツーエンドの キーポイント追跡を実現します。

from ultralytics import YOLO

# Load the recommended YOLO26 pose model for keypoint tracking
model = YOLO("yolo26n-pose.pt")

# Perform pose tracking on a video stream to follow human keypoints over time
results = model.track(source="video.mp4", stream=True)

# Iterate through the stream to process temporal keypoint tracking data
for frame_result in results:
    # Each keypoint maintains its association across frames
    print(f"Tracked {len(frame_result.keypoints)} human skeletons in current frame.")

コンピュータビジョンワークフローを大規模に展開する際、 Ultralytics は、 データアノテーション、モデルトレーニング、そしてシームレスな デプロイメントを実現する効率的なソリューションを提供し、 多様なエッジ環境やクラウド環境において、信頼性の高いパフォーマンスを保証します。