オープンソースの物体追跡ツールとアルゴリズム8選

車が赤信号を無視して自動で違反切符が運転手に送られるときや、サッカー選手がフィールドをドリブルで進み、カメラがプレーを滑らかに追うとき、AIは舞台裏で静かに働いています。特に、こうしたシステムはコンピュータービジョンに依存しています。コンピュータービジョンは、機械が世界の視覚情報を捉え、解釈し、理解できるようにするAIの一分野です。

コンピュータービジョンの中で、こうしたアプリケーションを支える重要なタスクの一つが物体追跡です。動画の各フレームで物体を識別し、移動したり、他の物体と重なったり、方向を変えたりしても、その物体を追跡するために使われます。

現在、さまざまな用途、性能要件、複雑さのレベルに合わせて設計された、多くの物体追跡ツールやアルゴリズムがあります。リアルタイムで数十個の物体を追跡できる速度を重視したものもあれば、遮蔽、速い動き、暗い照明などの難しい条件下で、精度や長期的な安定性を優先するものもあります。

特に、オープンソースプロジェクトはこの分野の発展に大きく貢献してきました。コードが公開されているため、開発者や研究者は仕組みを調べ、既存の手法を改善し、新しいアプリケーションに適応できます。このオープンな環境によって、物体追跡は急速に進歩し、実世界のシステムにも統合しやすくなりました。

この記事では、よく使われているオープンソースの物体追跡ツールとアルゴリズムを8つ紹介します。

物体追跡とは何ですか？#

警備員が駐車場の監視カメラ映像を見ている場面を考えてみましょう。警備員は赤い車を1台選び、その動きを見守ることにします。映像が進むにつれて、頭の中でその車に目印を付け、ほかの車が通り過ぎたり、人が前を横切ったりしても、車がどこへ行っても追跡し続けます。

AIを活用した物体追跡も同様ですが、自動で大規模に実行されます。つまり、物体追跡とは、動画のフレーム間で移動する物体を追い、その識別情報をフレームごとに一貫して維持する処理です。

多くのシステムでは、まず物体検出を行い、各フレーム内の人物、車両、道路標識などの物体を見つけてラベル付けします。その後、物体の移動、出現、消失、重なりに応じて、追跡システムがフレーム間の検出結果を関連付け、各物体がどれで、時間の経過とともにどこへ移動したかを把握します。

図1. 物体追跡の概要(出典)

追跡には一般的に2つの種類があります。単一物体追跡（SOT）は1つの主要な物体（スポーツ動画でボールだけを追跡する場合など）に焦点を当て、複数物体追跡（MOT）は複数の物体を同時に追跡し、それぞれに固有のIDを割り当てます（交通量の多い交差点ですべての車を追跡する場合など）。

追跡の種類にかかわらず、ほとんどのシステムは3つの主要な要素に依存しています。各フレームの物体を見つける検出器、物体の移動を予測する動きのモデル、新たな検出結果を追跡中の物体に結び付ける照合処理です。これらの要素によって、生の動画から、時間の経過に伴う物体の動きや相互作用に関する有用な情報が得られます。

オープンソースの物体追跡ツールが必要とされる理由#

詳細に入る前に、オープンソースの物体追跡ツールやアルゴリズムが特別な理由を疑問に思うかもしれません。

オープンソースツールは、物体追跡を使いやすく、より広く利用できるようにするうえで大きな役割を果たしてきました。コードが公開されているため、開発者や研究者はトラッカーの仕組みを詳しく確認し、そこから学び、ブラックボックスとして扱うのではなく、自分たちのプロジェクトに合わせて応用できます。

また、強力なコミュニティの支援も受けられます。多くのオープンソース追跡ツールは活発な貢献者によって保守され、新機能の追加、速度と精度の向上、バグ修正、最新の研究への対応が続けられています。この継続的な協力によって、さまざまなアプリケーションで信頼性と有用性を保つことができます。

コストも、オープンソースツールが重要なもう一つの大きな理由です。オープンソースツールは無料なので、学生、スタートアップ、小規模チームは、ライセンス料やサブスクリプション費用を気にせずに実験やプロトタイプの作成を行い、実用的なシステムを構築できます。

オープンソースの物体追跡ツールとアルゴリズム8選#

追跡システムの構築に利用できるオープンソースの選択肢は、現在、幅広く提供されています。パイプラインに直接組み込める追跡アルゴリズムやモデルもあれば、モデルの実行、管理、統合を容易にするライブラリやフレームワークもあります。これらを組み合わせることで、追跡の中核となるロジックから、実際のプロジェクトに必要な周辺ツールまで、あらゆる要素をカバーできます。

それでは、人気の高いオープンソースの物体追跡ツールとアルゴリズムを8つ見ていきましょう。

1. Ultralytics YOLOモデルとUltralytics Pythonパッケージ#

物体追跡に最も簡単で実用的な方法の1つは、Ultralytics YOLOモデルをUltralytics Pythonパッケージと組み合わせて使うことです。Ultralytics YOLO11や新しいUltralytics YOLO26などのUltralytics YOLOモデルは、物体検出、インスタンスセグメンテーション、姿勢推定、物体追跡など、幅広いビジョンタスクに対応するコンピュータービジョンモデルです。

図2. YOLO11を使用して物体を検出・追跡する例（出典）

興味深いことに、モデル自体はフレーム間で物体を追跡しません。Ultralytics YOLOモデルの実行とデプロイを簡素化するライブラリであるUltralytics Pythonパッケージが、YOLOによるフレームごとの検出と、BoT-SORTやByteTrackなどの専用の複数物体追跡アルゴリズムを組み合わせることで、追跡を可能にします。

追跡機能を標準搭載したUltralyticsパッケージとUltralytics YOLOモデルを使うと、各フレーム内の物体を検出し、一貫したIDを割り当てられるため、物体が移動したり、重なったり、フレーム外に出たり、再びフレーム内に入ったりする様子を追跡できます。このアプローチは製造業や小売業などで導入が進んでおり、欠陥検査ワークフロー、在庫の流れの追跡、店舗内の顧客追跡などの用途を可能にしています。

2. OpenCVトラッカー#

OpenCVは、物体追跡アルゴリズムを集めた、幅広い機能を備えるコンピュータービジョンライブラリです。このライブラリは、1999年からOpenCVコミュニティによって開発・保守されています。

これらのトラッカーのほとんどは、ディープラーニングに頼らず、相関フィルターやカーネルベースの手法など、従来のコンピュータービジョン技術を使用します（ニューラルネットワークで特徴を学習するのではなく、色やテクスチャなどの見た目をフレーム間で照合して物体を追跡します）。

これらのアルゴリズムでは、通常、まず追跡したい物体を選択すると、物体の移動に合わせてトラッカーが後続フレーム内を継続的に検索し、最も見た目が似ている領域を探します。

図3. OpenCVを使用した物体追跡（出典）

こうした手法は、複雑なシーンや混雑したシーンでは最新のディープラーニングベースの追跡システムほど堅牢ではない場合がありますが、軽量で高速に実行でき、扱いやすいため、今でも広く使われています。また、これらのトラッカーはCPU上で効率よく動作し、通常GPUを必要としないため、簡単な実験、授業での学習、趣味のプロジェクトにも適しています。

3. ByteTrack#

ByteTrackは、マルチオブジェクト追跡で最も人気のあるオープンソースアルゴリズムの一つです。モデルが非常に確信している検出結果だけを照合するのではなく、多くのシステムが通常は無視する、信頼度の低い検出結果も活用します。

これにより、部分的に隠れている、遠くにいる、または速く移動しているなど、一時的に見えにくい物体も追跡しやすくなります。ByteTrackは高速で信頼性が高いため、リアルタイム性能と一貫したIDが重要となる交通分析、歩行者追跡、小売店のモニタリングなどの用途でよく使われています。

前述のとおり、検出にUltralytics YOLOモデルを使用している場合、Ultralytics Pythonパッケージを通じてByteTrackを簡単に有効化できます。また、カスタムパイプラインで単独利用することもできるため、研究用プロトタイプからC++で記述された本番システムまで、幅広い用途に適しています。

4. DeepSORT#

マルチオブジェクト追跡で広く使われているもう一つのアルゴリズムがDeepSORTです。DeepSORTは、Deep Simple Online and Real-Time Trackingの略です。これは、Simple Online and Real-Time Trackingの略であるSORTを発展させたものです。

ByteTrackと同様に、SORTは検出ベースの追跡アプローチを採用しています。ただしSORTは、カルマンフィルターを利用して、各物体が次に移動する可能性の高い位置を予測します。カルマンフィルターは、過去の動きに基づいて物体の将来の位置を推定する数学的モデルです。

次に、主に位置とバウンディングボックスの重なりに基づいて、新しい検出結果を既存のトラックに対応付けます。そのためSORTは高速かつ軽量ですが、物体が重なったり、交差したり、一時的に視界から消えたりすると、追跡が難しくなる場合があります。

DeepSORTは、外観情報を追跡プロセスに加えることでSORTを改良しています。動きや位置に加え、物体の見た目を学習するディープラーニングベースの再識別（re-ID）モデルを使用します。これにより、動きだけではほかの物体と区別できない場合でも、トラッカーがフレーム間で同じ物体を認識できるようになります。

このためDeepSORTは、人が頻繁に重なったり、一時的に遮蔽されたりする監視や群衆モニタリングなどの用途でよく使われています。ただし、現在では古典的なベースラインと見なされており、より新しい追跡手法のほうが、難易度の高いシーンで優れた性能を発揮することがよくあります。

5. Norfair#

Norfairは、固定された追跡パイプラインを強制するのではなく、柔軟性を重視して設計された軽量の追跡ライブラリです。検出器の出力を、バウンディングボックスの中心、キーポイント、カスタム座標データなどの点の集合として表現できれば、ほぼあらゆる検出器に追跡機能を追加できます。

図4. Norfairを使用した実環境での物体追跡（出典）

この柔軟性は、一般的なマルチオブジェクト追跡ツールでは対応しきれない、特殊な入力や動的な動きのパターンを扱うプロジェクトで特に役立ちます。また、このライブラリには、フレーム間で検出結果をどのように対応付けるかを制御する距離関数も組み込まれています。

これらの距離関数は、2つの点や物体の類似度を測定し、追跡ロジックをユーザーが完全に制御できるようにします。Norfairは、ロボティクス、スポーツの動作分析、ドローンのナビゲーション、姿勢のランドマークやキーポイントの追跡に大きく依存する用途でよく使われています。

6. MMTracking#

MMTrackingは、広く使われているMMDetectionなどのコンピュータービジョンライブラリも手掛けるOpenMMLabチームによるオープンソースの追跡ツールボックスです。MMDetectionを基盤としており、追跡システムの開発や実験に使える柔軟なフレームワークを提供します。

最大の強みの一つは、モジュール設計です。単一のパイプラインに固定されることなく、検出器、追跡モジュール、一部の構成では再識別モデルなど、さまざまなコンポーネントを設定して入れ替えられます。この柔軟性から、手法のベンチマーク、新しいアイデアの検証、追跡パイプラインのファインチューニングを行いたいチームの研究や高度なプロジェクトで特に人気があります。

7. FairMOT#

FairMOTは、多数の物体を同時に追跡するために設計されたマルチオブジェクト追跡フレームワークです。まず検出を行い、その後、別のステップとしてフレーム間で物体を対応付ける従来の検出ベースの追跡パイプラインとは異なり、FairMOTは検出と再識別を単一のネットワークで同時に学習します。

図5. FairMOTフレームワークの仕組み（出典）

この一体型の構成により、特に人が頻繁に重なったり、速く移動したりする混雑したシーンでも、より一貫したIDを維持できます。FairMOTは、歩行者追跡や群衆モニタリングなどの場面でよく使われており、リアルタイムで多数の対象を追跡することが重要な小売分析や交通モニタリングなどにも適用されています。

8. SiamMask#

SiamMaskは、バウンディングボックスに加えてセグメンテーションマスクも生成することで、多くのトラッカーより一歩進んだ単一物体追跡手法です。簡単に言うと、対象を囲む長方形を描くだけではありません。ピクセル単位で物体の形状も輪郭として示すため、対象の形が変わったり、回転したり、一部が隠れたりする場合に役立ちます。

図6. SiamMaskを使用した物体の追跡とセグメンテーション（出典）

この手法はシャムネットワーク型の追跡設計を採用しています。まずトラッカーが最初のフレームから対象の小さな参照画像を取得します。これはテンプレートと呼ばれることがよくあります。次に、新しいフレームごとに、より広い領域を検索し、そのテンプレートとの類似度が最も高い位置を見つけます。

SiamMaskは、この照合ベースの考え方を発展させたものです。対象のピクセル単位のマスクも予測するため、動画の再生中に物体の位置と、より正確な輪郭の両方を取得できます。

物体追跡ツールを選ぶ際の主なポイント#

現在のAI分野では、オープンソースの物体追跡ツールとしてさまざまな選択肢があります。コンピュータービジョンプロジェクトに最適なものは、具体的なユースケースで必要となる要件によって異なります。検討すべきポイントをいくつか紹介します。

• 精度: ビジョンシステムが、重なり、遮蔽、高速な動きがある場合でも安定したIDを維持する必要がある、混雑したシーンや視覚的に複雑なシーンでは、特に重要です。
• 速度: ロボティクス、交通モニタリング、スポーツ分析などのリアルタイムアプリケーションでは、完全な精度よりも応答性が重視される場合があります。
• 統合の容易さ: 数行のコードですぐに組み込んで使える物体追跡ツールもあれば、より多くのセットアップや設定、カスタムパイプラインの作成が必要なものもあります。
• デプロイの制約: GPUサーバー、エッジデバイス、モバイルハードウェアなど、対象となる環境によって、実用的な追跡手法が決まる場合があります。
• スケーラビリティ: 多数の物体を同時に追跡したり、複数の動画ストリームを処理したりする必要がある場合、性能を大きく低下させずに効率よくスケールできるトラッカーが必要です。

物体追跡ツールやアルゴリズムには、それぞれ異なる目的があります。最終的には、具体的な要件、実行時の制約、パフォーマンス指標、そして追跡手法にどの程度のカスタマイズ性が必要かによって、適切な選択肢が決まります。

重要なポイント#

物体追跡は、初期の手作業による手法から、動き、ID、行動を高い精度で解釈する現在最先端のディープラーニングシステムへと進化してきました。この進歩を推進してきたのが、オープンソースツールです。オープンソースツールは、高性能なアルゴリズムを誰もが利用できるようにし、実験を促進するとともに、制限の多いライセンスや大規模なインフラに頼らずに、研究者が高度な追跡パイプラインを構築できるようにします。

AIについて詳しく知るには、コミュニティとGitHubリポジトリをご覧ください。農業分野のAIと製造業のコンピュータービジョンに関するソリューションページもご覧ください。ライセンスオプションを確認して、独自のビジョンモデルの構築を始めましょう。