ビジョンAIにおける画像マッチングとは？簡単なはじめに

絵画と車の写真など、同じ被写体を写した2枚の写真を見ると、その共通点に気づくのは容易です。しかし、マシン（機械）にとって、これはそれほど単純なことではありません。

このような比較を行うために、マシンはコンピュータビジョンに頼ります。これは、視覚情報を解釈・理解するための人工知能 (AI)の一分野です。コンピュータビジョンにより、システムは物体を検出し、シーンを理解し、画像や動画からパターンを抽出できるようになります。

特に、単一の画像の分析を超えた視覚タスクが存在します。それらには、画像を比較して類似点を見つけたり、違いを発見したり、時間の経過に伴う変化を追跡したりすることが含まれます。

ビジョンAIは幅広い技術にまたがっており、その重要な機能の1つである画像マッチングは、照明、角度、背景が変化しても、画像間の類似点を特定することに焦点を当てています。この技術は、ロボティクス、拡張現実（AR）、ジオマッピングなど、さまざまなアプリケーションで使用できます。

この記事では、画像マッチングとは何か、その中心的な手法、そしていくつかの実世界での応用例を探っていきます。それでは始めましょう！

Link to this section画像マッチングとは何か？#

画像マッチングにより、コンピュータシステムは2つの画像が類似したコンテンツを含んでいるかどうかを理解することが可能になります。人間は形、色、パターンに注目することで直感的にこれを行うことができます。

一方、コンピュータは数値データに依存します。コンピュータは、デジタル画像の最小単位であるピクセル（画素）をそれぞれ調査することで画像を分析します。

すべての画像はピクセルのグリッドとして保存され、各ピクセルは通常、赤、緑、青（RGB）の値を持っています。画像が回転、サイズ変更、異なる角度からの閲覧、または異なる照明条件下での撮影が行われると、これらの値は変化する可能性があります。これらの変動があるため、ピクセル単位での画像比較は信頼性が低いことがよくあります。

比較をより一貫させるため、画像マッチングは、画像がわずかに変化しても安定性を保つ傾向があるローカルな特徴、つまり角、エッジ、テクスチャ領域に焦点を当てます。これらの特徴（キーポイント）を複数の画像間で検出することにより、システムはより高い精度でそれらを比較できます。

このプロセスは、ナビゲーション、ローカリゼーション、拡張現実、マッピング、3D再構築、ビジュアル検索といったユースケースで広く使用されています。システムが異なる画像や複数のフレーム間で同じ点を特定すると、動きを追跡し、シーンの構造を理解し、動的な環境で信頼性の高い意思決定を行うことができます。

図1：類似のキーポイントが特定された車の画像マッチングの例。 (ソース)

Link to this section画像マッチングの仕組みの理解#

画像マッチングには、システムが画像内の類似領域を特定および比較するのに役立ついくつかの重要なステップが含まれます。各ステップが、異なる条件下での精度、一貫性、堅牢性を向上させます。

画像マッチングの仕組みをステップバイステップで見てみましょう。

• 特徴検出（Feature detection）: システムはまず、照明、スケール、または視角が変化しても静止している画像内の特徴的なキーポイントを特定します。これらは、視覚的に際立つ角、エッジ、またはテクスチャ領域などを強調します。
• 特徴記述（Feature description）: 各キーポイントは、その点周辺の視覚的パターンを捉えたコンパクトな数値ベクトルであるディスクリプタに変換されます。これらのディスクリプタは、異なる画像間で特徴を比較するための信頼性の高い手段を提供します。
• 特徴マッチング（Feature matching）: 2つの画像からのディスクリプタは、それらがどれほど類似しているかを計算するマッチングアルゴリズムを使用して比較されます。このステップで、対応していると思われるキーポイントをペアにし、弱かったり信頼性の低い一致をフィルタリングします。
• 幾何学的検証（Geometric verification）: 最後に、システムは一致したキーポイントが現実的な幾何学的関係を形成しているかどうかをチェックします。RANSAC（Random Sample Consensus）として知られる手法を用いて不正確な一致（アウトライヤー）を除去し、信頼できる点ペアのみが保持されるようにします。適切な一致が特定されると、システムは2つの画像を最もよく関連付ける変換を推定します。これには多くの場合、スケーリング、回転、シフトなどの変化を調整するアフィン変換や、パースペクティブの変化にも対応できるホモグラフィが用いられます。これらの変換を使用することで、システムはわずかに異なる視点から撮影された場合でも画像を正確に整列させることができます。

図2：(a) 特徴点抽出と(b) 特徴マッチング。 (ソース)

Link to this section画像マッチングに関わる主要な技術#

画像マッチングの実世界での応用を探る前に、コンピュータビジョンシステムで使用される画像マッチング技術を詳しく見ていきましょう。

Link to this sectionテンプレートマッチングに基づく画像マッチング#

テンプレートマッチングは、最も単純な画像マッチング手法の1つです。これは直接的なピクセル比較に依存しており、より深い視覚的特徴を抽出しないため、現代的なコンピュータビジョン手法というよりは、むしろ画像処理技術と見なされるのが一般的です。

これは、より大きなシーン内に小さな参照画像、またはテンプレートを配置するために使用されます。テンプレートをメイン画像上でスライドさせ、各位置で類似度スコアを計算して、2つの領域がどれだけ密接に一致するかを測定するアルゴリズムを使用します。最も高いスコアを持つ領域が最良の一致と見なされ、オブジェクトがシーン内で出現する可能性が最も高い場所を示します。

図3：テンプレートマッチングの使用に関する考察。 (ソース)

この技術は、オブジェクトのスケール、回転、照明が一貫している場合にうまく機能し、制御された環境やベースラインの比較に適しています。しかし、サイズが変化したり、回転していたり、部分的に遮蔽されていたり、ノイズの多いまたは複雑な背景に対して現れたりするなど、オブジェクトがテンプレートと異なって見える場合には、パフォーマンスが低下します。

Link to this section画像マッチングのための古典的な特徴ベース技術#

ディープラーニングが広く採用される前は、画像マッチングは主に、画像内の特徴的なキーポイントを検出する古典的なコンピュータビジョンアルゴリズムに依存していました。これらのメソッドはすべてのピクセルを比較する代わりに、画像勾配（輝度の変化）を分析して、目立つ角、エッジ、およびテクスチャ領域を強調します。

各検出されたキーポイントは、次にディスクリプタと呼ばれるコンパクトな数値要約を使用して表現されます。2つの画像を比較する際、マッチャーはこれらのディスクリプタを評価して最も類似したペアを見つけます。

強力な類似度スコアは通常、両方の画像に同じ物理的な点が存在することを示しています。マッチャーはまた、特定の距離指標やスコアリングルールを使用して特徴がどの程度整列しているかを判断し、全体的な信頼性を向上させます。

画像マッチングに使用される主要な古典的コンピュータビジョンアルゴリズムのいくつかを以下に示します：

• SIFT (Scale-Invariant Feature Transform): 画像強度勾配を分析することでキーポイントを識別し、画像が拡大、縮小、または回転されても認識可能な状態を維持できるようにします。

• SURF (Speeded-Up Robust Features): このアルゴリズムはSIFTに似ていますが、速度のために最適化されています。勾配ベースの操作の高速な近似を使用しており、迅速な応答時間を必要とするアプリケーションに適しています。

• ORB (Oriented FAST and Rotated BRIEF): FASTとBRIEFと呼ばれる2つのアルゴリズムを統合したものです。FASTは画像内のコーナーのような点を高速に見つけ、BRIEFはそれらの各点のコンパクトな記述を作成して画像間でマッチングできるようにします。ORBはまた、両方のステップに回転処理を追加することで強化されており、高速かつ信頼性が高いものとなっています。

図4：2つの画像間で抽出およびマッチングされたSURF特徴点。 (ソース)

Link to this sectionディープラーニングに基づく画像マッチング技術#

特定のルールに依存する古典的な手法とは異なり、ディープラーニングは、AIモデルがパターンを学習するための視覚データの集まりである大規模データセットから、特徴を自動的に学習します。これらのモデルは通常、大規模な画像のバッチを処理し、複雑なニューラルネットワークを効率的にトレーニングするために必要な高い計算能力を提供するGPU（Graphics Processing Unit）上で動作します。

これにより、AIモデルは照明、カメラアングル、遮蔽といった実世界の変化に対応する能力を得ます。一部のモデルはすべてのステップを単一のワークフローに結合し、困難な条件下でも堅牢なパフォーマンスをサポートします。

画像の特徴抽出とマッチングのためのディープラーニングベースのアプローチを以下に示します：

• CNNベースの特徴抽出: これらのモデルは、大規模データセットから主要な視覚パターンを自動的に学習します。変化しにくい特徴を認識するため、異なるシーン間でオブジェクトをマッチングするのに信頼性があります。

• 埋め込み（Embedding）ベースのマッチング: ピクセルを直接比較する代わりに、この手法は画像を埋め込みと呼ばれるコンパクトな数値表現に変換します。その後、マッチャーはこれらの埋め込みを比較して類似した視覚要素を見つけます。顔を認識・比較するために埋め込みを生成するFaceNetや、画像とテキストを共有空間にマッピングして画像検索やセマンティックマッチングなどのタスクを行うCLIPのようなモデルが、このアプローチを採用しています。

• エンドツーエンドのマッチングパイプライン: 最先端のディープラーニングシステムは、キーポイント検出、記述、およびマッチングを統一されたワークフローに統合することがよくあります。SuperPointやD2-Netのようなモデルは、CNN特徴マップからキーポイントとディスクリプタの両方を直接学習し、SuperGlueは、従来の手法よりも確実にこれらのディスクリプタをペアにする学習済みマッチャーとして機能します。これらのコンポーネントを組み合わせることで、古典的な特徴ベースの手法よりも、困難な条件下で高い精度と優れた堅牢性を発揮するエンドツーエンドのパイプラインが作成されます。

• Transformerベースのマッチング: この手法は、アテンションメカニズムを使用して2つの画像間の対応する領域をリンクし、強い視点、照明、またはテクスチャの変化の下でもパッチを整列させることができます。LoFTR (Local Feature Transformer) のようなモデルは、Transformerのグローバルな受容野により、従来の検出器が失敗する低テクスチャ、ぼやけた、または繰り返しの多い領域でも信頼性の高いマッチングが可能になり、はるかに高い精度を実現しています。LoFTRは準高密度で高信頼性のマッチングを生成し、屋内および屋外のベンチマークの両方において、従来の最先端手法を大幅に上回っています。

• 効率重視モデル: 新しい画像マッチングモデルは、高速に動作しながら高い精度を実現することを目指しています。LightGlueのようなモデルは、計算能力が限られたデバイス上で効率的に動作しつつ、良好なマッチング品質を維持するように設計されています。

Link to this section画像マッチングの現実世界での応用#

画像マッチングの仕組みが理解できたところで、それが重要な役割を果たす実世界での応用例をいくつか見てみましょう。

Link to this section画像マッチングによって推進されるよりスマートなロボティクス#

ロボットは多くの場合、忙しく変化の激しい環境で動作し、どの物体が存在し、どのように配置されているかを理解する必要があります。画像マッチングは、ロボットが記憶された画像や参照画像と比較することで、見ている物体を理解するのに役立ちます。これにより、ロボットは物体を認識し、その動きを追跡し、照明やカメラアングルが変化しても適応することが容易になります。

例えば、倉庫内では、ロボットのピックアンドプレースシステムが画像マッチングを使用して、さまざまなアイテムを特定し取り扱うことができます。ロボットはまず物体を掴み、その画像をサンプルの参照画像と比較して特定します。

図5：ロボットは参照画像とマッチングすることでオブジェクトを認識し、拾い上げます。 (ソース)

一度一致が見つかると、ロボットはそれを正しく分類または配置する方法を知ります。このアプローチにより、ロボットはシステム全体を再トレーニングすることなく、既知の物体と新しい物体の両方を認識できます。また、棚の整理、部品の組み立て、アイテムの並べ替えなど、より良いリアルタイムの意思決定を行うのにも役立ちます。

Link to this sectionより優れた画像マッチングによる3D再構築の向上#

ドローンマッピング、仮想現実、ビル検査などの分野では、システムは複数の2D画像から3Dモデルを再構築する必要がよくあります。これを行うために、システムは画像マッチングに依存して、複数の画像にまたがって現れる角やテクスチャ領域などの共通のキーポイントを特定します。

これらの共有ポイントは、システムが3D空間において画像がどのように関連しているかを理解するのに役立ちます。この概念は、異なる視点から撮影された画像間でキーポイントを特定およびマッチングすることで3D構造を構築する手法であるStructure from Motion (SfM) と密接に関連しています。

マッチングが正確でない場合、生成される3Dモデルが歪んだり不完全に見えたりする可能性があります。このため、研究者は3D再構築のための画像マッチングの信頼性を向上させるために取り組んでおり、最近の進歩は有望な結果を示しています。

興味深い例として、より高速で堅牢な画像マッチングアルゴリズムであるHashMatchがあります。HashMatchは画像の詳細をハッシュコードと呼ばれるコンパクトなパターンに変換するため、照明や視点が変化しても、正しいマッチングを特定しアウトライヤーを除去することが容易になります。

大規模データセットでテストしたところ、HashMatchは位置合わせエラーが少なく、よりクリーンでリアルな3D再構築モデルを生成しました。これは、精度が極めて重要となるドローンマッピング、ARシステム、文化遺産保護といったアプリケーションにとって特に有用です。

Link to this section拡張現実における画像マッチングの役割#

拡張現実 (AR)に関して言えば、仮想オブジェクトを現実世界に整列させることは、しばしば課題となります。屋外環境は日光や天候などの環境条件に応じて絶えず変化する可能性があります。現実世界における微妙な違いは、仮想要素を不安定に見せたり、少しずれて見せたりすることがあります。

この問題を解決するために、ARシステムは画像マッチングを使用して周囲を解釈します。ライブカメラフレームを保存された参照画像と比較することで、ユーザーがどこにいるのか、またシーンがどのように変化したかを把握できます。

図6：2つの画像間でマッチングされた特徴点。 (出典: theijes.com)

例えば、XR（クロスリアリティ）グラスを使用した軍事スタイルの屋外ARトレーニングに関する研究では、研究者らはSIFTやその他の特徴ベースの手法を使用して、現実画像と参照画像間の視覚的な詳細を照合しました。ユーザーが素早く動いたり照明が変化したりした場合でも、正確なマッチングにより、仮想要素を現実世界と正しく整列させ続けることができました。

Link to this section重要なポイント#

画像マッチングはコンピュータビジョンの中核コンポーネントであり、システムが異なる画像がどのように関連しているか、または時間の経過とともにシーンがどのように変化するかを理解できるようにします。これは、精度と安定性が不可欠なロボティクス、拡張現実、3D再構築、自律型ナビゲーション、その他多くの実世界でのアプリケーションにおいて重要な役割を果たしています。

SuperPointやLoFTRのような高度なAIモデルにより、今日のシステムは以前の手法よりもはるかに堅牢になっています。機械学習技術、特殊なビジョンモジュール、ニューラルネットワーク、データセットが進歩し続けるにつれて、画像マッチングはより高速で正確、かつ適応性の高いものになっていくでしょう。

成長を続ける私たちのコミュニティに参加し、実践的なAIリソースについてはGitHubリポジトリをチェックしてください。今すぐビジョンAIを構築するには、ライセンスオプションをご覧ください。農業におけるAIがどのように農業を変革しているか、またヘルスケアにおけるビジョンAIがどのように未来を形作っているかについては、ソリューションページにアクセスして詳細をご確認ください。