ビジョンAIにおける画像マッチングとは？クイック入門

絵画と車の写真のように、同じ物体を写した2枚の画像を見ると、共通点を簡単に見つけられます。しかし、機械にとってはそれほど簡単ではありません。

このような比較を行うには、機械は人工知能 (AI)の一分野であるコンピュータービジョンに頼ります。コンピュータービジョンは、視覚情報の解釈と理解を支援します。コンピュータービジョンによって、システムは物体を検出し、シーンを理解し、画像や動画からパターンを抽出できます。

特に、一部の視覚タスクは単一の画像の分析にとどまりません。画像を比較して類似点を見つけたり、違いを特定したり、時間の経過に伴う変化を追跡したりします。

Vision AIには幅広い技術が含まれており、その重要な機能の1つである画像マッチングは、照明、角度、背景が異なっていても画像間の類似点を特定します。この技術は、ロボティクス、拡張現実、地理マッピングなど、さまざまな用途に活用できます。

この記事では、画像マッチングとは何か、その主な手法、そして実環境での応用例をいくつか解説します。

画像マッチングとは何ですか？#

画像マッチングを使うと、コンピューターシステムは2枚の画像に類似した内容が含まれているかどうかを理解できます。人間は形、色、パターンに注目することで、直感的に判断できます。

一方、コンピューターは数値データに依存します。デジタル画像の最小単位である各ピクセルを調べて、画像を分析します。

すべての画像はピクセルのグリッドとして保存され、各ピクセルには通常、赤、緑、青 (RGB) の値が含まれています。画像を回転したり、サイズを変更したり、異なる角度から見たり、異なる照明条件で撮影したりすると、これらの値は変化します。このような変動があるため、ピクセル単位で画像を比較しても、信頼できないことがよくあります。

比較の一貫性を高めるため、画像マッチングでは、画像が多少変化しても安定している傾向のある角、エッジ、テクスチャ領域などの局所特徴に注目します。複数の画像からこうした特徴、つまりキーポイントを検出することで、システムはそれらをはるかに高い精度で比較できます。

この処理は、ナビゲーション、位置特定、拡張現実、マッピング、3D再構築、ビジュアル検索などのユースケースで広く使われています。システムが異なる画像や複数のフレームから同じ点を特定すると、動きを追跡し、シーンの構造を理解し、動的な環境で信頼性の高い判断を下せるようになります。

図1. 類似したキーポイントを特定した車の画像マッチングの例。（出典）

画像マッチングの仕組みを理解する#

画像マッチングでは、画像内の類似した領域をシステムが特定して比較するために、いくつかの重要なステップを実行します。各ステップによって、さまざまな条件下での精度、一貫性、堅牢性が向上します。

画像マッチングの仕組みを、手順に沿って見ていきましょう。

• 特徴検出: システムはまず、照明、スケール、視点が変わっても識別可能な、画像内の特徴的なキーポイントを特定します。これらのキーポイントは、視覚的に際立つ角、エッジ、テクスチャ領域などを示します。
• 特徴記述: 次に、各キーポイントを記述子に変換します。記述子は、その点の周囲にある視覚的パターンを表すコンパクトな数値ベクトルです。これらの記述子を使うことで、異なる画像間の特徴を確実に比較できます。
• 特徴マッチング: 2枚の画像の記述子をマッチングアルゴリズムで比較し、類似度を計算します。このステップでは、対応するとみられるキーポイントを組み合わせ、精度の低いマッチや信頼性の低いマッチを除外します。
• 幾何学的検証: 最後に、マッチしたキーポイントが現実的な幾何学的関係を形成しているかをシステムが確認します。RANSAC（ランダムサンプルコンセンサス）と呼ばれる手法を使って、誤ったマッチ（外れ値）を除去し、信頼できる点のペアだけを残します。良好なマッチを特定した後、システムは2枚の画像を最も適切に対応付ける変換を推定します。これは多くの場合、スケーリング、回転、移動などの変化を補正するアフィン変換か、遠近法の変化にも対応できるホモグラフィです。これらの変換を使うと、異なる視点から撮影された画像でも正確に位置合わせできます。

図2. (a) 特徴点の抽出、(b) 特徴点のマッチング。(出典)

画像マッチングに関わる主要な技術#

画像マッチングの実際の活用例を見ていく前に、まずコンピュータービジョンシステムで使われる画像マッチング技術を詳しく見てみましょう。

テンプレートマッチングに基づく画像マッチング#

テンプレートマッチングは、最も基本的な画像マッチング手法の1つです。ピクセルを直接比較し、より深い視覚特徴を抽出しないため、最新のコンピュータービジョン手法というより、一般に画像処理技術と見なされています。

大きなシーンの中から、小さな参照画像、つまりテンプレートを見つけるために使われます。テンプレートをメイン画像上でスライドさせ、各位置で類似度スコアを計算して、2つの領域がどの程度一致しているかを測定するアルゴリズムで動作します。最も高いスコアを示す領域が最適な一致と見なされ、シーン内で物体が存在する可能性が最も高い場所を示します。

図3. テンプレートマッチングの使用例。(出典)

この手法は、物体のスケール、回転、照明が一定に保たれる場合に効果的で、制御された環境やベースラインの比較に適しています。ただし、サイズの変化、回転、部分的な遮蔽、ノイズの多い背景や複雑な背景などによって物体の見え方がテンプレートと異なると、性能が低下します。

画像マッチングのための古典的な特徴ベース手法#

ディープラーニングが広く採用される前は、画像マッチングの大部分は、画像内の特徴的なキーポイントを検出する古典的なコンピュータービジョンアルゴリズムに依存していました。これらの手法は、すべてのピクセルを比較するのではなく、画像の勾配、つまり輝度の変化を解析し、目立つ角、エッジ、テクスチャ領域を強調します。

検出された各キーポイントは、ディスクリプターと呼ばれるコンパクトな数値表現で表されます。2つの画像を比較する際、マッチャーはこれらのディスクリプターを評価し、最も類似したペアを見つけます。

類似度スコアが高い場合、通常は両方の画像に同じ実際の点が写っていることを示します。また、マッチャーは特定の距離指標やスコアリングルールを使って特徴がどの程度一致しているかを判定し、全体的な信頼性を高めます。

画像マッチングに使われる主な古典的コンピュータービジョンアルゴリズムをいくつか紹介します。

• SIFT（スケール不変特徴変換）: 画像の輝度勾配を解析してキーポイントを特定するため、画像を拡大・縮小したり回転させたりしても、キーポイントを識別できます。
• SURF（高速化ロバスト特徴量）: このアルゴリズムはSIFTに似ていますが、速度が最適化されています。勾配ベースの処理を高速に近似するため、迅速な応答が求められるアプリケーションに適しています。
• ORB（方向付きFASTと回転BRIEF）: FASTとBRIEFという2つのアルゴリズムを組み合わせています。FASTは画像内の角のような点をすばやく検出し、BRIEFは各点をコンパクトに記述して画像間でマッチングできるようにします。ORBは回転への対応を加えて両方の処理を強化するため、高速かつ信頼性に優れています。

図4. 2枚の画像から抽出され、マッチングされたSURF特徴点。(出典)

画像マッチングのためのディープラーニングベースの手法#

特定のルールに依存する古典的な手法とは異なり、ディープラーニングは大規模なデータセットから特徴を自動的に学習します。データセットとは、AIモデルがパターンを学習する視覚データの集合です。これらのモデルは通常、GPU（グラフィックス処理ユニット）上で動作します。GPUは、大量の画像をまとめて処理し、複雑なニューラルネットワークを効率よく学習するために必要な高い計算能力を提供します。

これにより、AIモデルは照明、カメラアングル、遮蔽など、現実世界での変化に対応できます。モデルによっては、すべての処理を単一のワークフローにまとめ、難しい条件下でも堅牢な性能を発揮します。

画像特徴の抽出とマッチングに使われるディープラーニングベースの手法をいくつか紹介します。

• CNNベースの特徴抽出: これらのモデルは、大規模なデータセットから主要な視覚パターンを自動的に学習します。変化しにくい特徴を認識するため、異なるシーンにある物体のマッチングにおいて高い信頼性を発揮します。
• 埋め込みベースのマッチング: ピクセルを直接比較する代わりに、画像を埋め込みと呼ばれるコンパクトな数値表現に変換します。マッチャーはこれらの埋め込みを比較し、類似したビジュアルを見つけます。顔の認識と比較のために埋め込みを生成するFaceNetや、画像検索やセマンティックマッチングなどのタスクに向けて画像とテキストを共通の空間にマッピングするCLIPなどのモデルが、この手法を採用しています。
• エンドツーエンドのマッチングパイプライン: 最新のディープラーニングシステムでは、キーポイント検出、記述、マッチングを統合されたワークフローに組み合わせることがよくあります。SuperPointやD2-Netなどのモデルは、CNNの特徴マップからキーポイントと記述子の両方を直接学習します。一方、SuperGlueは学習済みのマッチャーとして機能し、従来の手法よりも確実に記述子を対応付けます。これらのコンポーネントを組み合わせたエンドツーエンドのパイプラインは、従来の特徴ベースの手法よりも高い精度と、困難な条件下での優れたロバスト性を実現します。
• Transformerベースのマッチング: この手法はアテンション機構を使い、2枚の画像における対応領域を関連付けます。そのため、視点、照明、テクスチャが大きく変化しても、パッチを位置合わせできます。LoFTR（局所特徴Transformer）などのモデルは、Transformerのグローバルな受容野により、従来の検出器が失敗する低テクスチャ、ぼやけた領域、繰り返し模様の領域でも信頼性の高いマッチングを実現し、精度を大幅に向上させます。LoFTRは高信頼度の準密なマッチング結果を生成し、屋内・屋外の両方のベンチマークで従来の最先端手法を大きく上回ります。
• 効率性を重視したモデル: 新しい画像マッチングモデルは、高精度を維持しながら、より高速に動作することを目指しています。LightGlueなどのモデルは、マッチング品質を維持しつつ、計算能力に制限のあるデバイスでも効率よく動作するように設計されています。

画像マッチングの実際の活用例#

画像マッチングの仕組みについて理解が深まったところで、重要な役割を果たす実際の活用例を見てみましょう。

画像マッチングによるスマートなロボティクス#

ロボットは、どの物体があり、それらがどのように配置されているかを把握する必要がある、混雑し変化の激しい環境で稼働することがよくあります。画像マッチングを使うと、ロボットは目の前の物体を保存済みの画像や参照画像と比較して理解できます。これにより、ロボットは物体を認識し、動きを追跡し、照明やカメラアングルが変わっても適応しやすくなります。

たとえば倉庫では、ロボットのピックアンドプレースシステムが画像マッチングを使ってさまざまな品目を識別し、取り扱うことができます。ロボットはまず物体をつかみ、次にその画像を参照サンプルと比較して識別します。

図5. 参照画像とマッチングして物体を認識し、持ち上げるロボット。(出典)

一致が見つかると、ロボットは物体を正しく仕分けたり配置したりする方法を把握します。この方法により、システム全体を再学習させなくても、既知の物体と新しい物体の両方を認識できます。また、棚の整理、部品の組み立て、品目の並べ替えなど、より適切なリアルタイムの判断にも役立ちます。

画像マッチングの改善による3D再構築の向上#

ドローン測量、仮想現実、建物検査などの分野では、複数の2D画像から3Dモデルを再構築する必要があるシステムがよく使われます。そのために画像マッチングを利用し、複数の画像に写っている角やテクスチャ領域などの共通キーポイントを特定します。

こうした共通点をもとに、システムは画像同士が3D空間でどのように関連しているかを把握できます。この考え方は、異なる視点から撮影された画像間でキーポイントを特定してマッチングし、3D構造を構築するStructure from Motion（SfM）と密接に関連しています。

マッチングの精度が低いと、再構築された3Dモデルが歪んだり、不完全になったりすることがあります。そのため、研究者は3D再構築における画像マッチングの信頼性向上に取り組んでおり、近年の進歩から有望な成果が得られています。

興味深い例の一つが、より高速で堅牢な画像マッチングアルゴリズムであるHashMatchです。HashMatchは画像の詳細をハッシュコードと呼ばれるコンパクトなパターンに変換するため、照明や視点が異なる場合でも、正しいマッチングを特定し、外れ値を除去しやすくなります。

大規模なデータセットで評価したところ、HashMatchは位置合わせの誤差がより少ない、精細で現実的な3D再構築モデルを生成しました。そのため、精度が重要となるドローン測量、ARシステム、文化遺産の保護などの用途に特に役立ちます。

拡張現実における画像マッチングの役割#

拡張現実（AR）では、仮想オブジェクトを現実世界に正しく位置合わせし続けることが課題になることがよくあります。屋外環境は、日差しや天候などの環境条件に応じて常に変化する可能性があります。現実世界のわずかな違いによって、仮想要素が不安定に見えたり、少しずれて見えたりすることがあります。

この問題を解決するため、ARシステムは画像マッチングを使って周囲の状況を解釈します。カメラのライブ映像と保存済みの参照画像を比較することで、ユーザーの位置やシーンの変化を把握できます。

図6. 2枚の画像間でマッチングされた特徴点。(出典: theijes.com)

たとえば、XR（拡張現実）グラスを使った軍事訓練形式の屋外ARトレーニングに関する研究では、研究者がSIFTなどの特徴ベース手法を使い、現実の画像と参照画像の視覚的な詳細をマッチングしました。正確なマッチングにより、ユーザーが素早く動いたり照明が変化したりしても、仮想要素を現実世界に正しく位置合わせできました。

重要なポイント#

画像マッチングはコンピュータービジョンの中核的な要素であり、異なる画像同士の関係や、シーンが時間とともにどのように変化するかをシステムが理解できるようにします。ロボティクス、拡張現実、3D再構築、自律ナビゲーションなど、精度と安定性が不可欠な多くの実用分野で重要な役割を果たします。

SuperPointやLoFTRなどの高度なAIモデルにより、現在のシステムは従来の手法よりもはるかに堅牢になっています。機械学習技術、専門的なビジョンモジュール、ニューラルネットワーク、データセットの進歩に伴い、画像マッチングは今後さらに高速、高精度、かつ適応性に優れたものになるでしょう。

成長を続けるコミュニティに参加し、実践的なAIリソースについてはGitHubリポジトリをご覧ください。今すぐビジョンAIを活用した開発を始めるには、ライセンスオプションをご確認ください。農業分野のAIが農業をどのように変革しているか、またヘルスケア分野のビジョンAIがどのように未来を形作っているかについては、ソリューションページをご覧ください。