ビジョンAIにおける画像マッチングとは？簡単な入門

同じ物体を写した2枚の画像、たとえば絵画と車の写真を見ると、共通点を簡単に見つけられます。しかし、機械にとってはそれほど単純ではありません。

このような比較を行うために、機械はコンピュータビジョンに依存します。コンピュータビジョンは、視覚情報の解釈と理解を支援する人工知能（AI）の一分野です。コンピュータビジョンによって、システムは物体を検出し、シーンを理解し、画像や動画からパターンを抽出できます。

特に、一部の視覚タスクは単一の画像を分析するだけにとどまりません。画像間の類似点を見つけたり、違いを特定したり、時間の経過に伴う変化を追跡したりするために、画像を比較します。

ビジョンAIには幅広い技術が含まれます。その中でも画像マッチングは重要な機能の1つであり、照明、角度、背景が異なる場合でも、画像間の類似点を特定することに重点を置いています。この技術は、ロボティクス、拡張現実、ジオマッピングなど、さまざまなアプリケーションで利用できます。

この記事では、画像マッチングとは何か、その主要な技術、実世界でのアプリケーションについて説明します。それでは始めましょう。

画像マッチングとは？#

画像マッチングを利用すると、コンピュータシステムは2枚の画像に類似した内容が含まれているかどうかを理解できます。人間は、形状、色、パターンに気づくことで、これを直感的に行えます。

一方、コンピュータは数値データに依存します。コンピュータは、デジタル画像の最小単位である各ピクセルを調べることで、画像を分析します。

すべての画像はピクセルのグリッドとして保存され、通常、各ピクセルには赤、緑、青（RGB）の値が格納されます。画像を回転、リサイズした場合、異なる角度から見た場合、または異なる照明条件で撮影した場合、これらの値は変化します。このような変動があるため、画像をピクセル単位で比較する方法は信頼性に欠けることがよくあります。

比較の一貫性を高めるために、画像マッチングでは、画像が多少変化しても安定している傾向のある局所的な特徴、つまり角、エッジ、テクスチャ領域に注目します。複数の画像からこれらの特徴、つまりキーポイントを検出することで、システムはそれらをはるかに高い精度で比較できます。

この処理は、ナビゲーション、ローカライゼーション、拡張現実、マッピング、3D再構成、ビジュアル検索などのユースケースで広く利用されています。システムが異なる画像や複数のフレームから同じ点を特定すると、動きを追跡し、シーンの構造を理解し、動的な環境で信頼性の高い判断を下せます。

図1. 類似したキーポイントが特定された車の画像マッチングの例。（出典）

画像マッチングの仕組みを理解する#

画像マッチングには、画像内の類似した領域を特定して比較するための、いくつかの主要なステップがあります。各ステップによって、異なる条件下での精度、一貫性、堅牢性が向上します。

画像マッチングの仕組みを、ステップごとに見ていきましょう。

• 特徴検出: システムはまず、照明、スケール、視野角が変化しても固定されたままの特徴的なキーポイントを画像内で特定します。これらは、視覚的に目立つ角、エッジ、テクスチャ領域などを示します。
• 特徴記述: 次に、各キーポイントをディスクリプタに変換します。ディスクリプタは、その点の周囲にある視覚的パターンを捉えた、コンパクトな数値ベクトルです。これらのディスクリプタにより、異なる画像間の特徴を信頼性高く比較できます。
• 特徴マッチング: 2枚の画像のディスクリプタをマッチングアルゴリズムで比較し、類似度を計算します。このステップでは、対応していると考えられるキーポイントをペアリングし、信頼性の低いマッチや弱いマッチを除外します。
• 幾何学的検証: 最後に、システムはマッチしたキーポイントが現実的な幾何学的関係を形成しているかを確認します。RANSAC（Random Sample Consensus）と呼ばれる手法を使用して、誤ったマッチ（外れ値）を除去し、信頼できる点のペアだけを残します。適切なマッチが特定されると、システムは2枚の画像を最も適切に関連付ける変換を推定します。これは多くの場合、スケーリング、回転、移動などの変化を調整するアフィン変換、または透視変化にも対応できるホモグラフィーです。これらの変換を使用すると、少し異なる視点から撮影された画像であっても、システムは画像を正確に位置合わせできます。

図2. （a）特徴点の抽出と（b）特徴マッチング。（出典）

画像マッチングに用いられる主要な技術#

画像マッチングの実世界でのアプリケーションを見ていく前に、コンピュータビジョンシステムで使用される画像マッチング技術について詳しく見ていきましょう。

テンプレートマッチングベースの画像マッチング#

テンプレートマッチングは、最も単純な画像マッチング手法の1つです。直接的なピクセル比較に依存し、より深い視覚的特徴を抽出しないため、一般的には最新のコンピュータビジョン手法というよりも画像処理技術と考えられています。

これは、大きなシーンの中から小さな参照画像、つまりテンプレートを見つけるために使用されます。アルゴリズムによってテンプレートをメイン画像上でスライドさせ、各位置で類似度スコアを計算し、2つの領域がどの程度一致するかを測定します。スコアが最も高い領域が最適なマッチとみなされ、シーン内で物体が存在する可能性が最も高い場所を示します。

図3. テンプレートマッチングの使用例。（出典）

この技術は、物体のスケール、回転、照明が一定に保たれている場合に適切に機能するため、管理された環境やベースライン比較に適しています。ただし、物体のサイズが変化したり、回転したり、部分的に遮蔽されたり、ノイズの多い複雑な背景に現れたりするなど、テンプレートと異なる見え方をすると、性能が低下します。

画像マッチングのための古典的な特徴ベース技術#

ディープラーニングが広く採用される前は、画像マッチングの大部分が、画像内の特徴的なキーポイントを検出する古典的なコンピュータビジョンアルゴリズムに依存していました。すべてのピクセルを比較するのではなく、これらの手法は画像の勾配、つまり輝度の変化を分析し、目立つ角、エッジ、テクスチャ領域を強調します。

検出された各キーポイントは、ディスクリプタと呼ばれるコンパクトな数値要約を使用して表現されます。2枚の画像を比較する際、マッチャーはこれらのディスクリプタを評価し、最も類似したペアを見つけます。

通常、類似度スコアが高い場合は、同じ物理的な点が両方の画像に現れていることを示します。マッチャーは、特徴がどの程度一致しているかを判断するために、特定の距離メトリクスやスコアルールも使用し、全体的な信頼性を高めます。

画像マッチングに使用される主要な古典的コンピュータビジョンアルゴリズムには、次のようなものがあります。

• SIFT（Scale-Invariant Feature Transform）: 画像の輝度勾配を分析してキーポイントを特定するため、画像を拡大、縮小、回転しても認識可能な状態を維持できます。

• SURF（Speeded-Up Robust Features）: このアルゴリズムはSIFTに似ていますが、速度が最適化されています。勾配ベースの処理を高速に近似することで、迅速な応答時間が求められるアプリケーションに適しています。

• ORB（Oriented FAST and Rotated BRIEF）: FASTとBRIEFという2つのアルゴリズムを組み合わせています。FASTは画像内の角のような点をすばやく検出し、BRIEFは各点のコンパクトな記述を作成して、画像間でマッチングできるようにします。ORBは回転への対応を追加することで両方のステップを強化し、高速かつ信頼性の高い処理を実現します。

図4. 2枚の画像間で抽出およびマッチングされたSURF特徴点。（出典）

画像マッチングのためのディープラーニングベース技術#

特定のルールに依存する古典的手法とは異なり、ディープラーニングは大規模なデータセットから特徴を自動的に学習します。データセットとは、AIモデルがパターンを学習する視覚データの集合です。これらのモデルは通常、GPU（Graphics Processing Units）上で実行されます。GPUは、大量の画像を処理し、複雑なニューラルネットワークを効率的に学習するために必要な高い計算能力を提供します。

これにより、AIモデルは照明、カメラアングル、遮蔽など、実世界で生じる変化に対応できます。一部のモデルはすべてのステップを単一のワークフローに統合し、困難な条件下でも堅牢な性能を実現します。

画像の特徴抽出とマッチングに用いられるディープラーニングベースのアプローチには、次のようなものがあります。

• CNNベースの特徴抽出: これらのモデルは、大規模なデータセットから主要な視覚パターンを自動的に学習します。変化しにくい特徴を認識するため、異なるシーン間で物体をマッチングする際に信頼性が高くなります。

• Embeddingベースのマッチング: この手法では、ピクセルを直接比較するのではなく、画像をEmbeddingと呼ばれるコンパクトな数値表現に変換します。次にマッチャーがこれらのEmbeddingを比較し、類似した視覚情報を見つけます。FaceNetのように、顔を認識・比較するためのEmbeddingを生成するモデルや、画像とテキストを共有空間にマッピングして画像検索やセマンティックマッチングなどのタスクを行うCLIPは、このアプローチに従います。

• エンドツーエンドのマッチングパイプライン: 最先端のディープラーニングシステムは、キーポイント検出、記述、マッチングを統合されたワークフローに組み込むことがよくあります。SuperPointやD2-Netなどのモデルは、CNNの特徴マップからキーポイントとディスクリプタの両方を直接学習します。一方、SuperGlueは学習済みマッチャーとして機能し、従来の手法よりも高い信頼性でこれらのディスクリプタをペアリングします。これらのコンポーネントを組み合わせることで、古典的な特徴ベースアプローチよりも、困難な条件下で高い精度と堅牢性を実現するエンドツーエンドのパイプラインが構築されます。

• Transformerベースのマッチング: この手法では、アテンションメカニズムを使用して2枚の画像間の対応領域を関連付けるため、視点、照明、テクスチャが大きく変化してもパッチを位置合わせできます。LoFTR（Local Feature Transformer）などのモデルは、Transformerのグローバルな受容野によって、従来の検出器が失敗する低テクスチャ、ぼやけた領域、反復的な領域でも信頼性の高いマッチングを実現し、はるかに高い精度を達成します。LoFTRは半密で信頼度の高いマッチを生成し、屋内・屋外の両方のベンチマークで従来の最先端手法を大幅に上回ります。

• 効率重視のモデル: 新しい画像マッチングモデルは、高い精度を維持しながら、より高速に実行することを目指しています。LightGlueなどのモデルは、限られた計算能力しかないデバイス上でも効率的に実行しながら、良好なマッチング品質を維持できるよう設計されています。

画像マッチングの実世界でのアプリケーション#

画像マッチングの仕組みをより深く理解できたところで、画像マッチングが重要な役割を果たす実世界のアプリケーションをいくつか見ていきましょう。

画像マッチングが実現する、よりスマートなロボティクス#

ロボットは、物体が多く変化の激しい環境で動作することが多く、どの物体が存在し、どのように配置されているかを理解する必要があります。画像マッチングは、ロボットが目にした物体を保存済み画像や参照画像と比較することで、物体の理解を支援します。これにより、ロボットは物体を認識し、その動きを追跡し、照明やカメラアングルが変化しても適応しやすくなります。

たとえば倉庫では、ロボットのピックアンドプレースシステムが画像マッチングを使用して、さまざまな品目を識別し、取り扱うことができます。ロボットはまず物体をつかみ、その画像を参照サンプルと比較して識別します。

図5. 参照画像とのマッチングによって物体を認識して拾い上げるロボット。（出典）

マッチが見つかると、ロボットはそれを正しく仕分けまたは配置する方法を把握できます。このアプローチにより、システム全体を再学習しなくても、ロボットは既知の物体と新しい物体の両方を認識できます。また、棚の整理、部品の組み立て、品目の並べ替えなど、リアルタイムでより適切な判断を下すことにも役立ちます。

より優れた画像マッチングによる3D再構成の改善#

ドローンマッピング、バーチャルリアリティ、建物検査などの分野では、複数の2D画像から3Dモデルを再構成する必要があることがよくあります。そのために、画像間に現れる角やテクスチャ領域などの共通キーポイントを特定する画像マッチングに依存します。

これらの共通点は、画像同士が3D空間内でどのように関連しているかをシステムが理解するのに役立ちます。この考え方は、Structure from Motion（SfM）と密接に関連しています。SfMは、異なる視点から撮影された画像間でキーポイントを特定してマッチングすることで、3D構造を構築する技術です。

マッチングの精度が低いと、生成された3Dモデルが歪んだり、不完全になったりする可能性があります。そのため研究者は、3D再構成における画像マッチングの信頼性向上に取り組んでおり、最近の進展では有望な結果が示されています。

興味深い例の1つが、より高速で堅牢な画像マッチングアルゴリズムであるHashMatchです。HashMatchは画像の詳細をハッシュコードと呼ばれるコンパクトなパターンに変換するため、照明や視点が異なる場合でも、正しいマッチを特定し、外れ値を除去しやすくなります。

大規模なデータセットでテストしたところ、HashMatchはアライメントエラーが少なく、より鮮明で現実的な3D再構成モデルを生成しました。そのため、精度が重要となるドローンマッピング、ARシステム、文化遺産の保全などのアプリケーションに特に有用です。

拡張現実における画像マッチングの役割#

拡張現実（AR）では、仮想物体を現実世界に位置合わせし続けることが課題になる場合があります。屋外環境は、日光や天候などの環境条件に応じて常に変化する可能性があります。現実世界のわずかな違いによって、仮想要素が不安定に見えたり、わずかにずれて見えたりすることがあります。

この問題を解決するために、ARシステムは画像マッチングを使用して周囲の環境を解釈します。ライブカメラのフレームを保存済みの参照画像と比較することで、ユーザーの位置やシーンの変化を理解できます。

図6. 2枚の画像間でマッチングされた特徴点。（出典: theijes.com）

たとえば、XR（Extended Reality）グラスを使用した軍事形式の屋外ARトレーニングに関する研究では、研究者がSIFTなどの特徴ベース手法を使用して、現実の画像と参照画像の間で視覚的な詳細をマッチングしました。正確なマッチングにより、ユーザーがすばやく移動した場合や照明が変化した場合でも、仮想要素を現実世界に正しく位置合わせできました。

主なポイント#

画像マッチングはコンピュータビジョンの中核コンポーネントであり、異なる画像がどのように関連しているか、またはシーンが時間の経過とともにどのように変化するかをシステムが理解できるようにします。精度と安定性が不可欠なロボティクス、拡張現実、3D再構成、自律ナビゲーションなど、数多くの実世界のアプリケーションで重要な役割を果たしています。

SuperPointやLoFTRなどの高度なAIモデルにより、現在のシステムは従来の手法よりもはるかに堅牢になっています。機械学習技術、専門的なビジョンモジュール、ニューラルネットワーク、データセットが進歩し続けるにつれて、画像マッチングはさらに高速かつ高精度になり、適応性も高まると考えられます。

成長を続けるコミュニティに参加し、実践的なAIリソースについてはGitHubリポジトリをご覧ください。今すぐビジョンAIを活用した開発を始めるには、ライセンスオプションをご確認ください。農業におけるAIが農業をどのように変革しているか、またヘルスケアにおけるビジョンAIがどのように未来を形作っているかについては、当社のソリューションページをご覧ください。