Scale-Invariant Feature Transform (SIFT) とは何か？

本記事で扱う概念の視覚的な解説については、以下の動画をご覧ください。

最近では、スマートフォンやカメラからスマートホームシステムに至るまで、私たちが使用する多くのスマートデバイスには、顔、オブジェクト、さらには視覚的なシーン全体を認識できるAIソリューションが搭載されています。この機能はコンピュータビジョン（機械が画像や動画を理解して解釈できるようにする人工知能の分野）によって実現されています。

例えば、エッフェル塔をどの角度や距離から撮影しても、デバイスはコンピュータビジョンを使ってそれを認識し、ギャラリーの正しいフォルダに整理することができます。一見単純に思えるかもしれませんが、物体の認識は必ずしも容易ではありません。画像はサイズ、角度、スケール、照明によって大きく異なって見えるため、機械がそれらを一貫して識別することは困難です。

この問題を解決するために、研究者たちはScale-Invariant Feature Transform（SIFT）というコンピュータビジョンアルゴリズムを開発しました。このアルゴリズムにより、さまざまな視覚条件下で物体を検出することが可能になりました。1999年にDavid Lowe氏によって作成されたSIFTは、画像のサイズ変更や回転、照明の変化があっても認識可能なコーナー、エッジ、パターンなどのユニークなキーポイントを見つけ出し、記述するために設計されました。

Ultralytics YOLO11のようなディープラーニング駆動型のコンピュータビジョンモデルが普及する前は、SIFTはコンピュータビジョンにおいて広く使用されていた技術でした。写真内の特定のアイテムを識別することを目的とするオブジェクト認識や、重なり合う画像の特徴を見つけて写真を位置合わせする画像マッチングなどのタスクにおいて、標準的なアプローチでした。

本記事では、SIFTの概要、高レベルな仕組み、そしてコンピュータビジョンの進化においてなぜ重要なのかを探ります。それでは始めましょう！

なぜSIFTアルゴリズムがコンピュータビジョンに不可欠なのか#

画像内では、物体はさまざまな見え方をする可能性があります。例えば、コーヒーカップが上から撮影されたり、横から撮影されたり、明るい日光の下や暖かい照明の下で撮影されたりすることがあります。また、カメラに近いと大きく、遠いと小さく見えることもあります。

これらすべての違いにより、コンピュータにオブジェクトを認識させることは複雑なタスクとなります。オブジェクト検出として知られるこのコンピュータビジョンタスクでは、サイズ、角度、照明条件が変化した場合でも、Vision AIモデルが正確にオブジェクトを識別して位置を特定することが求められます。

これを可能にするために、コンピュータビジョンは特徴量抽出または検出と呼ばれるプロセスに依存しています。モデルは一度に画像全体を理解しようとするのではなく、鋭い角、独自のパターン、または角度、スケール、照明条件が変わっても認識可能なままのテクスチャといった、特徴的な画像特徴を探します。

特に、これこそがScale-Invariant Feature Transform（SIFT）が設計された目的です。SIFTは、画像がどのように撮影されていても、物体を確実に識別できる特徴検出および記述アルゴリズムです。

スケール不変性の実現#

SIFTアルゴリズムには、物体認識に役立つ重要な特性がいくつかあります。その鍵となる特性の一つが「スケール不変性」です。これは、物体が大きくカメラに近い場合でも、小さく遠くにある場合でも、SIFTが物体の様々な部分を認識できることを意味します。物体が完全に見えていなくても、アルゴリズムは同じキーポイントを抽出できます。

これは、「スケール空間理論」という概念を使用して実現されます。簡潔に言うと、画像をさまざまなレベルでぼかすことで複数のバージョンを作成します。SIFTはこれらのバージョンを調べ、画像がサイズや鮮明さにおいてどのように変化しても変わらないパターンや詳細を見つけ出します。

例えば、数メートル離れた場所から撮影された道路標識は、遠くから撮影された同じ標識よりもはるかに大きく見えますが、SIFTは同じ特徴的な特徴を検出できます。これにより、標識が非常に異なるスケールで現れても、2つの画像を正しくマッチングさせることが可能になります。

回転不変性の確保#

画像内の物体は回転して見えることもあり、上下逆さまになることさえあります。SIFTは「回転不変性」と呼ばれる特性によりこれに対応します。検出されたすべてのキーポイントに対して、アルゴリズムはローカル画像勾配に基づき一貫した方向を割り当てます。これにより、どのように回転していても同じ物体を認識できます。

これは、各キーポイントを、それがどちらを向いているかを示す小さな矢印でマークすることに例えられます。特徴をこれらの方向に合わせることで、SIFTは物体が回転してもキーポイントが正しく一致することを保証します。例えば、風景写真に収められたランドマークは、別の写真でカメラが傾いた角度で撮影されていても正しく特定できます。

その他の画像変動への耐性#

サイズや回転以外にも、画像は照明の変化など、他の方法で変化する可能性があります。物体の照明が明るい状態から暗い状態に変わったり、カメラの角度がわずかにずれたり、あるいは画像がぼやけたりノイズが入ったりすることもあります。

SIFTは、このようなさまざまな変動に対処できるように構築されています。照明の変化や視点のわずかな変化の影響を受けにくいため、コントラストが高く特徴的なキーポイントに焦点を当てることでこれを実現しています。その結果、SIFTは、条件が変わると失敗することが多い単純なエッジ検出やコーナー検出の方法よりも信頼性が高くなる傾向があります。

図1：(a) 雨天時の画像と (b) 対応するクリーンな入力画像から抽出されたSIFTキーポイント。(ソース)

ギャラリーにある絵画を考えてみてください。柔らかな日光の下で撮影されても、明るい人工的なスポットライトの下で撮影されても、あるいは手持ちカメラのわずかなモーションブラーがあっても、それは認識可能です。キーポイントは、これらの違いにかかわらず正確なマッチングに十分なほど安定しています。

Scale-Invariant Feature Transform（SIFT）アルゴリズムの仕組み#

次に、SIFTアルゴリズムがどのように機能するかを見ていきましょう。このプロセスは、キーポイント検出、キーポイントの局所化、向きの割り当て、キーポイント記述の4つの主要ステップに分解できます。

ステップ1：スケール空間極値検出#

最初のステップは、物体を追跡または認識するのに役立つ、コーナーやテクスチャの鋭い変化といった画像内の際立ったスポットであるキーポイントを見つけて検出することです。

これらの候補キーポイントをどのサイズでも認識できるようにするため、SIFTは「スケール空間」と呼ばれるものを作成します。これは、ガウスフィルタ（平滑化技術）を使用して元の画像を段階的にぼかし、結果を「オクターブ」と呼ばれる層にグループ化することで作成された画像のコレクションです。各オクターブにはぼかしのレベルが増していく同じ画像が含まれ、次のオクターブは画像のより小さいバージョンになります。

あるぼかし画像から別のぼかし画像を差し引くことで、SIFTはDifference of Gaussians (DoG)を計算し、明るさが急激に変化する領域を強調します。これらの領域は、ズームイン・アウトしても一貫性が保たれるため、候補キーポイントとして選ばれます。

図2：DoGは、異なるレベルでぼかした画像を差し引くことで主要な構造をハイライトします。(ソース)

ステップ2：キーポイントの局所化#

すべての候補キーポイントが役に立つわけではありません。中には弱いものや不安定なものがあるためです。それらを精緻化するために、SIFTは「テイラー展開」と呼ばれる数学的手法を使用して、キーポイントの正確な位置をより高い精度で推定します。

このステップ中に、信頼性の低い点が削除されます。周囲に溶け込んでしまうようなコントラストの低いキーポイントや、容易にずれてしまうようなエッジ上にあるキーポイントは破棄されます。このフィルタリングステップにより、最も安定した際立ったキーポイントだけが残ります。

ステップ3：向きの割り当て#

安定したキーポイントが特定されると、SIFTはそれらを回転不変にします。つまり、画像が横向きや逆さまになってもマッチングできるということです。これを行うために、SIFTは各キーポイント周辺で明るさがどのように変化するか（勾配）を分析します。勾配はピクセル強度の変化の方向と強度の両方を示し、これらを合わせることでその点の周辺構造を捉えます。

各キーポイントに対して、SIFTは周囲の領域内の勾配を考慮し、それらをヒストグラムにグループ化します。このヒストグラムの最も高いピークは強度変化の主要な方向を示しており、これがキーポイントの向きとして割り当てられます。強度がどこで変化しているかを示す勾配の方向と、その変化がどれだけ強いかを示す勾配の大きさの両方が、このヒストグラムの構築に使用されます。

同様に強い他のピークがある場合、SIFTは同じキーポイントに複数の向きを割り当てます。これにより、物体が不自然な角度で現れたときに重要な特徴が失われるのを防ぎます。各キーポイントをその向きに合わせることで、SIFTは次のステップで生成される記述子が確実に一貫性を保つようにします。

言い換えれば、同じ物体の2枚の画像が異なって回転していても、向きを合わせたキーポイントは正しく一致します。このステップがSIFTに強力な回転処理能力を与えており、初期の他の特徴検出手法よりもはるかに堅牢なものにしています。

図3：SIFTアルゴリズムのステップ3の詳細 (ソース)

ステップ4：キーポイント記述子#

SIFTの最後のステップは、他の画像でも認識できるように、各キーポイントの記述を作成することです。

SIFTは、各キーポイント周辺の約16x16ピクセルの小さな正方形パッチを見ることでこれを達成します。このパッチはまずキーポイントの向きに合わせて調整されるため、回転の影響を受けません。次に、パッチは4x4の小さな正方形のグリッドに分割されます。

それぞれの小さな正方形内で、SIFTは明るさが異なる方向にどのように変化するかを測定します。これらの変化はヒストグラムに保存されます。これは、どの方向が最も一般的かを示すチャートのようなものです。各正方形は独自のヒストグラムを取得し、合わせて16個の正方形から16個のヒストグラムが生成されます。

最終的に、これらのヒストグラムは合計128個の数値のリストに結合されます。このリストは「特徴ベクトル」と呼ばれ、キーポイントの指紋として機能します。点周辺のユニークなテクスチャと構造を捉えるため、この指紋により、リサイズ、回転、照明の変化があっても、異なる画像間で同じキーポイントをマッチングさせることが可能になります。

図4：SIFTの仕組みの概要 (ソース)

コンピュータビジョンにおけるSIFTの主な応用例#

SIFTの仕組みについて理解を深めたところで、コンピュータビジョンにおける実際の応用例をいくつか探ってみましょう。

物体認識と物体検出#

SIFTの主な用途の一つは物体認識と物体検出です。これには、物体が常に同じように見えるわけではない場合でも、コンピュータに物体を認識・特定させる手法が含まれます。例えば、SIFTは本がカメラに近いか、遠いか、あるいは角度をつけて回転していても、それを検出できます。

これが機能する理由は、SIFTが非常に特徴的で安定したキーポイントを抽出するためです。これらのキーポイントをSIFT記述子と組み合わせるとSIFT特徴量となり、異なる画像間で同じ物体をマッチングさせる信頼性の高い方法を提供します。これらの特徴量は、物体のユニークな詳細を捉え、それが一貫して保たれるため、物体のサイズ、位置、向きが変化しても画像間の安定した特徴マッチングを可能にします。

図5：元の画像とは異なる向きで撮影された新しい画像内の本の表紙を、SIFTを使用して認識する様子。画像提供：筆者。

ディープラーニングが普及する前、SIFTはオブジェクト認識システムを構築するための最も信頼性の高い方法の1つでした。大規模な画像データセット間でオブジェクトをマッチングする必要がある研究やアプリケーションで広く使用されていましたが、多くの場合、かなりの計算リソースが必要でした。

画像スティッチングとパノラマ作成#

SIFTは、複数の写真を繋ぎ合わせて作成されるワイド写真であるパノラマ画像の作成にも使用できます。SIFTを使用すると、異なる画像の重なり合う部分にある特徴的なキーポイントが見つけられ、それらが互いにマッチングされます。これらのマッチはアンカーのように機能し、写真がどのように整列されるべきかをスティッチングプロセスに指示します。

マッチングが完了すると、スティッチングアルゴリズムを使用して正しい配置を計算できます。多くの場合、ある画像を別の画像にマッピングする幾何学的変換が使用されます。その後、継ぎ目が消えるように画像がブレンドされます。最終結果は、複数のショットから作成されたにもかかわらず、一枚の広い写真のように見えるシームレスなパノラマです。

3D再構成とロボティクス#

SIFTのもう1つの興味深い用途は3D再構築です。ここでは、異なる角度から撮影された複数の2D写真を組み合わせて三次元モデルを構築します。SIFTは、これらの画像間で同じポイントを見つけてマッチングすることで機能します。

マッチングが完了すると、三角測量（異なる視点から深度を計算する手法）を使用してそれらの点の3D位置を推定できます。このプロセスは「Structure from Motion (SfM)」の一部であり、複数の重なり合う画像を使用して、撮影したカメラの位置とともにシーンの3D形状を推定する技術です。

結果は通常、物体や環境の輪郭を示す空間内の点の集合である「3D点群」になります。SIFTは、Structure from Motionを実用化した最初のツールの一つでした。現在ではより高速で一般的な手法が登場していますが、速度よりも精度が重要な場合にはSIFTが活用され続けています。

SIFTはロボティクス、特にビジュアルSLAM（同時自己位置推定と地図作成）でも使用されています。SLAMにより、ロボットは周囲の地図を作成すると同時に、自分がどこにいるかを把握できるようになります。

SIFTキーポイントは、照明や角度が変わってもロボットがフレーム間で認識できる信頼性の高いランドマークとして機能します。これらのランドマークを追跡することで、ロボットはその場で自分の位置を推定し、地図を更新できます。今日、ロボティクスではより高速な特徴検出器が頻繁に使用されていますが、SIFTは初期のSLAMシステムにおいて重要な役割を果たしており、速度よりも堅牢性が重要視されるケースでは依然として重要です。

SIFTの利点と考慮事項#

SIFTアルゴリズムはコンピュータビジョンで広く使用されており、信頼できる手法として知られていますが、トレードオフも存在します。そのため、プロジェクトに適しているかどうかを判断する前に、その長所と短所を比較検討することが重要です。次に、その主な強みと限界を見ていきましょう。

SIFTの主な利点#

SIFTアルゴリズムを使用する利点は以下の通りです：

• スケールおよび回転不変性： SIFTは、物体が異なるサイズや向きで現れても比較的安定したままのスケール不変キーポイントを提供します。これは初期の特徴検出器と比較して大きな進歩でした。
• 照明や視点の変化に対する適度な堅牢性： SIFTは明るさ、コントラストの変化、または視点のわずかなずれに対応できますが、より極端な条件下では信頼性が低下します。
• 複雑なシーンや部分的に隠れたシーンでの動作： SIFTは多くのローカルキーポイントを検出するため、物体の一部が隠れていたり背景が複雑であったりしても、物体を特定できることがよくあります。

パフォーマンスに関する考慮事項と代替案#

SIFTアルゴリズムを使用する欠点は以下の通りです：

• 計算コストが高い： SIFTの多段階プロセスと詳細な記述子は、現代の特徴検出器よりも遅く、リソースを大量に消費します。これを改善するために、研究者たちはより高速な計算で特徴を見つけて記述するSURF（Speeded-Up Robust Features）アルゴリズムを開発しました。SURFは場合によってはSIFTよりも精度が低いですが、動作がはるかに速いため、時間制約のあるタスクにはより実用的です。
• リアルタイム用途には最適ではありません： 計算コストがかかるため、SIFTはリアルタイムトラッキングやモバイルロボティクスなど、速度が重要なアプリケーションでは苦戦します。
• 汎用性の制限： 多くのケースで堅牢ですが、SIFTは極端な照明の変化、大きな視点のシフト、または新しいアルゴリズムや機械学習手法の方が優れたパフォーマンスを発揮する非常に動的なシーンでは効果が低くなります。

SIFTの長所と短所を調べていくと、その限界の多くがより高度な手法への道を開いたことに気づくかもしれません。具体的には、畳み込みニューラルネットワーク（CNN）が強力な代替手段として登場しました。

CNNは、人間の視覚システムの仕組みに触発されたディープラーニングモデルの一種です。エッジやテクスチャのような単純なパターンから始まり、徐々に複雑な形状や物体へと構築される層状の画像処理を行います。SIFTの手作りルールとは異なり、CNNはデータから直接特徴表現を学習します。

このデータ駆動型学習により、CNNはディスクリプタマッチングおよび分類タスクにおいてSIFTを凌駕することができます。また、CNNはより表現力と堅牢性に優れており、視覚データの変動性や複雑さに適応しやすくなっています。

たとえば、CNNベースのモデルは、何千ものカテゴリにわたる数百万枚のラベル付き画像を含む大規模なベンチマークデータセットであるImageNetにおいて画期的な成果を上げています。アルゴリズムがオブジェクトをどれだけうまく認識および分類できるかをテストするように設計されたImageNetは、古い特徴量ベースの方法とディープラーニングの間のギャップを浮き彫りにすることができます。

CNNは、より豊かで柔軟な表現を学習することで、SIFTを急速に追い越しました。これにより、照明の変化、異なる視点、さらには部分的に隠れている場合でも物体を認識できるようになり、SIFTが苦戦しがちなシナリオで大きな成果を上げています。

重要なポイント#

Scale-Invariant Feature Transformアルゴリズムは、コンピュータビジョンの歴史において重要な位置を占めています。変化する環境下でも特徴を検出する信頼性の高い方法を提供し、今日使用されている多くの手法に影響を与えました。

新しい手法の方がより高速で効率的ですが、SIFTはそれらの基盤を築きました。SIFTは、今日のコンピュータビジョンの進歩がどこから始まったのかを示しており、最先端のAIシステムがどれほど進化したかを際立たせています。

グローバルなコミュニティに参加し、GitHubリポジトリをチェックしてコンピュータビジョンについて詳しく学びましょう。ソリューションページを探索して、農業におけるAIや小売業におけるコンピュータビジョンなどのイノベーションを発見してください。ライセンスオプションを確認し、独自のコンピュータビジョンモデルの構築を始めましょう。