Scale-Invariant Feature Transform (SIFT) とは何か？
SIFTアルゴリズムを探究します。SIFTとは何か、スケール不変のコンピュータビジョンのための強力な特徴を学び、画像処理を強化しましょう。
本記事で扱う概念の視覚的な解説については、以下の動画をご覧ください。
今日、私たちが使用するスマートフォンやカメラ、スマートホームシステムなど、多くのスマートデバイスには、顔や物体、さらには映像シーン全体を認識できるAIソリューションが搭載されています。この機能を実現しているのがコンピュータビジョンです。これは、機械が画像や動画を理解・解釈できるようにするための人工知能の一分野です。
例えば、エッフェル塔をどの角度や距離から撮影しても、デバイスはコンピュータビジョンを使ってそれを認識し、ギャラリーの正しいフォルダに整理することができます。一見単純に思えるかもしれませんが、物体の認識は必ずしも容易ではありません。画像はサイズ、角度、スケール、照明によって大きく異なって見えるため、機械がそれらを一貫して識別することは困難です。
この問題を解決するために、研究者たちはScale-Invariant Feature Transform（SIFT）というコンピュータビジョンアルゴリズムを開発しました。このアルゴリズムにより、さまざまな視覚条件下で物体を検出することが可能になりました。1999年にDavid Lowe氏によって作成されたSIFTは、画像のサイズ変更や回転、照明の変化があっても認識可能なコーナー、エッジ、パターンなどのユニークなキーポイントを見つけ出し、記述するために設計されました。
Ultralytics YOLO11のようなディープラーニング駆動のコンピュータビジョンモデルが普及する前、SIFTはコンピュータビジョンにおいて広く使われていた技術でした。SIFTは、写真の中から特定のアイテムを特定する「物体認識」や、重なり合う画像特徴を見つけて写真を位置合わせする「画像マッチング」といったタスクにおける標準的な手法でした。
本記事では、SIFTの概要、高レベルな仕組み、そしてコンピュータビジョンの進化においてなぜ重要なのかを探ります。それでは始めましょう！
Link to this sectionなぜSIFTアルゴリズムがコンピュータビジョンに不可欠なのか#
画像内では、物体はさまざまな見え方をする可能性があります。例えば、コーヒーカップが上から撮影されたり、横から撮影されたり、明るい日光の下や暖かい照明の下で撮影されたりすることがあります。また、カメラに近いと大きく、遠いと小さく見えることもあります。
こうした違いがあるため、コンピュータに物体を認識させることは複雑なタスクとなります。物体検出として知られるこのコンピュータビジョンのタスクでは、サイズや角度、照明条件が変化しても、Vision AIモデルが正確に物体を識別および特定することが求められます。
これを可能にするために、コンピュータビジョンは特徴抽出（または検出）と呼ばれるプロセスに依存しています。モデルは画像全体を一度に理解しようとするのではなく、角度やスケール、照明条件が変化しても認識可能な、鋭いコーナーやユニークなパターン、テクスチャといった特徴的な画像特徴を探します。
特に、これこそがScale-Invariant Feature Transform（SIFT）が設計された目的です。SIFTは、画像がどのように撮影されていても、物体を確実に識別できる特徴検出および記述アルゴリズムです。
Link to this sectionスケール不変性の実現#
SIFTアルゴリズムには、物体認識に役立つ重要な特性がいくつかあります。その鍵となる特性の一つが「スケール不変性」です。これは、物体が大きくカメラに近い場合でも、小さく遠くにある場合でも、SIFTが物体の様々な部分を認識できることを意味します。物体が完全に見えていなくても、アルゴリズムは同じキーポイントを抽出できます。
これは、「スケール空間理論」という概念を使用して実現されます。簡潔に言うと、画像をさまざまなレベルでぼかすことで複数のバージョンを作成します。SIFTはこれらのバージョンを調べ、画像がサイズや鮮明さにおいてどのように変化しても変わらないパターンや詳細を見つけ出します。
例えば、数メートル離れた場所から撮影された道路標識は、遠くから撮影された同じ標識よりもはるかに大きく見えますが、SIFTは同じ特徴的な特徴を検出できます。これにより、標識が非常に異なるスケールで現れても、2つの画像を正しくマッチングさせることが可能になります。
Link to this section回転不変性の確保#
画像内の物体は回転して見えることもあり、上下逆さまになることさえあります。SIFTは「回転不変性」と呼ばれる特性によりこれに対応します。検出されたすべてのキーポイントに対して、アルゴリズムはローカル画像勾配に基づき一貫した方向を割り当てます。これにより、どのように回転していても同じ物体を認識できます。
これは、各キーポイントを、それがどちらを向いているかを示す小さな矢印でマークすることに例えられます。特徴をこれらの方向に合わせることで、SIFTは物体が回転してもキーポイントが正しく一致することを保証します。例えば、風景写真に収められたランドマークは、別の写真でカメラが傾いた角度で撮影されていても正しく特定できます。
Link to this sectionその他の画像変動への耐性#
サイズや回転以外にも、画像は照明の変化など、他の方法で変化する可能性があります。物体の照明が明るい状態から暗い状態に変わったり、カメラの角度がわずかにずれたり、あるいは画像がぼやけたりノイズが入ったりすることもあります。
SIFTは、こうした種類の変動に対応できるよう構築されています。特徴的でコントラストの高いキーポイントに焦点を当てることでこれを実現しています。これらの特徴は、照明の変化や視点のわずかなずれの影響を受けにくいためです。結果として、SIFTは条件が変わると失敗しがちな単純なエッジやコーナー検出手法よりも信頼性が高くなる傾向があります。
図1：(a)雨の画像と(b)それに対応するきれいな入力画像から抽出されたSIFTキーポイント。(ソース)
ギャラリーにある絵画を考えてみてください。柔らかな日光の下で撮影されても、明るい人工的なスポットライトの下で撮影されても、あるいは手持ちカメラのわずかなモーションブラーがあっても、それは認識可能です。キーポイントは、これらの違いにかかわらず正確なマッチングに十分なほど安定しています。
Link to this sectionScale-Invariant Feature Transform（SIFT）アルゴリズムの仕組み#
次に、SIFTアルゴリズムがどのように機能するかを見ていきましょう。このプロセスは、キーポイント検出、キーポイントの局所化、向きの割り当て、キーポイント記述の4つの主要ステップに分解できます。
Link to this sectionステップ1：スケール空間極値検出#
最初のステップは、物体を追跡または認識するのに役立つ、コーナーやテクスチャの鋭い変化といった画像内の際立ったスポットであるキーポイントを見つけて検出することです。
これらの候補キーポイントをどのサイズでも認識できるようにするため、SIFTは「スケール空間」と呼ばれるものを作成します。これは、ガウスフィルタ（平滑化技術）を使用して元の画像を段階的にぼかし、結果を「オクターブ」と呼ばれる層にグループ化することで作成された画像のコレクションです。各オクターブにはぼかしのレベルが増していく同じ画像が含まれ、次のオクターブは画像のより小さいバージョンになります。
あるぼかし画像から別のぼかし画像を差し引くことで、SIFTはDifference of Gaussians (DoG)を計算し、明るさが急激に変化する領域を強調します。これらの領域は、ズームイン・アウトしても一貫性が保たれるため、候補キーポイントとして選ばれます。
図2：DoGは、異なるレベルでぼかされた画像を差し引くことで主要な構造を強調します。(ソース)
Link to this sectionステップ2：キーポイントの局所化#
すべての候補キーポイントが役に立つわけではありません。中には弱いものや不安定なものがあるためです。それらを精緻化するために、SIFTは「テイラー展開」と呼ばれる数学的手法を使用して、キーポイントの正確な位置をより高い精度で推定します。
このステップ中に、信頼性の低い点が削除されます。周囲に溶け込んでしまうようなコントラストの低いキーポイントや、容易にずれてしまうようなエッジ上にあるキーポイントは破棄されます。このフィルタリングステップにより、最も安定した際立ったキーポイントだけが残ります。
Link to this sectionステップ3：向きの割り当て#
安定したキーポイントが特定されると、SIFTはそれらを回転不変にします。つまり、画像が横向きや逆さまになってもマッチングできるということです。これを行うために、SIFTは各キーポイント周辺で明るさがどのように変化するか（勾配）を分析します。勾配はピクセル強度の変化の方向と強度の両方を示し、これらを合わせることでその点の周辺構造を捉えます。
各キーポイントに対して、SIFTは周囲の領域内の勾配を考慮し、それらをヒストグラムにグループ化します。このヒストグラムの最も高いピークは強度変化の主要な方向を示しており、これがキーポイントの向きとして割り当てられます。強度がどこで変化しているかを示す勾配の方向と、その変化がどれだけ強いかを示す勾配の大きさの両方が、このヒストグラムの構築に使用されます。
同様に強い他のピークがある場合、SIFTは同じキーポイントに複数の向きを割り当てます。これにより、物体が不自然な角度で現れたときに重要な特徴が失われるのを防ぎます。各キーポイントをその向きに合わせることで、SIFTは次のステップで生成される記述子が確実に一貫性を保つようにします。
言い換えれば、同じ物体の2枚の画像が異なって回転していても、向きを合わせたキーポイントは正しく一致します。このステップがSIFTに強力な回転処理能力を与えており、初期の他の特徴検出手法よりもはるかに堅牢なものにしています。
図3：SIFTアルゴリズムのステップ3の詳細。(ソース)
Link to this sectionステップ4：キーポイント記述子#
SIFTの最後のステップは、他の画像でも認識できるように、各キーポイントの記述を作成することです。
SIFTは、各キーポイント周辺の約16x16ピクセルの小さな正方形パッチを見ることでこれを達成します。このパッチはまずキーポイントの向きに合わせて調整されるため、回転の影響を受けません。次に、パッチは4x4の小さな正方形のグリッドに分割されます。
それぞれの小さな正方形内で、SIFTは明るさが異なる方向にどのように変化するかを測定します。これらの変化はヒストグラムに保存されます。これは、どの方向が最も一般的かを示すチャートのようなものです。各正方形は独自のヒストグラムを取得し、合わせて16個の正方形から16個のヒストグラムが生成されます。
最終的に、これらのヒストグラムは合計128個の数値のリストに結合されます。このリストは「特徴ベクトル」と呼ばれ、キーポイントの指紋として機能します。点周辺のユニークなテクスチャと構造を捉えるため、この指紋により、リサイズ、回転、照明の変化があっても、異なる画像間で同じキーポイントをマッチングさせることが可能になります。
図4：SIFTの仕組みの概要。(ソース)
Link to this sectionコンピュータビジョンにおけるSIFTの主な応用例#
SIFTの仕組みについて理解を深めたところで、コンピュータビジョンにおける実際の応用例をいくつか探ってみましょう。
Link to this section物体認識と物体検出#
SIFTの主な用途の一つは物体認識と物体検出です。これには、物体が常に同じように見えるわけではない場合でも、コンピュータに物体を認識・特定させる手法が含まれます。例えば、SIFTは本がカメラに近いか、遠いか、あるいは角度をつけて回転していても、それを検出できます。
これが機能する理由は、SIFTが非常に特徴的で安定したキーポイントを抽出するためです。これらのキーポイントをSIFT記述子と組み合わせるとSIFT特徴量となり、異なる画像間で同じ物体をマッチングさせる信頼性の高い方法を提供します。これらの特徴量は、物体のユニークな詳細を捉え、それが一貫して保たれるため、物体のサイズ、位置、向きが変化しても画像間の安定した特徴マッチングを可能にします。
図5：元の画像とは異なる向きで撮影された新しい画像内の本の表紙を、SIFTを使用して認識する様子。画像提供：筆者。
ディープラーニングが普及する前は、SIFTは物体認識システムを構築するための最も信頼できる手法の一つでした。かなりの計算リソースを必要とすることが多かったにもかかわらず、大規模な画像データセット間で物体をマッチングする必要がある研究やアプリケーションで広く使用されていました。
Link to this section画像スティッチングとパノラマ作成#
SIFTは、複数の写真を繋ぎ合わせて作成されるワイド写真であるパノラマ画像の作成にも使用できます。SIFTを使用すると、異なる画像の重なり合う部分にある特徴的なキーポイントが見つけられ、それらが互いにマッチングされます。これらのマッチはアンカーのように機能し、写真がどのように整列されるべきかをスティッチングプロセスに指示します。
マッチングが完了すると、スティッチングアルゴリズムを使用して正しい配置を計算できます。多くの場合、ある画像を別の画像にマッピングする幾何学的変換が使用されます。その後、継ぎ目が消えるように画像がブレンドされます。最終結果は、複数のショットから作成されたにもかかわらず、一枚の広い写真のように見えるシームレスなパノラマです。
Link to this section3D再構成とロボティクス#
SIFTのもう一つの興味深い応用は3D再構成です。これは、異なる角度から撮影された複数の2D写真を組み合わせて3次元モデルを構築するものです。SIFTは、これらの画像全体で同じ点を見つけてマッチングさせることで機能します。
マッチングが完了すると、三角測量（異なる視点から深度を計算する手法）を使用してそれらの点の3D位置を推定できます。このプロセスは「Structure from Motion (SfM)」の一部であり、複数の重なり合う画像を使用して、撮影したカメラの位置とともにシーンの3D形状を推定する技術です。
結果は通常、物体や環境の輪郭を示す空間内の点の集合である「3D点群」になります。SIFTは、Structure from Motionを実用化した最初のツールの一つでした。現在ではより高速で一般的な手法が登場していますが、速度よりも精度が重要な場合にはSIFTが活用され続けています。
SIFTはロボティクス、特にビジュアルSLAM（自己位置推定と環境地図作成）にも使用されてきました。SLAMにより、ロボットは周囲の地図を作成しながら同時に自分の位置を把握することができます。
SIFTキーポイントは、照明や角度が変わってもロボットがフレーム間で認識できる信頼性の高いランドマークとして機能します。これらのランドマークを追跡することで、ロボットはその場で自分の位置を推定し、地図を更新できます。今日、ロボティクスではより高速な特徴検出器が頻繁に使用されていますが、SIFTは初期のSLAMシステムにおいて重要な役割を果たしており、速度よりも堅牢性が重要視されるケースでは依然として重要です。
Link to this sectionSIFTの利点と考慮事項#
SIFTアルゴリズムはコンピュータビジョンで広く使用されており、信頼できる手法として知られていますが、トレードオフも存在します。そのため、プロジェクトに適しているかどうかを判断する前に、その長所と短所を比較検討することが重要です。次に、その主な強みと限界を見ていきましょう。
Link to this sectionSIFTの主な利点#
SIFTアルゴリズムを使用する利点は以下の通りです：
- スケールおよび回転不変性： SIFTは、物体が異なるサイズや向きで現れても比較的安定したままのスケール不変キーポイントを提供します。これは初期の特徴検出器と比較して大きな進歩でした。
- 照明や視点の変化に対する適度な堅牢性： SIFTは明るさ、コントラストの変化、または視点のわずかなずれに対応できますが、より極端な条件下では信頼性が低下します。
- 複雑なシーンや部分的に隠れたシーンでの動作： SIFTは多くのローカルキーポイントを検出するため、物体の一部が隠れていたり背景が複雑であったりしても、物体を特定できることがよくあります。
Link to this sectionパフォーマンスに関する考慮事項と代替案#
SIFTアルゴリズムを使用する欠点は以下の通りです：
- 計算コストが高い： SIFTの多段階プロセスと詳細な記述子は、現代の特徴検出器よりも遅く、リソースを大量に消費します。これを改善するために、研究者たちはより高速な計算で特徴を見つけて記述するSURF（Speeded-Up Robust Features）アルゴリズムを開発しました。SURFは場合によってはSIFTよりも精度が低いですが、動作がはるかに速いため、時間制約のあるタスクにはより実用的です。
- リアルタイム利用には不向き： 計算コストが高いため、SIFTはリアルタイム追跡やモバイルロボティクスなど、速度が不可欠なアプリケーションでは苦戦します。
- 汎用性の制限： 多くのケースで堅牢ですが、SIFTは極端な照明の変化、大きな視点のシフト、または新しいアルゴリズムや機械学習手法の方が優れたパフォーマンスを発揮する非常に動的なシーンでは効果が低くなります。
SIFTの長所と短所を調べていくと、その限界の多くがより高度な手法への道を開いたことに気づくかもしれません。具体的には、畳み込みニューラルネットワーク（CNN）が強力な代替手段として登場しました。
CNNは、人間の視覚システムの仕組みに触発されたディープラーニングモデルの一種です。エッジやテクスチャのような単純なパターンから始まり、徐々に複雑な形状や物体へと構築される層状の画像処理を行います。SIFTの手作りルールとは異なり、CNNはデータから直接特徴表現を学習します。
このデータ駆動型の学習により、CNNは記述子マッチングや分類タスクにおいてSIFTを凌駕することができます。また、CNNは表現力が高く堅牢であり、視覚データの多様性と複雑さに対してより適切に適応します。
例えば、CNNベースのモデルは、何千ものカテゴリにわたる数百万のラベル付き画像を含む大規模なベンチマークデータセットであるImageNetにおいて画期的な結果を達成しています。アルゴリズムがどの程度物体を認識・分類できるかをテストするために設計されたImageNetは、古い特徴ベースの手法とディープラーニングとの間のギャップを浮き彫りにします。
CNNは、より豊かで柔軟な表現を学習することで、SIFTを急速に追い越しました。これにより、照明の変化、異なる視点、さらには部分的に隠れている場合でも物体を認識できるようになり、SIFTが苦戦しがちなシナリオで大きな成果を上げています。
Link to this section重要なポイント#
Scale-Invariant Feature Transformアルゴリズムは、コンピュータビジョンの歴史において重要な位置を占めています。変化する環境下でも特徴を検出する信頼性の高い方法を提供し、今日使用されている多くの手法に影響を与えました。
新しい手法の方がより高速で効率的ですが、SIFTはそれらの基盤を築きました。SIFTは、今日のコンピュータビジョンの進歩がどこから始まったのかを示しており、最先端のAIシステムがどれほど進化したかを際立たせています。
グローバルコミュニティに参加し、コンピュータビジョンについてさらに学ぶためにGitHubリポジトリをチェックしてください。農業におけるAIや小売におけるコンピュータビジョンなどのイノベーションを発見するために、当社のソリューションページを探索してみてください。ライセンスオプションを確認し、あなた自身のコンピュータビジョンモデルの構築を始めましょう。
