Was ist die Scale-Invariant Feature Transform (SIFT)?

Für eine visuelle Übersicht der in diesem Artikel behandelten Konzepte, schau dir das Video unten an.

Heutzutage verfügen viele der von uns genutzten Smart Devices – von Telefonen und Kameras bis hin zu Smart-Home-Systemen – über KI-Lösungen, die Gesichter, Objekte und sogar ganze visuelle Szenen erkennen können. Diese Fähigkeit stammt aus dem Computer Vision, einem Teilbereich der künstlichen Intelligenz, der es Maschinen ermöglicht, Bilder und Videos zu verstehen und zu interpretieren.

Wenn du zum Beispiel ein Foto vom Eiffelturm aus irgendeinem Winkel oder einer Entfernung machst, kann dein Gerät ihn normalerweise immer noch mithilfe von Computer Vision erkennen und im richtigen Ordner deiner Galerie organisieren. Während das einfach klingt, ist die Objekterkennung nicht immer simpel. Bilder können je nach Größe, Winkel, Maßstab oder Beleuchtung sehr unterschiedlich aussehen, was es für Maschinen schwierig macht, sie konsistent zu identifizieren.

Um dieses Problem zu lösen, entwickelten Forscher einen Computer-Vision-Algorithmus namens Scale Invariant Feature Transform oder SIFT. Dieser Algorithmus macht es möglich, Objekte unter verschiedenen Betrachtungsbedingungen zu erkennen. SIFT wurde 1999 von David Lowe entwickelt und dazu entworfen, einzigartige Keypoints in einem Bild zu finden und zu beschreiben – wie Ecken, Kanten oder Muster, die selbst dann erkennbar bleiben, wenn das Bild skaliert, gedreht oder anders beleuchtet wird.

Bevor Deep-Learning-gestützte Computer-Vision-Modelle wie Ultralytics YOLO11 populär wurden, war SIFT eine weit verbreitete Technik in der Computer Vision. Es war ein Standardansatz für Aufgaben wie Objekterkennung, bei denen das Ziel darin besteht, ein spezifisches Objekt in einem Foto zu identifizieren, sowie für das Bild-Matching, bei dem Fotos durch das Finden überlappender Bildmerkmale ausgerichtet werden.

In diesem Artikel erkunden wir SIFT mit einem kurzen Überblick darüber, was es ist, wie es im Großen und Ganzen funktioniert und warum es für die Entwicklung der Computer Vision wichtig ist. Fangen wir an!

Link to this sectionWarum der SIFT-Algorithmus für Computer Vision essenziell ist#

In einem Bild kann ein Objekt auf viele verschiedene Arten erscheinen. Ein Kaffeebecher könnte beispielsweise von oben, von der Seite, bei hellem Sonnenlicht oder unter einer warmen Lampe fotografiert werden. Derselbe Becher kann auch größer aussehen, wenn er nahe an der Kamera ist, und kleiner, wenn er weiter weg ist.

All diese Unterschiede machen es zu einer komplizierten Aufgabe, einem Computer beizubringen, ein Objekt zu erkennen. Diese Computer-Vision-Aufgabe, bekannt als Object Detection, erfordert von Vision AI-Modellen, Objekte präzise zu identifizieren und zu lokalisieren, selbst wenn sich ihre Größe, ihr Winkel oder ihre Lichtverhältnisse ändern.

Um dies zu ermöglichen, setzt Computer Vision auf einen Prozess namens Feature Extraction oder Detektion. Anstatt zu versuchen, das gesamte Bild auf einmal zu verstehen, sucht ein Modell nach charakteristischen Bildmerkmalen wie scharfen Ecken, einzigartigen Mustern oder Texturen, die über Winkel, Maßstäbe und Lichtverhältnisse hinweg erkennbar bleiben.

Genau das sollte der Scale Invariant Feature Transform oder SIFT tun. SIFT ist ein Algorithmus zur Feature-Detektion und -Beschreibung, der Objekte in Bildern zuverlässig identifizieren kann, egal wie sie aufgenommen wurden.

Link to this sectionSkaleninvarianz erreichen#

Der SIFT-Algorithmus verfügt über einige wichtige Eigenschaften, die ihn für die Objekterkennung nützlich machen. Eine der Schlüsseleigenschaften ist die Skaleninvarianz. Das bedeutet, dass SIFT verschiedene Teile eines Objekts erkennen kann, egal ob es groß aussieht und nah an der Kamera ist oder klein und weit entfernt. Selbst wenn das Objekt nicht vollständig sichtbar ist, kann der Algorithmus immer noch dieselben Keypoints herauspicken.

Dies erreicht er durch ein Konzept namens Scale-Space-Theorie. Vereinfacht gesagt, wird das Bild auf verschiedenen Ebenen weichgezeichnet, um mehrere Versionen zu erstellen. SIFT durchsucht dann diese Versionen, um Muster und Details zu finden, die gleich bleiben, unabhängig davon, wie sich das Bild in Größe oder Schärfe verändert.

Ein Verkehrsschild, das aus wenigen Metern Entfernung fotografiert wurde, sieht beispielsweise viel größer aus als dasselbe Schild aus der Ferne, aber SIFT kann trotzdem dieselben charakteristischen Merkmale erkennen. Dies macht es möglich, die beiden Bilder korrekt abzugleichen, obwohl das Schild in sehr unterschiedlichen Maßstäben erscheint.

Link to this sectionRotationsinvarianz sicherstellen#

Objekte in Bildern können auch rotiert erscheinen, manchmal sogar auf dem Kopf stehend. SIFT handhabt dies durch eine Eigenschaft namens Rotationsinvarianz. Für jeden Keypoint, den er erkennt, weist der Algorithmus basierend auf den lokalen Bildgradienten eine konsistente Orientierung zu. Auf diese Weise kann dasselbe Objekt erkannt werden, egal wie es rotiert ist.

Du kannst dir das wie das Markieren jedes Keypoints mit einem kleinen Pfeil vorstellen, der zeigt, in welche Richtung er weist. Durch das Ausrichten der Merkmale auf diese Orientierungen stellt SIFT sicher, dass Keypoints korrekt übereinstimmen, selbst wenn das Objekt gedreht ist. Ein Wahrzeichen, das in einem Landschaftsfoto aufgenommen wurde, kann beispielsweise korrekt identifiziert werden, auch wenn ein weiteres Foto davon mit schräg gehaltener Kamera gemacht wurde.

Link to this sectionResilienz gegenüber anderen Bildvariationen#

Jenseits von Größe und Rotation können sich Bilder auch auf andere Weise verändern, wie etwa durch Beleuchtungsänderungen. Die Beleuchtung eines Objekts kann von hell nach dunkel wechseln, der Kamerawinkel kann sich leicht verschieben oder das Bild könnte unscharf oder verrauscht sein.

SIFT ist darauf ausgelegt, mit dieser Art von Variationen umzugehen. Dies geschieht durch den Fokus auf Keypoints, die charakteristisch und kontrastreich sind, da diese Merkmale weniger von Lichtänderungen oder kleinen Blickwinkelverschiebungen betroffen sind. Als Ergebnis ist SIFT tendenziell zuverlässiger als einfache Methoden zur Edge- oder Corner-Detektion, die oft scheitern, wenn sich die Bedingungen ändern.

Abb. 1. SIFT-Keypoints extrahiert aus (a) einem verregneten Bild und (b) dessen entsprechendem sauberen Input-Bild. (Quelle)

Stell dir ein Gemälde in einer Galerie vor. Es kann immer noch erkannt werden, egal ob es bei weichem Tageslicht, unter hellen künstlichen Scheinwerfern oder sogar mit leichter Bewegungsunschärfe von einer Handkamera fotografiert wurde. Die Keypoints bleiben stabil genug für ein genaues Matching trotz dieser Unterschiede.

Link to this sectionWie der Scale-Invariant Feature Transform (SIFT)-Algorithmus funktioniert#

Als Nächstes schauen wir uns an, wie der SIFT-Algorithmus funktioniert. Dieser Prozess lässt sich in vier Hauptschritte unterteilen: Keypoint-Detektion, Keypoint-Lokalisierung, Orientierungszuweisung und Keypoint-Beschreibung.

Link to this sectionSchritt 1: Scale-space extrema detection#

Der erste Schritt besteht darin, Keypoints zu finden und zu erkennen. Dies sind charakteristische Punkte im Bild wie Ecken oder scharfe Texturänderungen, die helfen, ein Objekt zu verfolgen oder zu erkennen.

Um sicherzustellen, dass diese potenziellen Keypoints in jeder Größe erkannt werden können, erstellt SIFT einen sogenannten Scale-Space. Dies ist eine Sammlung von Bildern, die durch schrittweises Weichzeichnen des Originalbildes mit einem Gauß-Filter (ein Glättungsverfahren) erstellt und in Schichten, sogenannten Oktaven, gruppiert werden. Jede Oktave enthält dasselbe Bild mit zunehmendem Weichzeichnungsgrad, während die nächste Oktave eine kleinere Version des Bildes ist.

Durch Subtraktion eines weichgezeichneten Bildes vom anderen berechnet SIFT die Difference of Gaussians (DoG), welche Bereiche hervorhebt, in denen sich die Helligkeit stark ändert. Diese Bereiche werden als Kandidaten für Keypoints gewählt, da sie konsistent bleiben, wenn das Bild hinein- oder herausgezoomt wird.

Abb. 2. DoG hebt Schlüsselstrukturen durch Subtraktion unterschiedlich weichgezeichneter Bilder hervor. (Quelle)

Link to this sectionSchritt 2: Keypoint-Lokalisierung#

Nicht alle Keypoint-Kandidaten sind nützlich, da einige schwach oder instabil sein könnten. Um sie zu verfeinern, verwendet SIFT eine mathematische Methode namens Taylor-Reihenentwicklung, die dabei hilft, die genaue Position eines Keypoints mit größerer Präzision zu schätzen.

Während dieses Schrittes werden unzuverlässige Punkte entfernt. Keypoints mit geringem Kontrast, die mit ihrer Umgebung verschmelzen, werden aussortiert, ebenso wie solche, die direkt auf Kanten liegen, da sie sich zu leicht verschieben können. Dieser Filterschritt lässt nur die stabilsten und charakteristischsten Keypoints übrig.

Link to this sectionSchritt 3: Orientierungszuweisung#

Sobald stabile Keypoints identifiziert sind, macht SIFT sie rotationsinvariant, was bedeutet, dass sie immer noch abgeglichen werden können, selbst wenn das Bild seitlich gedreht oder auf den Kopf gestellt wird. Um dies zu tun, analysiert SIFT, wie sich die Helligkeit um jeden Keypoint herum ändert, was als Gradient bekannt ist. Gradienten zeigen sowohl die Richtung als auch die Stärke der Änderung der Pixelintensität, und zusammen erfassen sie die lokale Struktur um den Punkt herum.

Für jeden Keypoint betrachtet SIFT die Gradienten innerhalb einer umgebenden Region und gruppiert sie in ein Histogramm der Orientierungen. Der höchste Peak in diesem Histogramm zeigt die dominante Richtung der Intensitätsänderung an, die dann als Orientierung des Keypoints zugewiesen wird. Sowohl die Gradientenrichtungen, die zeigen, wo sich die Intensität ändert, als auch die Gradientenmagnituden, die angeben, wie stark diese Änderung ist, werden verwendet, um dieses Histogramm zu erstellen.

Falls es andere Peaks gibt, die fast genauso stark sind, weist SIFT demselben Keypoint mehrere Orientierungen zu. Dies verhindert, dass wichtige Merkmale verloren gehen, wenn Objekte in ungewöhnlichen Winkeln erscheinen. Durch die Ausrichtung jedes Keypoints auf seine Orientierung stellt SIFT sicher, dass die im nächsten Schritt erzeugten Deskriptoren konsistent bleiben.

Mit anderen Worten: Selbst wenn zwei Bilder desselben Objekts unterschiedlich gedreht sind, werden die orientierungsausgerichteten Keypoints immer noch korrekt übereinstimmen. Dieser Schritt verleiht SIFT seine starke Fähigkeit, mit Rotation umzugehen, und macht ihn weitaus robuster als frühere Methoden zur Feature-Detektion.

Abb. 3. Ein genauerer Blick auf Schritt 3 des SIFT-Algorithmus (Quelle)

Link to this sectionSchritt 4: Keypoint-Deskriptor#

Der letzte Schritt in SIFT besteht darin, eine Beschreibung für jeden Keypoint zu erstellen, damit er in anderen Bildern wiedererkannt werden kann.

SIFT erreicht dies, indem ein kleiner quadratischer Patch um jeden Keypoint betrachtet wird, etwa 16 mal 16 Pixel groß. Dieser Patch wird zuerst auf die Orientierung des Keypoints ausgerichtet, sodass Rotation ihn nicht beeinflusst. Der Patch wird dann in ein Raster von 4 mal 4 kleineren Quadraten unterteilt.

In jedem kleinen Quadrat misst SIFT, wie sich die Helligkeit in verschiedene Richtungen ändert. Diese Änderungen werden in etwas namens Histogramm gespeichert, das wie eine Tabelle ist, die zeigt, welche Richtungen am häufigsten vorkommen. Jedes Quadrat erhält sein eigenes Histogramm, und zusammen erzeugen die 16 Quadrate 16 Histogramme.

Schließlich werden diese Histogramme zu einer einzigen Zahlenliste kombiniert, 128 insgesamt. Diese Liste wird als Feature-Vektor bezeichnet und fungiert wie ein Fingerabdruck für den Keypoint. Da sie die einzigartige Textur und Struktur um den Punkt herum erfasst, macht dieser Fingerabdruck es möglich, denselben Keypoint in verschiedenen Bildern abzugleichen, selbst wenn diese skaliert, gedreht oder anders beleuchtet wurden.

Abb. 4. Ein Überblick darüber, wie SIFT funktioniert (Quelle)

Link to this sectionHauptanwendungen von SIFT in der Computer Vision#

Jetzt, da wir ein besseres Verständnis davon haben, was SIFT ist und wie es funktioniert, lass uns einige seiner realen Anwendungen in der Computer Vision erkunden.

Link to this sectionObjekterkennung und Detektion#

Eine der Hauptanwendungen von SIFT liegt in der Objekterkennung und Detektion. Dies beinhaltet, einem Computer beizubringen, Objekte in Bildern zu erkennen und zu lokalisieren, selbst wenn die Objekte nicht immer gleich aussehen. Zum Beispiel kann SIFT ein Buch erkennen, unabhängig davon, ob es nah an der Kamera ist, weiter weg oder in einem Winkel gedreht ist.

Der Grund, warum das funktioniert, ist, dass SIFT Keypoints extrahiert, die hochgradig charakteristisch und stabil sind. Wenn diese Keypoints mit SIFT-Deskriptoren gepaart werden, bilden sie SIFT-Merkmale, die eine zuverlässige Möglichkeit bieten, dasselbe Objekt über verschiedene Bilder hinweg abzugleichen. Diese Merkmale erfassen einzigartige Details des Objekts, die konsistent bleiben, und ermöglichen ein zuverlässiges Feature-Matching über Bilder hinweg, selbst wenn sich Größe, Position oder Orientierung des Objekts ändern.

Abb. 5. Verwendung von SIFT zur Erkennung eines Buchcovers in einem neuen Bild, das aus einer anderen Orientierung als dem Original aufgenommen wurde. Bild vom Autor.

Bevor Deep Learning populär wurde, war SIFT eine der zuverlässigsten Methoden zum Aufbau von Objekterkennungssystemen. Es wurde in der Forschung und in Anwendungen weit verbreitet eingesetzt, die das Matching von Objekten über große Bilddatensätze hinweg erforderten, auch wenn dies oft erhebliche Rechenressourcen erforderte.

Link to this sectionBildzusammenführung und Panoramaerstellung#

SIFT kann auch verwendet werden, um Panoramabilder zu erstellen, die breite Fotos sind, die durch Zusammenfügen mehrerer Bilder entstehen. Mithilfe von SIFT werden charakteristische Keypoints in den überlappenden Teilen verschiedener Bilder gefunden und dann miteinander abgeglichen. Diese Matches fungieren wie Anker, die den Stitching-Prozess steuern, wie die Fotos ausgerichtet werden sollen.

Sobald das Matching abgeschlossen ist, können Stitching-Algorithmen verwendet werden, um die korrekte Ausrichtung zu berechnen, oft unter Verwendung geometrischer Transformationen, die ein Bild auf ein anderes abbilden. Die Bilder werden dann überblendet, sodass die Übergänge verschwinden. Das Endergebnis ist ein nahtloses Panorama, das wie ein einziges breites Foto aussieht, obwohl es aus mehreren Aufnahmen erstellt wurde.

Link to this section3D-Rekonstruktion und Robotik#

Eine weitere interessante Anwendung von SIFT liegt in der 3D-Rekonstruktion, bei der mehrere 2D-Fotos, die aus verschiedenen Winkeln aufgenommen wurden, kombiniert werden, um ein dreidimensionales Modell aufzubauen. SIFT funktioniert, indem es dieselben Punkte in diesen Bildern findet und abgleicht.

Sobald die Übereinstimmungen gefunden sind, können die 3D-Positionen dieser Punkte mittels Triangulation geschätzt werden, einer Methode, die die Tiefe aus verschiedenen Blickwinkeln berechnet. Dieser Prozess ist Teil von Structure from Motion (SfM), einer Technik, die mehrere überlappende Bilder verwendet, um die 3D-Form einer Szene zusammen mit den Positionen der Kameras zu schätzen, die die Fotos aufgenommen haben.

Das Ergebnis ist meist eine 3D-Punktwolke, eine Ansammlung von Punkten im Raum, die das Objekt oder die Umgebung skizziert. SIFT war eines der ersten Werkzeuge, das Structure from Motion praktikabel machte. Obwohl neuere Techniken heute schneller und gebräuchlicher sind, wird SIFT weiterhin dort eingesetzt, wo Genauigkeit wichtiger als Geschwindigkeit ist.

SIFT wurde auch in der Robotik eingesetzt, insbesondere im visuellen SLAM (Simultaneous Localization and Mapping). SLAM ermöglicht es einem Roboter, seine eigene Position zu bestimmen und gleichzeitig eine Karte seiner Umgebung zu erstellen.

SIFT-Keypoints fungieren als zuverlässige Orientierungspunkte, die ein Roboter über Bildsequenzen hinweg wiedererkennen kann, selbst wenn sich Beleuchtung oder Winkel ändern. Durch das Verfolgen dieser Orientierungspunkte kann der Roboter seine Position schätzen und seine Karte im laufenden Betrieb aktualisieren. Obwohl heute in der Robotik häufiger schnellere Feature-Detektoren verwendet werden, spielte SIFT eine wichtige Rolle in frühen SLAM-Systemen und ist immer noch entscheidend in Fällen, in denen Robustheit wichtiger als Geschwindigkeit ist.

Link to this sectionVorteile und Überlegungen zu SIFT#

Während der SIFT-Algorithmus in der Computer Vision weit verbreitet ist und dafür bekannt ist, eine zuverlässige Methode zu sein, bringt er auch einige Kompromisse mit sich. Deshalb ist es wichtig, seine Vor- und Nachteile abzuwägen, bevor du entscheidest, ob er für ein Projekt geeignet ist. Als Nächstes gehen wir seine wichtigsten Stärken und Grenzen durch.

Link to this sectionHauptvorteile von SIFT#

Hier sind einige der Vorteile der Verwendung des SIFT-Algorithmus:

• Skalen- und Rotationsinvarianz: SIFT bietet skaleninvariante Keypoints, die relativ stabil bleiben, wenn Objekte in verschiedenen Größen oder Orientierungen erscheinen, was einen bedeutenden Fortschritt gegenüber früheren Feature-Detektoren darstellt.
• Moderate Robustheit gegenüber Beleuchtungs- und Blickwinkeländerungen: SIFT kann mit Änderungen in Helligkeit, Kontrast oder kleinen Verschiebungen des Blickwinkels umgehen, ist jedoch unter extremeren Bedingungen weniger zuverlässig.
• Fähigkeit, in überfüllten oder teilweise verdeckten Szenen zu arbeiten: Da SIFT viele lokale Keypoints erkennt, kann es oft ein Objekt immer noch identifizieren, selbst wenn es teilweise verdeckt ist oder der Hintergrund komplex ist.

Link to this sectionPerformance-Überlegungen und Alternativen#

Hier sind einige der Nachteile der Verwendung des SIFT-Algorithmus:

• Rechenintensiv: Der mehrstufige Prozess von SIFT und die detaillierten Deskriptoren machen ihn langsamer und ressourcenhungriger als moderne Feature-Detektoren. Um dies zu verbessern, entwickelten Forscher den SURF-Algorithmus (Speeded-Up Robust Features), der schnellere Berechnungen nutzt, um Merkmale zu finden und zu beschreiben. SURF ist in einigen Fällen weniger präzise als SIFT, läuft aber wesentlich schneller, was ihn für zeitkritische Aufgaben praktischer macht.
• Nicht ideal für Echtzeit-Anwendungen: Aufgrund der Rechenkosten hat SIFT Schwierigkeiten bei Anwendungen, in denen Geschwindigkeit entscheidend ist, wie etwa Echtzeit-Tracking oder mobile Robotik.
• Eingeschränkte Vielseitigkeit: Während SIFT in vielen Fällen robust ist, ist er bei extremen Beleuchtungsänderungen, großen Blickwinkelverschiebungen oder hochdynamischen Szenen weniger effektiv, wo neuere Algorithmen oder Machine-Learning-Methoden besser abschneiden.

Während du die Vor- und Nachteile von SIFT erkundest, wirst du vielleicht feststellen, dass viele seiner Einschränkungen den Weg für fortgeschrittenere Techniken geebnet haben. Insbesondere Convolutional Neural Networks (CNNs) entwickelten sich als leistungsstarke Alternative.

Ein CNN ist eine Art Deep-Learning-Modell, das vom menschlichen visuellen System inspiriert ist. Es verarbeitet ein Bild in Schichten, beginnend mit einfachen Mustern wie Kanten und Texturen bis hin zu komplexeren Formen und Objekten. Im Gegensatz zu SIFTs handgeschriebenen Feature-Regeln lernen CNNs Merkmalsrepräsentationen direkt aus Daten.

Dieses datengestützte Lernen bedeutet, dass CNNs SIFT bei Deskriptor-Matching- und Klassifizierungsaufgaben übertreffen können. CNNs sind zudem ausdrucksstärker und robuster und passen sich besser an die Variabilität und Komplexität visueller Daten an.

Zum Beispiel haben CNN-basierte Modelle bahnbrechende Ergebnisse auf ImageNet erzielt, einem massiven Benchmark-Datensatz, der Millionen von gelabelten Bildern über Tausende von Kategorien hinweg enthält. ImageNet wurde entwickelt, um zu testen, wie gut Algorithmen Objekte erkennen und klassifizieren können, und verdeutlicht die Lücke zwischen älteren merkmalsbasierten Methoden und Deep Learning.

CNNs übertrafen SIFT schnell, indem sie weitaus reichhaltigere und flexiblere Repräsentationen lernten, was es ihnen ermöglichte, Objekte unter wechselnder Beleuchtung, aus verschiedenen Blickwinkeln und sogar bei teilweiser Verdeckung zu erkennen – Szenarien, in denen SIFT oft Schwierigkeiten hat.

Link to this sectionWichtige Erkenntnisse#

Der Scale Invariant Feature Transform-Algorithmus nimmt einen wichtigen Platz in der Geschichte der Computer Vision ein. Er bot eine zuverlässige Möglichkeit, Merkmale auch in sich verändernden Umgebungen zu erkennen, und beeinflusste viele der heute verwendeten Methoden.

Während neuere Techniken schneller und effizienter sind, hat SIFT das Fundament für sie gelegt. SIFT zeigt, wo der Fortschritt in der Computer Vision von heute begann, und unterstreicht, wie weit hochmoderne KI-Systeme gekommen sind.

Tritt unserer globalen Community bei und schau dir unser GitHub-Repository an, um mehr über Computer Vision zu erfahren. Erkunde unsere Lösungsseiten, um Innovationen wie KI in der Landwirtschaft und Computer Vision im Einzelhandel zu entdecken. Sieh dir unsere Lizenzoptionen an und beginne damit, dein eigenes Computer-Vision-Modell zu erstellen.