Was ist die maßstabsinvariante Merkmalstransformation (SIFT)?

Eine visuelle Erklärung der in diesem Artikel behandelten Konzepte findest du im folgenden Video.

Viele der intelligenten Geräte, die wir heute nutzen – von Smartphones und Kameras bis hin zu Smart-Home-Systemen – sind mit KI-Lösungen ausgestattet, die Gesichter, Objekte und sogar ganze Bildszenen erkennen können. Möglich macht das Computer Vision, ein Bereich der künstlichen Intelligenz, der Maschinen befähigt, Bilder und Videos zu verstehen und zu interpretieren.

Wenn du beispielsweise aus einem beliebigen Winkel oder aus beliebiger Entfernung ein Foto vom Eiffelturm aufnimmst, kann dein Gerät ihn mithilfe von Computer Vision in der Regel trotzdem erkennen und das Bild im richtigen Ordner deiner Galerie ablegen. Das klingt zwar einfach, doch Objekte zu erkennen ist nicht immer unkompliziert. Bilder können je nach Größe, Winkel, Maßstab oder Beleuchtung sehr unterschiedlich aussehen, was es Maschinen erschwert, Objekte zuverlässig zu identifizieren.

Um dieses Problem zu lösen, entwickelten Forschende einen Computer-Vision-Algorithmus namens skaleninvariante Merkmalstransformation (Scale Invariant Feature Transform, SIFT). Dieser Algorithmus ermöglicht es, Objekte unter unterschiedlichen Aufnahmebedingungen zu erkennen. SIFT wurde 1999 von David Lowe entwickelt und sollte einzigartige Schlüsselpunkte in einem Bild finden und beschreiben, etwa Ecken, Kanten oder Muster, die auch dann wiedererkennbar bleiben, wenn das Bild skaliert, gedreht oder anders beleuchtet wird.

Bevor durch Deep Learning angetriebene Computer-Vision-Modelle wie Ultralytics YOLO11 populär wurden, war SIFT eine weit verbreitete Technik in der Computer Vision. Sie war ein Standardverfahren für Aufgaben wie die Objekterkennung, bei der ein bestimmtes Element auf einem Foto identifiziert werden soll, und den Bildabgleich, bei dem Fotos anhand übereinstimmender Bildmerkmale ausgerichtet werden.

In diesem Artikel geben wir einen kurzen Überblick über SIFT, erklären, worum es sich handelt, wie es grundsätzlich funktioniert und warum es für die Entwicklung der Computer Vision wichtig ist.

Warum der SIFT-Algorithmus für Computer Vision wichtig ist#

Ein Objekt kann auf Bildern ganz unterschiedlich aussehen. Eine Kaffeetasse kann beispielsweise von oben oder von der Seite, im hellen Sonnenlicht oder unter einer warmen Lampe fotografiert werden. Dieselbe Tasse kann außerdem größer erscheinen, wenn sie nahe an der Kamera steht, und kleiner, wenn sie weiter entfernt ist.

All diese Unterschiede machen es zu einer komplexen Aufgabe, einem Computer beizubringen, ein Objekt zu erkennen. Bei dieser Computer-Vision-Aufgabe, der Objekterkennung, müssen Vision-AI-Modelle Objekte genau identifizieren und lokalisieren, selbst wenn sich Größe, Winkel oder Lichtverhältnisse ändern.

Damit das gelingt, nutzt Computer Vision ein Verfahren namens Merkmalsextraktion oder Merkmalserkennung. Statt zu versuchen, das gesamte Bild auf einmal zu verstehen, sucht ein Modell nach charakteristischen Bildmerkmalen wie scharfen Ecken, einzigartigen Mustern oder Texturen, die über verschiedene Winkel, Maßstäbe und Lichtverhältnisse hinweg erkennbar bleiben.

Genau dafür wurde die skaleninvariante Merkmalstransformation (Scale Invariant Feature Transform, SIFT) entwickelt. SIFT ist ein Algorithmus zur Merkmalserkennung und -beschreibung, der Objekte in Bildern zuverlässig identifizieren kann, unabhängig davon, wie sie aufgenommen wurden.

Skaleninvarianz erreichen#

Der SIFT-Algorithmus verfügt über einige wichtige Eigenschaften, die ihn für die Objekterkennung nützlich machen. Eine davon ist die sogenannte Skaleninvarianz. Das bedeutet, dass SIFT verschiedene Teile eines Objekts erkennen kann, egal ob es groß und nahe an der Kamera oder klein und weit entfernt erscheint. Selbst wenn das Objekt nicht vollständig sichtbar ist, kann der Algorithmus dieselben Schlüsselpunkte finden.

Dafür nutzt SIFT ein Konzept namens Skalenraumtheorie. Einfach gesagt wird das Bild unterschiedlich stark unscharf gemacht, um mehrere Versionen zu erzeugen. SIFT durchsucht diese Versionen anschließend nach Mustern und Details, die unabhängig von Änderungen an Größe oder Schärfe des Bildes gleich bleiben.

Ein Verkehrsschild, das aus wenigen Metern Entfernung fotografiert wird, erscheint beispielsweise viel größer als dasselbe Schild auf einer Aufnahme aus größerer Entfernung. SIFT kann dennoch dieselben charakteristischen Merkmale erkennen. So lassen sich die beiden Bilder korrekt abgleichen, obwohl das Schild in sehr unterschiedlichen Maßstäben erscheint.

Rotationsinvarianz sicherstellen#

Objekte auf Bildern können auch gedreht erscheinen, manchmal sogar auf dem Kopf stehend. SIFT gleicht das mit der sogenannten Rotationsinvarianz aus. Jedem erkannten Schlüsselpunkt weist der Algorithmus anhand der lokalen Bildgradienten eine eindeutige Ausrichtung zu. Dadurch lässt sich dasselbe Objekt unabhängig davon erkennen, wie stark es gedreht wurde.

Du kannst dir das so vorstellen, als würde jeder Schlüsselpunkt mit einem kleinen Pfeil markiert, der seine Ausrichtung zeigt. Indem SIFT die Merkmale an diesen Ausrichtungen ausrichtet, stellt der Algorithmus sicher, dass Schlüsselpunkte auch bei gedrehtem Objekt korrekt zugeordnet werden. So kann beispielsweise ein Wahrzeichen auf einem Querformatfoto auch dann korrekt identifiziert werden, wenn es auf einem anderen Foto mit schräg gehaltener Kamera aufgenommen wurde.

Unempfindlichkeit gegenüber weiteren Bildveränderungen#

Neben Größe und Drehung können Bilder auch auf andere Weise verändert sein, etwa durch unterschiedliche Beleuchtung. Ein Objekt kann hell oder schwach beleuchtet sein, der Kamerawinkel kann sich leicht verschieben oder das Bild kann unscharf oder verrauscht sein.

SIFT ist darauf ausgelegt, mit solchen Veränderungen umzugehen. Dazu konzentriert sich der Algorithmus auf markante Schlüsselpunkte mit hohem Kontrast, da diese Merkmale weniger von Beleuchtungsänderungen oder kleinen Verschiebungen des Blickwinkels betroffen sind. Daher ist SIFT in der Regel zuverlässiger als einfache Verfahren zur Kanten- oder Eckenerkennung, die bei veränderten Bedingungen häufig versagen.

Abb. 1: Aus (a) einem verregneten Bild und (b) dem entsprechenden unveränderten Eingabebild extrahierte SIFT-Schlüsselpunkte. (Quelle)

Stell dir ein Gemälde in einer Galerie vor. Es kann weiterhin erkannt werden, egal ob es bei sanftem Tageslicht, unter hellen Scheinwerfern oder mit leichter Bewegungsunschärfe durch eine Handkamera fotografiert wird. Trotz dieser Unterschiede bleiben die Schlüsselpunkte stabil genug, um einen genauen Abgleich zu ermöglichen.

So funktioniert der Algorithmus der skaleninvarianten Merkmalstransformation (SIFT)#

Als Nächstes sehen wir uns an, wie der SIFT-Algorithmus funktioniert. Der Ablauf lässt sich in vier Hauptschritte unterteilen: Erkennung von Schlüsselpunkten, Lokalisierung von Schlüsselpunkten, Zuweisung einer Ausrichtung und Beschreibung von Schlüsselpunkten.

Schritt 1: Erkennung von Extrema im Skalenraum#

Im ersten Schritt werden Schlüsselpunkte gesucht und erkannt. Das sind markante Stellen im Bild, etwa Ecken oder deutliche Texturänderungen, die dabei helfen, ein Objekt zu verfolgen oder wiederzuerkennen.

Damit diese möglichen Schlüsselpunkte bei jeder Bildgröße erkannt werden können, erstellt SIFT einen sogenannten Skalenraum. Dazu wird das Originalbild mit einem Gauß-Filter, einem Glättungsverfahren, schrittweise unscharf gemacht. Die Ergebnisse werden in Ebenen namens Oktaven gruppiert. Jede Oktave enthält dasselbe Bild mit zunehmender Unschärfe, während die nächste Oktave eine kleinere Version des Bildes darstellt.

Indem SIFT ein unscharfes Bild von einem anderen subtrahiert, berechnet der Algorithmus die Differenz der Gauß-Funktionen (DoG), die Bereiche mit starken Helligkeitsänderungen hervorhebt. Diese Bereiche werden als mögliche Schlüsselpunkte ausgewählt, weil sie beim Vergrößern oder Verkleinern des Bildes stabil bleiben.

Abb. 2: DoG hebt wichtige Strukturen hervor, indem Bilder mit unterschiedlichen Unschärfegraden voneinander abgezogen werden. (Quelle)

Schritt 2: Lokalisierung von Schlüsselpunkten#

Nicht alle möglichen Schlüsselpunkte sind nützlich, da manche zu schwach oder instabil sein können. Um sie zu verfeinern, verwendet SIFT ein mathematisches Verfahren namens Taylorreihenentwicklung. Damit lässt sich die genaue Position eines Schlüsselpunktes präziser bestimmen.

In diesem Schritt werden unzuverlässige Punkte entfernt. Schlüsselpunkte mit geringem Kontrast, die mit ihrer Umgebung verschmelzen, werden verworfen. Dasselbe gilt für Punkte, die direkt auf Kanten liegen, da sie sich zu leicht verschieben können. Nach diesem Filterungsschritt bleiben nur die stabilsten und markantesten Schlüsselpunkte übrig.

Schritt 3: Zuweisung einer Ausrichtung#

Nachdem stabile Schlüsselpunkte identifiziert wurden, macht SIFT sie rotationsinvariant. Das bedeutet, dass sie auch dann zugeordnet werden können, wenn das Bild auf die Seite oder auf den Kopf gedreht ist. Dazu analysiert SIFT, wie sich die Helligkeit rund um jeden Schlüsselpunkt ändert. Diese Änderung wird als Gradient bezeichnet. Gradienten geben sowohl die Richtung als auch die Stärke der Änderung der Pixelintensität an und erfassen zusammen die lokale Struktur rund um den Punkt.

Für jeden Schlüsselpunkt berücksichtigt SIFT die Gradienten in einem Umgebungsbereich und fasst sie in einem Histogramm der Ausrichtungen zusammen. Der höchste Ausschlag in diesem Histogramm zeigt die vorherrschende Richtung der Intensitätsänderung an, die dem Schlüsselpunkt anschließend als Ausrichtung zugewiesen wird. Für dieses Histogramm werden sowohl die Gradientenrichtungen – sie zeigen, wo sich die Intensität verändert – als auch die Gradientenbeträge verwendet, die die Stärke dieser Änderung angeben.

Gibt es weitere Ausschläge, die fast ebenso stark sind, weist SIFT demselben Schlüsselpunkt mehrere Ausrichtungen zu. So wird verhindert, dass wichtige Merkmale verloren gehen, wenn Objekte aus ungewöhnlichen Winkeln aufgenommen werden. Indem SIFT jeden Schlüsselpunkt an seiner Ausrichtung ausrichtet, bleiben die im nächsten Schritt erzeugten Deskriptoren konsistent.

Mit anderen Worten: Auch wenn zwei Bilder desselben Objekts unterschiedlich gedreht sind, lassen sich die an ihrer Ausrichtung ausgerichteten Schlüsselpunkte weiterhin korrekt zuordnen. Dieser Schritt verleiht SIFT seine hohe Fähigkeit, mit Drehungen umzugehen, und macht den Algorithmus deutlich robuster als frühere Verfahren zur Merkmalserkennung.

Abb. 3: Schritt 3 des SIFT-Algorithmus im Detail (Quelle)

Schritt 4: Deskriptor für Schlüsselpunkte#

Im letzten Schritt von SIFT wird jeder Schlüsselpunkt beschrieben, damit er auch in anderen Bildern wiedererkannt werden kann.

Dazu betrachtet SIFT einen kleinen quadratischen Bildausschnitt um jeden Schlüsselpunkt, etwa 16 × 16 Pixel groß. Zunächst wird dieser Ausschnitt an der Ausrichtung des Schlüsselpunktes ausgerichtet, damit die Drehung keinen Einfluss darauf hat. Anschließend wird der Ausschnitt in ein Raster aus 4 × 4 kleineren Quadraten unterteilt.

In jedem kleinen Quadrat misst SIFT, wie sich die Helligkeit in verschiedene Richtungen ändert. Diese Änderungen werden in einem sogenannten Histogramm gespeichert – einer Art Diagramm, das zeigt, welche Richtungen am häufigsten vorkommen. Jedes Quadrat erhält ein eigenes Histogramm. So entstehen insgesamt 16 Histogramme.

Zum Schluss werden diese Histogramme zu einer einzigen Liste mit insgesamt 128 Zahlen zusammengefasst. Diese Liste heißt Merkmalsvektor und dient als eine Art Fingerabdruck des Schlüsselpunktes. Da sie die einzigartige Textur und Struktur rund um den Punkt erfasst, ermöglicht dieser Fingerabdruck den Abgleich desselben Schlüsselpunktes in verschiedenen Bildern, selbst wenn diese skaliert, gedreht oder unterschiedlich beleuchtet wurden.

Abb. 4: Überblick über die Funktionsweise von SIFT (Quelle)

Wichtige Anwendungen von SIFT in der Computer Vision#

Nachdem wir nun besser verstehen, was SIFT ist und wie es funktioniert, sehen wir uns einige Anwendungen aus der Praxis in der Computer Vision an.

Objekterkennung und -lokalisierung#

SIFT wird vor allem zur Objekterkennung und -lokalisierung eingesetzt. Dabei wird einem Computer beigebracht, Objekte in Bildern zu erkennen und zu lokalisieren, selbst wenn sie nicht immer gleich aussehen. SIFT kann beispielsweise ein Buch erkennen, egal ob es nahe an der Kamera oder weiter entfernt liegt oder schräg gedreht ist.

Das funktioniert, weil SIFT markante und stabile Schlüsselpunkte extrahiert. Werden diese Schlüsselpunkte mit SIFT-Deskriptoren kombiniert, entstehen SIFT-Merkmale, mit denen sich dasselbe Objekt zuverlässig in verschiedenen Bildern wiedererkennen lässt. Diese Merkmale erfassen einzigartige Details des Objekts, die gleich bleiben. So ist ein zuverlässiger Merkmalsabgleich über verschiedene Bilder hinweg möglich, selbst wenn sich Größe, Position oder Ausrichtung des Objekts ändern.

Abb. 5: Mit SIFT einen Buchumschlag in einem neuen Bild erkennen, das aus einer anderen Richtung als das Original aufgenommen wurde. Bild des Autors.

Bevor Deep Learning populär wurde, zählte SIFT zu den zuverlässigsten Methoden für die Entwicklung von Objekterkennungssystemen. Das Verfahren wurde häufig in der Forschung und in Anwendungen eingesetzt, bei denen Objekte in großen Bilddatensätzen abgeglichen werden mussten, auch wenn es oft erhebliche Rechenressourcen erforderte.

Bildzusammenfügung und Erstellung von Panoramabildern#

Mit SIFT lassen sich auch Panoramabilder erstellen. Dabei handelt es sich um breite Fotos, die aus mehreren zusammengefügten Bildern bestehen. SIFT findet markante Schlüsselpunkte in den überlappenden Bereichen verschiedener Bilder und gleicht sie miteinander ab. Diese Zuordnungen dienen als Ankerpunkte und geben beim Zusammenfügen vor, wie die Fotos ausgerichtet werden sollen.

Sobald der Abgleich abgeschlossen ist, können Zusammenfügungsalgorithmen die korrekte Ausrichtung berechnen. Dazu verwenden sie häufig geometrische Transformationen, die ein Bild auf ein anderes abbilden. Anschließend werden die Bilder so überblendet, dass die Übergänge verschwinden. Das Ergebnis ist ein nahtloses Panorama, das wie ein einziges breites Foto aussieht, obwohl es aus mehreren Aufnahmen erstellt wurde.

3D-Rekonstruktion und Robotik#

Eine weitere interessante Anwendung von SIFT ist die 3D-Rekonstruktion. Dabei werden mehrere aus verschiedenen Blickwinkeln aufgenommene 2D-Fotos kombiniert, um ein dreidimensionales Modell zu erstellen. SIFT findet und ordnet dazu dieselben Punkte in den verschiedenen Bildern einander zu.

Sobald die Punkte zugeordnet sind, lassen sich ihre 3D-Positionen mithilfe der Triangulation schätzen. Dieses Verfahren berechnet die Tiefe aus verschiedenen Blickwinkeln. Es ist Teil der Bewegungsrekonstruktion (structure from motion, SfM), einer Technik, bei der mehrere überlappende Bilder verwendet werden, um die 3D-Form einer Szene sowie die Positionen der Kameras zu schätzen, mit denen die Fotos aufgenommen wurden.

Das Ergebnis ist in der Regel eine 3D-Punktwolke, also eine Sammlung von Punkten im Raum, die die Konturen eines Objekts oder einer Umgebung darstellt. SIFT gehörte zu den ersten Werkzeugen, mit denen die Bewegungsrekonstruktion praktisch umsetzbar wurde. Obwohl neuere Techniken heute schneller und verbreiteter sind, wird SIFT weiterhin eingesetzt, wenn Genauigkeit wichtiger ist als Geschwindigkeit.

SIFT wurde auch in der Robotik eingesetzt, insbesondere bei visuellem SLAM (simultane Lokalisierung und Kartenerstellung). Mit SLAM kann ein Roboter herausfinden, wo er sich befindet, während er gleichzeitig eine Karte seiner Umgebung erstellt.

SIFT-Schlüsselpunkte dienen als zuverlässige Orientierungspunkte, die ein Roboter über mehrere Einzelbilder hinweg wiedererkennen kann, selbst wenn sich die Beleuchtung oder der Blickwinkel ändern. Indem der Roboter diese Orientierungspunkte verfolgt, kann er seine Position schätzen und seine Karte fortlaufend aktualisieren. Obwohl heute in der Robotik häufiger schnellere Merkmalsdetektoren eingesetzt werden, spielte SIFT eine wichtige Rolle in frühen SLAM-Systemen und ist nach wie vor entscheidend, wenn Robustheit wichtiger ist als Geschwindigkeit.

Vorteile und wichtige Aspekte von SIFT#

Obwohl der SIFT-Algorithmus in der Bildverarbeitung weit verbreitet ist und als zuverlässiges Verfahren gilt, bringt er auch Kompromisse mit sich. Deshalb ist es wichtig, seine Vor- und Nachteile abzuwägen, bevor du entscheidest, ob er für ein Projekt geeignet ist. Sehen wir uns nun seine wichtigsten Stärken und Einschränkungen an.

Die wichtigsten Vorteile von SIFT#

Hier sind einige Vorteile des SIFT-Algorithmus:

• Skalen- und rotationsinvariant: SIFT liefert skaleninvariante Schlüsselpunkte, die relativ stabil bleiben, wenn Objekte in unterschiedlichen Größen oder Ausrichtungen erscheinen. Das ist ein bedeutender Fortschritt gegenüber früheren Merkmalsdetektoren.
• Mäßige Robustheit gegenüber Beleuchtungs- und Blickwinkeländerungen: SIFT kann Änderungen der Helligkeit oder des Kontrasts sowie kleine Blickwinkelverschiebungen bewältigen, ist unter extremeren Bedingungen jedoch weniger zuverlässig.
• Fähigkeit, in unübersichtlichen oder teilweise verdeckten Szenen zu funktionieren: Da SIFT viele lokale Schlüsselpunkte erkennt, kann der Algorithmus ein Objekt häufig auch dann noch identifizieren, wenn ein Teil davon verdeckt ist oder der Hintergrund komplex ist.

Leistungsaspekte und Alternativen#

Hier sind einige Nachteile des SIFT-Algorithmus:

• Hoher Rechenaufwand: Der mehrstufige Ablauf und die detaillierten Deskriptoren von SIFT machen den Algorithmus langsamer und ressourcenintensiver als moderne Merkmalsdetektoren. Um dies zu verbessern, entwickelten Forschende den SURF-Algorithmus (Speeded-Up Robust Features), der Merkmale mit schnelleren Berechnungen findet und beschreibt. In manchen Fällen ist SURF weniger präzise als SIFT, läuft aber deutlich schneller und eignet sich dadurch besser für zeitkritische Aufgaben.
• Nicht ideal für Echtzeitanwendungen: Wegen seines hohen Rechenaufwands hat SIFT Schwierigkeiten bei Anwendungen, bei denen es auf Geschwindigkeit ankommt, etwa beim Echtzeit-Tracking oder in der mobilen Robotik.
• Begrenzte Vielseitigkeit: Obwohl SIFT in vielen Fällen robust ist, funktioniert der Algorithmus bei extremen Beleuchtungsänderungen, großen Blickwinkelverschiebungen oder stark dynamischen Szenen weniger gut. Neuere Algorithmen oder Verfahren des maschinellen Lernens schneiden dort besser ab.

Wenn du die Vor- und Nachteile von SIFT betrachtest, fällt dir vielleicht auf, dass viele seiner Einschränkungen den Weg für fortschrittlichere Verfahren geebnet haben. Insbesondere entwickelten sich Faltungsneuronale Netze (CNNs) zu einer leistungsstarken Alternative.

Ein CNN ist eine Art Deep-Learning-Modell, das davon inspiriert ist, wie das menschliche Sehsystem funktioniert. Es verarbeitet ein Bild schichtweise: Es beginnt mit einfachen Mustern wie Kanten und Texturen und setzt diese nach und nach zu komplexeren Formen und Objekten zusammen. Anders als die von Hand festgelegten Merkmalsregeln von SIFT lernen CNNs Merkmalsrepräsentationen direkt aus Daten.

Dank dieses datengesteuerten Lernens können CNNs SIFT bei der Deskriptorzuordnung und bei Aufgaben der Klassifizierung übertreffen. CNNs sind außerdem ausdrucksstärker und robuster und passen sich besser an die Variabilität und Komplexität visueller Daten an.

Beispielsweise haben CNN-basierte Modelle bahnbrechende Ergebnisse auf ImageNet erzielt, einem umfangreichen Benchmark-Datensatz mit Millionen beschrifteter Bilder aus Tausenden von Kategorien. ImageNet soll testen, wie gut Algorithmen Objekte erkennen und klassifizieren können, und macht den Unterschied zwischen älteren merkmalsbasierten Verfahren und Deep Learning deutlich.

CNNs übertrafen SIFT schnell, indem sie deutlich reichhaltigere und flexiblere Repräsentationen lernten. Dadurch können sie Objekte bei wechselnder Beleuchtung, aus unterschiedlichen Blickwinkeln und sogar dann erkennen, wenn sie teilweise verdeckt sind – alles Situationen, in denen SIFT häufig Schwierigkeiten hat.

Die wichtigsten Erkenntnisse#

Der Scale Invariant Feature Transform-Algorithmus nimmt einen wichtigen Platz in der Geschichte der Bildverarbeitung ein. Er bot eine zuverlässige Möglichkeit, Merkmale auch in wechselnden Umgebungen zu erkennen, und beeinflusste viele der heute verwendeten Verfahren.

Neuere Techniken sind zwar schneller und effizienter, doch SIFT hat den Grundstein für sie gelegt. SIFT zeigt, wo die heutigen Fortschritte in der Computer Vision ihren Anfang nahmen, und verdeutlicht, wie weit moderne KI-Systeme inzwischen gekommen sind.

Tritt unserer weltweiten Community bei und sieh dir unser GitHub-Repository an, um mehr über Bildverarbeitung zu erfahren. Auf unseren Lösungsseiten findest du innovative Anwendungen wie KI in der Landwirtschaft und Bildverarbeitung im Einzelhandel. Informiere dich über unsere Lizenzoptionen und beginne damit, dein eigenes Bildverarbeitungsmodell zu entwickeln.