Was ist Bildabgleich in der Computer Vision? Eine kurze Einführung

Wenn du zwei Bilder desselben Objekts betrachtest, etwa ein Gemälde und ein Foto eines Autos, erkennst du leicht, was sie gemeinsam haben. Für Maschinen ist das jedoch nicht so einfach.

Für solche Vergleiche nutzen Maschinen Computer Vision, einen Teilbereich der künstlichen Intelligenz (AI), der ihnen hilft, visuelle Informationen zu interpretieren und zu verstehen. Computer Vision ermöglicht es Systemen, Objekte zu erkennen, Szenen zu verstehen und Muster aus Bildern oder Videos zu extrahieren.

Bestimmte visuelle Aufgaben gehen insbesondere über die Analyse eines einzelnen Bildes hinaus. Dabei werden Bilder verglichen, um Ähnlichkeiten zu finden, Unterschiede zu erkennen oder Veränderungen im Zeitverlauf zu verfolgen.

Visuelle KI umfasst zahlreiche Verfahren. Eine wichtige Fähigkeit ist der Bildvergleich, bei dem Ähnlichkeiten zwischen Bildern erkannt werden, selbst wenn sich Beleuchtung, Blickwinkel oder Hintergründe unterscheiden. Diese Technik kann in verschiedenen Anwendungsbereichen eingesetzt werden, darunter Robotik, erweiterte Realität und Geokartierung.

In diesem Artikel erfährst du, was Bildvergleich ist, welche grundlegenden Verfahren es gibt und wie er in der Praxis eingesetzt wird. Legen wir los!

Was ist Bildvergleich?#

Bildvergleich ermöglicht es einem Computersystem zu erkennen, ob zwei Bilder ähnliche Inhalte zeigen. Menschen können das intuitiv tun, indem sie Formen, Farben und Muster wahrnehmen.

Computer hingegen arbeiten mit numerischen Daten. Sie analysieren Bilder, indem sie jedes Pixel untersuchen, also die kleinste Einheit eines digitalen Bildes.

Jedes Bild wird als Raster aus Pixeln gespeichert, wobei jedes Pixel typischerweise Werte für Rot, Grün und Blau (RGB) enthält. Diese Werte können sich ändern, wenn ein Bild gedreht oder skaliert, aus einem anderen Blickwinkel betrachtet oder bei einer anderen Beleuchtung aufgenommen wird. Aufgrund dieser Abweichungen ist ein Vergleich der Bilder Pixel für Pixel oft unzuverlässig.

Damit Vergleiche konsistenter werden, konzentriert sich der Bildvergleich auf lokale Merkmale, etwa Ecken, Kanten und strukturierte Bereiche, die auch bei geringfügigen Bildänderungen meist stabil bleiben. Indem ein System diese Merkmale oder Schlüsselpunkte in mehreren Bildern erkennt, kann es sie wesentlich genauer vergleichen.

Dieses Verfahren wird häufig für Anwendungen wie Navigation, Lokalisierung, erweiterte Realität, Kartierung, 3D-Rekonstruktion und visuelle Suche eingesetzt. Wenn Systeme dieselben Punkte in unterschiedlichen Bildern oder mehreren Einzelbildern erkennen, können sie Bewegungen verfolgen, die Struktur einer Szene verstehen und in dynamischen Umgebungen zuverlässige Entscheidungen treffen.

Abb. 1. Beispiel für den Bildvergleich eines Autos mit identifizierten ähnlichen Schlüsselpunkten. (Quelle)

So funktioniert der Bildvergleich#

Der Bildvergleich umfasst mehrere wichtige Schritte, mit denen Systeme ähnliche Bereiche in Bildern erkennen und vergleichen. Jeder Schritt verbessert die Genauigkeit, Konsistenz und Robustheit unter unterschiedlichen Bedingungen.

Hier siehst du Schritt für Schritt, wie der Bildvergleich funktioniert:

• Merkmalserkennung: Zunächst identifiziert das System markante Schlüsselpunkte in einem Bild, die auch bei Änderungen der Beleuchtung, des Maßstabs oder des Blickwinkels an derselben Stelle bleiben. Diese Punkte kennzeichnen Bereiche wie Ecken, Kanten oder strukturierte Regionen, die visuell hervorstechen.
• Merkmalsbeschreibung: Jeder Schlüsselpunkt wird anschließend in einen Deskriptor umgewandelt, also einen kompakten numerischen Vektor, der das visuelle Muster um diesen Punkt herum erfasst. Diese Deskriptoren ermöglichen einen zuverlässigen Vergleich von Merkmalen zwischen verschiedenen Bildern.
• Merkmalsvergleich: Die Deskriptoren aus zwei Bildern werden mithilfe von Vergleichsalgorithmen gegenübergestellt, die ihre Ähnlichkeit berechnen. In diesem Schritt werden Schlüsselpunkte einander zugeordnet, die vermutlich korrespondieren, während schwächere oder unzuverlässige Übereinstimmungen herausgefiltert werden.
• Geometrische Überprüfung: Abschließend prüft das System, ob die korrespondierenden Schlüsselpunkte eine realistische geometrische Beziehung bilden. Mithilfe eines als RANSAC (Konsens mit zufälligen Stichproben) bekannten Verfahrens entfernt es falsche Übereinstimmungen, sogenannte Ausreißer, sodass nur zuverlässige Punktepaarungen erhalten bleiben. Sobald die guten Übereinstimmungen erkannt sind, schätzt das System die Transformation, die die beiden Bilder am besten zueinander in Beziehung setzt. Dabei handelt es sich häufig um eine affine Transformation, die Änderungen wie Skalierung, Drehung und Verschiebung ausgleicht, oder um eine Homografie, die zusätzlich perspektivische Änderungen verarbeiten kann. Mit diesen Transformationen kann das System die Bilder präzise ausrichten, selbst wenn sie aus leicht unterschiedlichen Blickwinkeln aufgenommen wurden.

Abb. 2. (a) Extraktion von Merkmalspunkten und (b) Merkmalsvergleich. (Quelle)

Grundlegende Verfahren des Bildvergleichs#

Bevor wir uns die praktischen Anwendungen des Bildvergleichs ansehen, betrachten wir zunächst die in Computer-Vision-Systemen eingesetzten Verfahren etwas genauer.

Bildvergleich durch Vorlagenabgleich#

Der Vorlagenabgleich ist eine der einfachsten Methoden zum Bildvergleich. Er gilt im Allgemeinen eher als Bildverarbeitungsverfahren denn als modernes Computer-Vision-Verfahren, da er auf direkten Pixelvergleichen beruht und keine tieferliegenden visuellen Merkmale extrahiert.

Er wird verwendet, um ein kleineres Referenzbild, also eine Vorlage, in einer größeren Szene zu lokalisieren. Ein Algorithmus verschiebt die Vorlage über das Hauptbild und berechnet an jeder Position einen Ähnlichkeitswert, um zu messen, wie gut die beiden Bereiche übereinstimmen. Der Bereich mit dem höchsten Wert gilt als beste Übereinstimmung und zeigt an, wo das Objekt in der Szene am wahrscheinlichsten vorkommt.

Abb. 3. Einblick in die Verwendung des Vorlagenabgleichs. (Quelle)

Diese Technik funktioniert gut, wenn Maßstab, Drehung und Beleuchtung des Objekts gleich bleiben, und eignet sich daher für kontrollierte Umgebungen oder grundlegende Vergleichstests. Ihre Leistung nimmt jedoch ab, wenn das Objekt anders als die Vorlage aussieht, etwa weil sich seine Größe ändert, es gedreht oder teilweise verdeckt wird oder vor einem verrauschten beziehungsweise komplexen Hintergrund erscheint.

Klassische merkmalsbasierte Verfahren für den Bildvergleich#

Bevor sich Deep Learning weit verbreitete, beruhte der Bildvergleich meist auf klassischen Computer-Vision-Algorithmen, die markante Schlüsselpunkte in einem Bild erkannten. Statt jedes Pixel zu vergleichen, analysieren diese Verfahren Bildgradienten, also Änderungen der Intensität, um hervorstechende Ecken, Kanten und strukturierte Bereiche sichtbar zu machen.

Jeder erkannte Schlüsselpunkt wird anschließend durch eine kompakte numerische Zusammenfassung dargestellt, die als Deskriptor bezeichnet wird. Beim Vergleich zweier Bilder bewertet ein Vergleichsalgorithmus diese Deskriptoren, um die ähnlichsten Paare zu finden.

Ein hoher Ähnlichkeitswert deutet in der Regel darauf hin, dass in beiden Bildern derselbe physische Punkt zu sehen ist. Vergleichsalgorithmen verwenden außerdem bestimmte Distanzmaße oder Bewertungsregeln, um zu beurteilen, wie genau die Merkmale übereinstimmen, und verbessern dadurch die allgemeine Zuverlässigkeit.

Hier sind einige der wichtigsten klassischen Computer-Vision-Algorithmen für den Bildvergleich:

• SIFT (Skaleninvariante Merkmalstransformation): Der Algorithmus identifiziert Schlüsselpunkte durch die Analyse von Bildintensitätsgradienten. Dadurch bleiben sie erkennbar, wenn ein Bild vergrößert, verkleinert oder gedreht wird.

• SURF (Beschleunigte robuste Merkmale): Dieser Algorithmus ähnelt SIFT, ist jedoch auf Geschwindigkeit optimiert. Er verwendet schnelle Näherungen gradientenbasierter Operationen und eignet sich dadurch für Anwendungen, die kurze Reaktionszeiten erfordern.

• ORB (Ausrichtetes FAST und gedrehtes BRIEF): Der Algorithmus kombiniert zwei Verfahren namens FAST und BRIEF. FAST findet schnell eckähnliche Punkte in einem Bild, während BRIEF eine kompakte Beschreibung jedes Punkts erstellt, sodass die Punkte bildübergreifend verglichen werden können. ORB erweitert beide Schritte außerdem um die Berücksichtigung von Drehungen und ist dadurch schnell und zuverlässig.

Abb. 4. Extrahierte und zwischen zwei Bildern verglichene SURF-Merkmalspunkte. (Quelle)

Deep-Learning-basierte Verfahren für den Bildvergleich#

Im Gegensatz zu klassischen Verfahren, die auf festgelegten Regeln beruhen, lernt Deep Learning Merkmale automatisch aus großen Datensätzen. Dabei handelt es sich um Sammlungen visueller Daten, aus denen KI-Modelle Muster lernen. Diese Modelle laufen typischerweise auf GPUs (Grafikprozessoren), die die erforderliche hohe Rechenleistung bereitstellen, um große Bildstapel zu verarbeiten und komplexe neuronale Netze effizient zu trainieren.

Dadurch können KI-Modelle mit Veränderungen in der Praxis umgehen, etwa bei Beleuchtung, Kamerawinkeln und Verdeckungen. Einige Modelle kombinieren außerdem alle Schritte in einem einzigen Arbeitsablauf und ermöglichen so eine robuste Leistung unter anspruchsvollen Bedingungen.

Hier sind einige Deep-Learning-basierte Ansätze zur Extraktion und zum Vergleich von Bildmerkmalen:

• CNN-basierte Merkmalsextraktion: Diese Modelle lernen automatisch wichtige visuelle Muster aus großen Datensätzen. Sie erkennen Merkmale, die sich wahrscheinlich nicht verändern, und eignen sich daher zuverlässig zum Vergleich von Objekten in unterschiedlichen Szenen.

• Embedding-basierter Vergleich: Statt Pixel direkt zu vergleichen, wandelt dieses Verfahren Bilder in kompakte numerische Darstellungen, sogenannte Embeddings, um. Anschließend vergleicht der Vergleichsalgorithmus diese Embeddings, um ähnliche visuelle Inhalte zu finden. Modelle wie FaceNet, das Embeddings zur Erkennung und zum Vergleich von Gesichtern erzeugt, und CLIP, das Bilder und Text für Aufgaben wie Bildsuche und semantischen Vergleich in einen gemeinsamen Raum abbildet, nutzen diesen Ansatz.

• End-to-End-Vergleichspipelines: Moderne Deep-Learning-Systeme kombinieren häufig die Erkennung, Beschreibung und den Vergleich von Schlüsselpunkten in einem einheitlichen Arbeitsablauf. Modelle wie SuperPoint und D2-Net lernen sowohl Schlüsselpunkte als auch Deskriptoren direkt aus CNN-Merkmalskarten, während SuperGlue als gelernter Vergleichsalgorithmus diese Deskriptoren zuverlässiger als traditionelle Verfahren einander zuordnet. Zusammen bilden diese Komponenten eine End-to-End-Pipeline, die unter anspruchsvollen Bedingungen eine höhere Genauigkeit und Robustheit als klassische merkmalsbasierte Ansätze bietet.

• Transformer-basierter Vergleich: Dieses Verfahren nutzt Aufmerksamkeitsmechanismen, um korrespondierende Bereiche in zwei Bildern miteinander zu verknüpfen. Dadurch können Bildbereiche auch bei starken Änderungen des Blickwinkels, der Beleuchtung oder der Textur ausgerichtet werden. Modelle wie LoFTR (lokaler Merkmalstransformator) erreichen eine deutlich höhere Genauigkeit, da das globale rezeptive Feld des Transformer zuverlässige Vergleiche in strukturlosen, unscharfen oder sich wiederholenden Bereichen ermöglicht, in denen traditionelle Detektoren versagen. LoFTR erzeugt halbdichte Übereinstimmungen mit hoher Konfidenz und übertrifft frühere Methoden nach dem Stand der Technik bei Innen- und Außenbereich-Benchmarks deutlich.

• Auf Effizienz ausgerichtete Modelle: Neuere Modelle für den Bildvergleich sollen eine hohe Genauigkeit bei gleichzeitig kürzerer Laufzeit bieten. Modelle wie LightGlue sind für den effizienten Betrieb auf Geräten mit begrenzter Rechenleistung ausgelegt und behalten dabei eine gute Vergleichsqualität bei.

Praktische Anwendungen des Bildvergleichs#

Nachdem wir nun besser verstehen, wie der Bildvergleich funktioniert, sehen wir uns einige praktische Anwendungen an, in denen er eine wichtige Rolle spielt.

Intelligentere Robotik durch Bildvergleich#

Roboter arbeiten häufig in belebten und dynamischen Umgebungen, in denen sie verstehen müssen, welche Objekte vorhanden sind und wie sie angeordnet wurden. Der Bildvergleich kann Robotern helfen, gesehene Objekte zu verstehen, indem sie mit gespeicherten oder Referenzbildern verglichen werden. Dadurch können die Roboter Objekte leichter erkennen, ihre Bewegung verfolgen und sich auch bei wechselnder Beleuchtung oder unterschiedlichen Kamerawinkeln anpassen.

In einem Lager kann beispielsweise ein robotisches System zum Greifen und Platzieren den Bildvergleich nutzen, um verschiedene Artikel zu identifizieren und zu handhaben. Der Roboter greift zunächst ein Objekt und vergleicht anschließend dessen Bild mit Referenzaufnahmen, um es zu identifizieren.

Abb. 5. Ein Roboter erkennt und greift Objekte, indem er sie mit Referenzbildern vergleicht. (Quelle)

Sobald die Übereinstimmung gefunden ist, weiß der Roboter, wie er das Objekt richtig sortieren oder platzieren muss. Mit diesem Ansatz können Roboter sowohl bekannte als auch neue Objekte erkennen, ohne das gesamte System neu zu trainieren. Außerdem können sie bessere Entscheidungen in Echtzeit treffen, etwa beim Organisieren von Regalen, Zusammenbauen von Teilen oder Umordnen von Artikeln.

Verbesserung der 3D-Rekonstruktion durch besseren Bildvergleich#

In Bereichen wie Drohnenkartierung, virtueller Realität und Gebäudeinspektion müssen Systeme häufig aus mehreren 2D-Bildern ein 3D-Modell rekonstruieren. Dafür nutzen sie den Bildvergleich, um gemeinsame Schlüsselpunkte wie Ecken oder strukturierte Bereiche zu identifizieren, die in mehreren Bildern vorkommen.

Diese gemeinsamen Punkte helfen dem System zu verstehen, wie die Bilder im 3D-Raum zueinander in Beziehung stehen. Diese Idee steht in engem Zusammenhang mit Structure from Motion (SfM), einem Verfahren, das 3D-Strukturen erstellt, indem es Schlüsselpunkte in Bildern aus unterschiedlichen Blickwinkeln erkennt und vergleicht.

Wenn der Vergleich nicht genau ist, kann das resultierende 3D-Modell verzerrt oder unvollständig erscheinen. Deshalb arbeiten Forschende daran, die Zuverlässigkeit des Bildvergleichs für die 3D-Rekonstruktion zu verbessern. Neuere Fortschritte haben dabei vielversprechende Ergebnisse gezeigt.

Ein interessantes Beispiel ist HashMatch, ein schnellerer und robusterer Algorithmus für den Bildvergleich. HashMatch wandelt Bilddetails in kompakte Muster, sogenannte Hash-Codes, um. Dadurch lassen sich korrekte Übereinstimmungen leichter erkennen und Ausreißer entfernen, selbst wenn Beleuchtung oder Blickwinkel variieren.

Bei Tests mit groß angelegten Datensätzen erzeugte HashMatch sauberere und realistischere 3D-Rekonstruktionsmodelle mit weniger Ausrichtungsfehlern. Dadurch eignet sich das Verfahren besonders für Anwendungen wie Drohnenkartierung, AR-Systeme und die Erhaltung des kulturellen Erbes, bei denen Präzision entscheidend ist.

Die Rolle des Bildvergleichs in der erweiterten Realität#

Bei erweiterter Realität (AR) ist es häufig eine Herausforderung, virtuelle Objekte an der realen Welt auszurichten. Außenumgebungen können sich abhängig von den Umgebungsbedingungen, etwa Sonnenlicht und Wetter, ständig verändern. Schon geringe Unterschiede in der realen Welt können dazu führen, dass virtuelle Elemente instabil oder leicht verschoben erscheinen.

Um dieses Problem zu lösen, nutzen AR-Systeme den Bildvergleich, um ihre Umgebung zu interpretieren. Durch den Vergleich von Live-Kamerabildern mit gespeicherten Referenzbildern können sie erkennen, wo sich der Benutzer befindet und wie sich die Szene verändert hat.

Abb. 6. Zwischen zwei Bildern verglichene Merkmalspunkte. (Quelle: theijes.com)

In einer Studie zu militärisch ausgerichtetem AR-Außentraining mit XR-Brillen (erweiterte Realität) nutzten Forschende beispielsweise SIFT und andere merkmalsbasierte Verfahren, um visuelle Details zwischen realen Bildern und Referenzbildern zu vergleichen. Präzise Übereinstimmungen hielten die virtuellen Elemente korrekt an der realen Welt ausgerichtet, selbst wenn sich der Benutzer schnell bewegte oder sich die Beleuchtung änderte.

Wichtige Erkenntnisse#

Der Bildvergleich ist eine zentrale Komponente von Computer Vision. Er ermöglicht es Systemen zu verstehen, wie verschiedene Bilder zueinander in Beziehung stehen oder wie sich eine Szene im Zeitverlauf verändert. Er spielt eine entscheidende Rolle in Robotik, erweiterter Realität, 3D-Rekonstruktion, autonomer Navigation und vielen weiteren praktischen Anwendungen, bei denen Präzision und Stabilität unerlässlich sind.

Mit fortschrittlichen KI-Modellen wie SuperPoint und LoFTR werden heutige Systeme deutlich robuster als frühere Verfahren. Da sich Techniken des maschinellen Lernens, spezialisierte Bildverarbeitungsmodule, neuronale Netze und Datensätze weiterentwickeln, wird der Bildvergleich wahrscheinlich schneller, genauer und anpassungsfähiger.

Werde Teil unserer wachsenden Community und besuche unser GitHub-Repository, um praxisnahe Ressourcen für KI zu entdecken. Wenn du heute mit visueller KI entwickeln möchtest, informiere dich über unsere Lizenzoptionen. Erfahre, wie KI in der Landwirtschaft den Ackerbau verändert und wie visuelle KI im Gesundheitswesen durch einen Besuch unserer Lösungsseiten die Zukunft gestaltet.