Was ist Bildabgleich in Vision AI? Eine kurze Einführung

Wenn du zwei Bilder desselben Objekts betrachtest, etwa ein Gemälde und ein Foto eines Autos, erkennst du leicht, was sie gemeinsam haben. Für Maschinen ist das jedoch nicht so einfach.

Für solche Vergleiche nutzen Maschinen Computer Vision, ein Teilgebiet der künstlichen Intelligenz (AI), das ihnen hilft, visuelle Informationen zu interpretieren und zu verstehen. Computer Vision ermöglicht es Systemen, Objekte zu erkennen, Szenen zu verstehen und Muster aus Bildern oder Videos zu extrahieren.

Manche visuellen Aufgaben gehen über die Analyse eines einzelnen Bildes hinaus. Dabei werden Bilder verglichen, um Ähnlichkeiten zu finden, Unterschiede zu erkennen oder Veränderungen im Zeitverlauf zu verfolgen.

Vision-KI umfasst eine Vielzahl von Verfahren. Eine wichtige Fähigkeit ist der Bildabgleich: Dabei werden Ähnlichkeiten zwischen Bildern erkannt, selbst wenn sich Beleuchtung, Blickwinkel oder Hintergründe unterscheiden. Dieses Verfahren lässt sich in verschiedenen Bereichen einsetzen, darunter Robotik, erweiterte Realität und geografische Kartierung.

In diesem Artikel erklären wir, was Bildabgleich ist, welche grundlegenden Techniken es gibt und wo er in der Praxis eingesetzt wird.

Was ist Bildabgleich?#

Mit Bildabgleich kann ein Computersystem feststellen, ob zwei Bilder ähnliche Inhalte zeigen. Menschen gelingt das intuitiv, indem sie Formen, Farben und Muster erkennen.

Computer hingegen arbeiten mit numerischen Daten. Sie untersuchen Bilder Pixel für Pixel, wobei ein Pixel die kleinste Einheit eines digitalen Bildes ist.

Jedes Bild wird als Raster aus Pixeln gespeichert, wobei jeder Pixel üblicherweise Werte für Rot, Grün und Blau (RGB) enthält. Diese Werte können sich ändern, wenn ein Bild gedreht, in der Größe verändert, aus einem anderen Blickwinkel betrachtet oder bei anderen Lichtverhältnissen aufgenommen wird. Aufgrund dieser Abweichungen ist ein pixelweiser Bildvergleich oft unzuverlässig.

Um Vergleiche konsistenter zu gestalten, konzentriert sich der Bildabgleich auf lokale Merkmale wie Ecken, Kanten und strukturierte Bereiche, die auch bei geringfügigen Bildveränderungen meist stabil bleiben. Durch die Erkennung dieser Merkmale oder Schlüsselpunkte in mehreren Bildern kann ein System sie deutlich präziser miteinander vergleichen.

Dieses Verfahren wird häufig für Navigation, Lokalisierung, erweiterte Realität, Kartierung, 3D-Rekonstruktion und visuelle Suche eingesetzt. Wenn Systeme dieselben Punkte in verschiedenen Bildern oder mehreren Einzelbildern erkennen, können sie Bewegungen verfolgen, die Struktur einer Szene verstehen und in dynamischen Umgebungen zuverlässige Entscheidungen treffen.

Abb. 1. Beispiel für den Bildabgleich bei einem Auto, bei dem ähnliche Schlüsselpunkte erkannt werden. (Quelle)

So funktioniert der Bildabgleich#

Der Bildabgleich umfasst mehrere wichtige Schritte, mit denen Systeme ähnliche Bereiche in Bildern erkennen und vergleichen. Jeder Schritt verbessert die Genauigkeit, Konsistenz und Robustheit unter verschiedenen Bedingungen.

Hier erfährst du Schritt für Schritt, wie der Bildabgleich funktioniert:

• Merkmalserkennung: Das System identifiziert zunächst markante Schlüsselpunkte in einem Bild, die auch bei veränderter Beleuchtung, Skalierung oder Blickrichtung erkennbar bleiben. Diese Schlüsselpunkte kennzeichnen visuell hervorstechende Bereiche wie Ecken, Kanten oder strukturierte Bereiche.
• Merkmalsbeschreibung: Anschließend wird jeder Schlüsselpunkt in einen Deskriptor umgewandelt, einen kompakten Zahlenvektor, der das visuelle Muster um diesen Punkt herum erfasst. Diese Deskriptoren ermöglichen einen zuverlässigen Vergleich von Merkmalen zwischen verschiedenen Bildern.
• Merkmalsabgleich: Die Deskriptoren zweier Bilder werden mithilfe von Abgleichalgorithmen verglichen, die ihre Ähnlichkeit berechnen. Dabei werden passende Schlüsselpunktpaare ermittelt und schwächere oder unzuverlässige Übereinstimmungen herausgefiltert.
• Geometrische Überprüfung: Abschließend prüft das System, ob die abgeglichenen Schlüsselpunkte eine plausible geometrische Beziehung bilden. Mithilfe eines Verfahrens namens RANSAC (Konsensverfahren mit zufälligen Stichproben) entfernt es fehlerhafte Übereinstimmungen, sogenannte Ausreißer, sodass nur zuverlässige Punktpaare erhalten bleiben. Sobald die passenden Punkte ermittelt wurden, schätzt das System die Transformation, die die beiden Bilder am besten zueinander in Beziehung setzt. Dabei handelt es sich häufig um eine affine Transformation, die Änderungen wie Skalierung, Drehung und Verschiebung ausgleicht, oder um eine Homografie, die auch Perspektivänderungen berücksichtigen kann. Mithilfe dieser Transformationen kann das System die Bilder präzise aufeinander ausrichten, selbst wenn sie aus leicht unterschiedlichen Blickwinkeln aufgenommen wurden.

Abb. 2. (a) Extraktion von Merkmalspunkten und (b) Merkmalsabgleich. (Quelle)

Zentrale Techniken beim Bildabgleich#

Bevor wir uns die praktischen Anwendungen des Bildabgleichs ansehen, werfen wir zunächst einen genaueren Blick auf die Bildabgleichstechniken, die in Computer-Vision-Systemen zum Einsatz kommen.

Bildabgleich mithilfe von Template Matching#

Vorlagenabgleich ist eine der unkompliziertesten Methoden zum Bildabgleich. Er gilt üblicherweise als Bildverarbeitungsverfahren und nicht als moderne Computer-Vision-Methode, da er auf direkten Pixelvergleichen beruht und keine tiefergehenden visuellen Merkmale extrahiert.

Dabei wird ein kleineres Referenzbild, auch Vorlage genannt, in einer größeren Szene gesucht. Ein Algorithmus verschiebt die Vorlage über das Hauptbild und berechnet an jeder Position einen Ähnlichkeitswert, der angibt, wie gut die beiden Bereiche übereinstimmen. Der Bereich mit dem höchsten Wert gilt als bester Treffer und zeigt an, wo das Objekt in der Szene wahrscheinlich zu finden ist.

Abb. 3. Ein Blick auf die Verwendung von Template Matching. (Quelle)

Diese Technik funktioniert gut, wenn Maßstab, Drehung und Beleuchtung des Objekts gleich bleiben. Daher eignet sie sich für kontrollierte Umgebungen oder als Grundlage für Vergleiche. Ihre Leistung lässt jedoch nach, wenn das Objekt anders aussieht als die Vorlage, etwa wenn sich seine Größe ändert, es gedreht oder teilweise verdeckt wird oder vor einem verrauschten beziehungsweise komplexen Hintergrund erscheint.

Klassische merkmalsbasierte Techniken für den Bildabgleich#

Bevor Deep Learning weit verbreitet eingesetzt wurde, stützte sich der Bildabgleich hauptsächlich auf klassische Computer-Vision-Algorithmen, die markante Schlüsselpunkte in einem Bild erkannten. Statt jedes Pixel zu vergleichen, analysieren diese Verfahren Bildgradienten, also Intensitätsänderungen, um auffällige Ecken, Kanten und strukturierte Bereiche hervorzuheben.

Jeder erkannte Schlüsselpunkt wird anschließend durch eine kompakte numerische Zusammenfassung dargestellt, die als Deskriptor bezeichnet wird. Beim Vergleich zweier Bilder wertet ein Abgleicher diese Deskriptoren aus, um die ähnlichsten Paare zu finden.

Ein hoher Ähnlichkeitswert deutet in der Regel darauf hin, dass derselbe physische Punkt in beiden Bildern vorkommt. Abgleicher verwenden außerdem bestimmte Distanzmaße oder Bewertungsregeln, um zu beurteilen, wie genau die Merkmale übereinstimmen und so die Zuverlässigkeit insgesamt zu verbessern.

Hier sind einige wichtige klassische Computer-Vision-Algorithmen für den Bildabgleich:

• SIFT (skaleninvariante Merkmalstransformation): Der Algorithmus erkennt Schlüsselpunkte, indem er Bildintensitätsgradienten analysiert. Dadurch bleiben die Schlüsselpunkte erkennbar, wenn ein Bild vergrößert, verkleinert oder gedreht wird.
• SURF (beschleunigte robuste Merkmale): Dieser Algorithmus ähnelt SIFT, ist jedoch auf Geschwindigkeit optimiert. Er verwendet schnelle Näherungsverfahren für gradientenbasierte Operationen und eignet sich daher für Anwendungen, die kurze Reaktionszeiten erfordern.
• ORB (orientiertes FAST und gedrehtes BRIEF): ORB kombiniert zwei Algorithmen namens FAST und BRIEF. FAST findet schnell eckenähnliche Punkte in einem Bild, während BRIEF eine kompakte Beschreibung jedes Punkts erstellt, damit die Punkte über mehrere Bilder hinweg abgeglichen werden können. ORB erweitert beide Schritte außerdem um die Berücksichtigung von Drehungen und ist dadurch schnell und zuverlässig.

Abb. 4. SURF-Merkmalspunkte, die aus zwei Bildern extrahiert und zwischen ihnen abgeglichen wurden. (Quelle)

Deep-Learning-Techniken für den Bildabgleich#

Im Gegensatz zu klassischen Verfahren, die auf festen Regeln beruhen, lernt Deep Learning automatisch Merkmale aus großen Datensätzen. Diese bestehen aus visuellen Daten, aus denen KI-Modelle Muster lernen. Solche Modelle laufen typischerweise auf GPUs (Grafikprozessoren), die die hohe Rechenleistung bereitstellen, die zum Verarbeiten großer Bildstapel und zum effizienten Trainieren komplexer neuronaler Netze nötig ist.

Dadurch können KI-Modelle mit Veränderungen in der Praxis umgehen, etwa bei Beleuchtung, Kamerawinkeln und Verdeckungen. Einige Modelle fassen außerdem alle Schritte zu einem einzigen Arbeitsablauf zusammen und erzielen so auch unter schwierigen Bedingungen robuste Ergebnisse.

Hier sind einige Deep-Learning-Ansätze zur Extraktion und zum Abgleich von Bildmerkmalen:

• Merkmalsextraktion mit CNNs: Diese Modelle lernen automatisch wichtige visuelle Muster aus großen Datensätzen. Sie erkennen Merkmale, die sich wahrscheinlich nicht verändern, und eignen sich daher zuverlässig zum Abgleich von Objekten in unterschiedlichen Szenen.
• Abgleich auf Basis von Einbettungen: Statt Pixel direkt miteinander zu vergleichen, wandelt diese Methode Bilder in kompakte numerische Darstellungen um, die als Einbettungen bezeichnet werden. Anschließend vergleicht der Abgleich diese Einbettungen, um ähnliche Bilder zu finden. Modelle wie FaceNet, das Einbettungen zur Erkennung und zum Vergleich von Gesichtern erzeugt, und CLIP, das Bilder und Text für Aufgaben wie die Bildersuche und den semantischen Abgleich in einen gemeinsamen Raum abbildet, folgen diesem Ansatz.
• Durchgängige Abgleich-Pipelines: Moderne Deep-Learning-Systeme kombinieren häufig Schlüsselpunkterkennung, Beschreibung und Abgleich zu einem einheitlichen Arbeitsablauf. Modelle wie SuperPoint und D2-Net lernen sowohl Schlüsselpunkte als auch Deskriptoren direkt aus CNN-Merkmalskarten, während SuperGlue als erlernter Abgleicher diese Deskriptoren zuverlässiger als herkömmliche Methoden einander zuordnet. Zusammen bilden diese Komponenten eine durchgängige Pipeline, die unter schwierigen Bedingungen präziser und robuster ist als klassische merkmalsbasierte Ansätze.
• Abgleich mit Transformern: Diese Methode nutzt Aufmerksamkeitsmechanismen, um zusammengehörige Bereiche in zwei Bildern miteinander zu verknüpfen. Dadurch kann sie Bildausschnitte auch bei starken Veränderungen des Blickwinkels, der Beleuchtung oder der Textur einander zuordnen. Modelle wie LoFTR (lokaler Merkmalstransformer) erreichen eine deutlich höhere Genauigkeit, weil das globale rezeptive Feld des Transformers einen zuverlässigen Abgleich in texturarmen, unscharfen oder sich wiederholenden Bereichen ermöglicht, in denen herkömmliche Detektoren versagen. LoFTR erzeugt halb dichte, zuverlässige Zuordnungen und übertrifft frühere Spitzenverfahren bei Innen- und Außenbereichs-Benchmarks mit großem Abstand.
• Effizienzorientierte Modelle: Neuere Bildabgleichsmodelle sollen hohe Genauigkeit bei höherer Geschwindigkeit bieten. Modelle wie LightGlue sind für den effizienten Einsatz auf Geräten mit begrenzter Rechenleistung konzipiert und liefern dabei weiterhin eine gute Abgleichqualität.

Praktische Anwendungen des Bildabgleichs#

Nachdem wir nun besser verstehen, wie der Bildabgleich funktioniert, sehen wir uns einige praktische Anwendungen an, bei denen er eine wichtige Rolle spielt.

Intelligentere Robotik durch Bildabgleich#

Roboter arbeiten oft in belebten und sich verändernden Umgebungen. Dort müssen sie erkennen, welche Objekte vorhanden sind und wie diese angeordnet sind. Der Bildabgleich kann Robotern helfen, Objekte zu verstehen, indem er sie mit gespeicherten Bildern oder Referenzbildern vergleicht. So können Roboter Objekte leichter erkennen, ihre Bewegung verfolgen und sich auch bei veränderter Beleuchtung oder anderen Kamerawinkeln anpassen.

In einem Lager kann beispielsweise ein robotergestütztes Kommissioniersystem mithilfe des Bildabgleichs verschiedene Artikel identifizieren und handhaben. Der Roboter greift zunächst ein Objekt und vergleicht dann dessen Bild mit Referenzbildern, um es zu identifizieren.

Abb. 5. Ein Roboter erkennt und greift Objekte, indem er sie mit Referenzbildern abgleicht. (Quelle)

Sobald der Treffer gefunden ist, weiß der Roboter, wie er das Objekt richtig sortieren oder platzieren muss. Mit diesem Ansatz können Roboter sowohl bekannte als auch neue Objekte erkennen, ohne das gesamte System neu zu trainieren. Außerdem können sie so bessere Entscheidungen in Echtzeit treffen, etwa beim Organisieren von Regalen, beim Zusammenbauen von Teilen oder beim Umordnen von Gegenständen.

Verbesserte 3D-Rekonstruktion durch besseren Bildabgleich#

In Bereichen wie der Kartierung mit Drohnen, der virtuellen Realität und der Gebäudeinspektion müssen Systeme häufig aus mehreren 2D-Bildern ein 3D-Modell rekonstruieren. Dazu nutzen sie den Bildabgleich, um gemeinsame Schlüsselpunkte wie Ecken oder strukturierte Bereiche zu erkennen, die in mehreren Bildern vorkommen.

Diese gemeinsamen Punkte helfen dem System zu verstehen, wie die Bilder im 3D-Raum zueinander in Beziehung stehen. Dieses Konzept ist eng mit Structure from Motion (SfM) verwandt, einem Verfahren, das 3D-Strukturen erstellt, indem es Schlüsselpunkte in Bildern aus unterschiedlichen Blickwinkeln erkennt und abgleicht.

Ist der Abgleich nicht genau, kann das resultierende 3D-Modell verzerrt oder unvollständig wirken. Deshalb arbeiten Forschende daran, die Zuverlässigkeit des Bildabgleichs für die 3D-Rekonstruktion zu verbessern. Jüngste Fortschritte zeigen vielversprechende Ergebnisse.

Ein interessantes Beispiel ist HashMatch, ein schnellerer und robusterer Algorithmus für den Bildabgleich. HashMatch wandelt Bilddetails in kompakte Muster, sogenannte Hash-Codes, um. So lassen sich korrekte Zuordnungen leichter erkennen und Ausreißer entfernen, selbst wenn sich Beleuchtung oder Blickwinkel unterscheiden.

Bei Tests mit umfangreichen Datensätzen erzeugte HashMatch sauberere und realistischere 3D-Rekonstruktionsmodelle mit weniger Ausrichtungsfehlern. Das macht den Algorithmus besonders nützlich für Anwendungen wie die Kartierung mit Drohnen, AR-Systeme und die Erhaltung des kulturellen Erbes, bei denen Präzision entscheidend ist.

Die Rolle des Bildabgleichs in der erweiterten Realität#

Bei erweiterter Realität (AR) ist es oft schwierig, virtuelle Objekte an der realen Welt auszurichten. Außenbereiche können sich durch Umgebungsbedingungen wie Sonnenlicht und Wetter ständig verändern. Schon kleine Unterschiede in der realen Welt können virtuelle Elemente instabil oder leicht verschoben erscheinen lassen.

Um dieses Problem zu lösen, nutzen AR-Systeme den Bildabgleich, um ihre Umgebung zu interpretieren. Indem sie aktuelle Kamerabilder mit gespeicherten Referenzbildern vergleichen, können sie erkennen, wo sich der Nutzer befindet und wie sich die Szene verändert hat.

Abb. 6. Abgeglichene Merkmalspunkte in zwei Bildern. (Quelle: theijes.com)

In einer Studie zu militärisch geprägtem AR-Training im Freien mit XR-Brillen (Brillen für erweiterte Realität) nutzten Forschende beispielsweise SIFT und andere merkmalsbasierte Verfahren, um visuelle Details in realen Bildern und Referenzbildern abzugleichen. Dank der präzisen Zuordnungen blieben die virtuellen Elemente korrekt an der realen Welt ausgerichtet, selbst wenn sich die Nutzer schnell bewegten oder sich die Beleuchtung änderte.

Die wichtigsten Erkenntnisse#

Der Bildabgleich ist eine zentrale Komponente der Computer Vision. Er ermöglicht Systemen zu verstehen, wie verschiedene Bilder zueinander in Beziehung stehen oder wie sich eine Szene im Laufe der Zeit verändert. Er spielt eine entscheidende Rolle in der Robotik, der erweiterten Realität, der 3D-Rekonstruktion, der autonomen Navigation und vielen weiteren praktischen Anwendungen, bei denen Präzision und Stabilität unerlässlich sind.

Dank fortschrittlicher KI-Modelle wie SuperPoint und LoFTR sind heutige Systeme wesentlich robuster als frühere Verfahren. Mit den Fortschritten bei maschinellem Lernen, spezialisierten Bildverarbeitungsmodulen, neuronalen Netzen und Datensätzen wird der Bildabgleich voraussichtlich schneller, genauer und anpassungsfähiger werden.

Werde Teil unserer wachsenden Community und entdecke unser GitHub-Repository mit praxisnahen KI-Ressourcen. Wenn du heute Anwendungen mit visueller KI entwickeln möchtest, informiere dich über unsere Lizenzoptionen. Auf unseren Lösungsseiten erfährst du, wie KI in der Landwirtschaft die Landwirtschaft verändert und wie visuelle KI im Gesundheitswesen die Zukunft mitgestaltet.