2. Dezember 2025
Erfahren Sie, wie selbstüberwachtes Lernen zur Rauschunterdrückung funktioniert, warum Bilder verrauscht sind und welche Methoden und Schritte zur Wiederherstellung klarer visueller Details eingesetzt werden.
Kameras geben die Welt nicht immer so wieder, wie wir sie sehen. Ein Porträt, das bei schlechten Lichtverhältnissen aufgenommen wurde, oder ein Foto eines schnell fahrenden Autos kann körnig, unscharf oder verzerrt aussehen.
Langsame Sensoren, dunkle Umgebungen und Bewegungen können winzige Bildrauschflecken verursachen, die Kanten weichzeichnen und wichtige Details verdecken. Wenn diese Klarheit verloren geht, können selbst fortschrittliche KI- und maschinelle Lernsysteme Schwierigkeiten haben, den Inhalt eines Bildes zu verstehen, da viele intelligente Systeme auf diese feinen Details angewiesen sind, um gut zu funktionieren.
Beispielsweise ist Computer Vision ein Teilgebiet der künstlichen Intelligenz, das Maschinen in die Lage versetzt, Bilder und Videos zu interpretieren. Um dies jedoch präzise zu tun, benötigen Vision-KI-Modelle saubere, hochwertige visuelle Daten, aus denen sie lernen können.
Insbesondere Modelle wie Ultralytics YOLO11 und das in Kürze erscheinende Ultralytics unterstützen Aufgaben wie Objekterkennung, Instanzsegmentierung und Posenschätzung und können für verschiedene Anwendungsfälle individuell trainiert werden. Diese Aufgaben basieren auf eindeutigen visuellen Merkmalen wie Kanten, Texturen, Farben und feinen strukturellen Details.
Wenn diese Merkmale durch Rauschen verdeckt werden, erhält das Modell schwächere Trainingssignale, wodurch es schwieriger wird, genaue Muster zu lernen. Infolgedessen kann bereits geringfügiges Rauschen die Leistung in realen Anwendungen beeinträchtigen.
Zuvor haben wir uns angesehen, wie selbstüberwachtes Lernen Bilder entrauscht. In diesem Artikel werden wir uns näher damit befassen, wie selbstüberwachte Entrauschungstechniken funktionieren und wie sie dabei helfen, aussagekräftige visuelle Informationen wiederherzustellen. Los geht's!
Bevor wir uns damit befassen, wie selbstüberwachtes Lernen bei der Bildrauschunterdrückung eingesetzt wird, wollen wir zunächst noch einmal darauf eingehen, warum Bilder überhaupt verrauscht sind.
Bilder von realen Objekten und Szenen sind selten perfekt. Schlechte Lichtverhältnisse, begrenzte Sensorqualität und schnelle Bewegungen können zu zufälligen Störungen einzelner Pixel im gesamten Bild führen. Diese Störungen auf Pixelebene, die als Rauschen bezeichnet werden, verringern die Gesamtklarheit und erschweren das Erkennen wichtiger Details.
Wenn Rauschen Kanten, Texturen und subtile Muster verdeckt, haben Computer-Vision-Systeme Schwierigkeiten, Objekte zu erkennen oder Szenen genau zu interpretieren. Unterschiedliche Bedingungen erzeugen unterschiedliche Arten von Rauschen, die sich jeweils auf ihre eigene Weise auf das Bild auswirken.
.webp)
Hier sind einige der häufigsten Arten von Bildrauschen:
Was macht selbstüberwachtes Rauschunterdrückung so besonders? Es glänzt in Situationen, in denen saubere, Ground-Truth-Bilder einfach nicht existieren oder zu schwierig zu erfassen sind.
Dies tritt häufig bei Aufnahmen bei schlechten Lichtverhältnissen, bei Aufnahmen mit hoher ISO-Empfindlichkeit, bei medizinischen und wissenschaftlichen Aufnahmen oder in jeder Umgebung auf, in der Bildrauschen unvermeidbar ist und das Sammeln perfekter Referenzdaten unrealistisch ist. Anstatt saubere Beispiele zu benötigen, lernt das Modell direkt aus den bereits vorhandenen verrauschten Bildern und passt sich so an die spezifischen Rauschmuster Ihrer Kamera oder Ihres Sensors an.
Selbstüberwachtes Rauschunterdrückung ist auch eine hervorragende Option, wenn Sie die Leistung von nachgelagerten Computer-Vision-Aufgaben steigern möchten, Ihr Datensatz jedoch voller inkonsistenter oder verrauschter Bilder ist. Durch die Wiederherstellung klarerer Kanten, Texturen und Strukturen helfen diese Methoden Modellen wie YOLO dabei, Szenen zuverlässigerdetect, segment und zu verstehen. Kurz gesagt: Wenn Sie mit verrauschten Daten arbeiten und keine sauberen Trainingsbilder verfügbar sind, bietet selbstüberwachtes Rauschunterdrückung oft die praktischste und effektivste Lösung.
Wie wir bereits gesehen haben, ist selbstüberwachtes Denoising ein auf Deep Learning basierender KI-Ansatz, der es Modellen ermöglicht, direkt aus verrauschten Bildern zu lernen, ohne auf saubere Labels angewiesen zu sein. Es baut auf den Prinzipien des selbstüberwachten Lernens auf, bei dem Modelle ihre eigenen Trainingssignale aus den Daten selbst generieren.
Mit anderen Worten: Ein Modell kann sich selbst trainieren, indem es verrauschte Bilder sowohl als Eingabe als auch als Quelle für sein Lernsignal verwendet. Durch den Vergleich verschiedener beschädigter Versionen desselben Bildes oder die Vorhersage maskierter Pixel lernt das Modell, welche Muster die tatsächliche Struktur darstellen und welche nur Rauschen sind. Durch iterative Optimierung und Mustererkennung verbessert das Netzwerk nach und nach seine Fähigkeit, aussagekräftige Bildinhalte von zufälligen Abweichungen zu unterscheiden.
.webp)
Dies wird durch spezifische Lernstrategien ermöglicht, die das Modell dabei unterstützen, stabile Bildstrukturen von zufälligen Störungen zu unterscheiden. Als Nächstes wollen wir uns die Kerntechniken und Algorithmen, die diesen Prozess optimieren, sowie die einzelnen Ansätze, mit denen Modelle sauberere und zuverlässigere Bilder rekonstruieren können, genauer ansehen.
Viele frühe selbstüberwachte Lernmethoden zur Rauschunterdrückung funktionierten durch den Vergleich zweier verrauschter Versionen desselben Bildes. Da sich das Rauschen bei jeder Aufnahme oder Beschädigung eines Bildes zufällig ändert, die tatsächliche Struktur jedoch gleich bleibt, können diese Unterschiede als Lernsignal für ein Modell verwendet werden.
Diese Ansätze werden gemeinhin als paarweise Bildrauschunterdrückungsmethoden bezeichnet, da sie während des Trainings auf der Verwendung oder Generierung von Paaren rauschbehafteter Bilder beruhen. Der Noise2Noise-Ansatz (vorgeschlagen von Jaakko Lehtinen und seinem Team) trainiert beispielsweise ein Modell anhand von zwei unabhängig voneinander rauschbehafteten Bildern derselben Szene. Da sich die Rauschmuster der beiden Versionen unterscheiden, lernt das Modell, die konsistenten Details zu identifizieren, die das eigentliche zugrunde liegende Bild darstellen.
Mit der Zeit lernt das Netzwerk so, das zufällige Rauschen zu unterdrücken und die tatsächliche Struktur zu bewahren, obwohl es nie ein sauberes Referenzbild sieht. Stellen Sie sich ein einfaches Szenario vor, in dem Sie zwei Fotos von einer schwach beleuchteten Straße bei Nacht aufnehmen.
Jedes Bild enthält dieselben Gebäude, Lichter und Schatten, aber das körnige Rauschen tritt an unterschiedlichen Stellen auf. Durch den Vergleich dieser beiden verrauschten Fotos während des Trainings kann ein selbstüberwachtes Modell lernen, welche visuellen Muster stabil sind und welche durch Rauschen verursacht werden, wodurch es letztendlich seine Fähigkeit verbessert, klarere Bilder zu rekonstruieren.
Während paarweise Methoden auf dem Vergleich zweier unterschiedlich beschädigter Versionen desselben Bildes beruhen, verfolgen Blind-Spot-Methoden einen anderen Ansatz. Sie lassen ein Modell aus einem einzigen verrauschten Bild lernen, indem sie ausgewählte Pixel ausblenden, sodass das Netzwerk deren beschädigte Werte nicht sehen kann.
Das Modell muss dann die versteckten Pixel nur anhand des umgebenden Kontexts vorhersagen. Die Kernidee besteht darin, dass Rauschen zufällig ist, die zugrunde liegende Struktur eines Bildes jedoch nicht.
Indem sie das Modell daran hindern, den verrauschten Wert eines Pixels zu kopieren, regen Blindspot-Methoden das Modell dazu an, anhand stabiler Bildmuster wie benachbarter Kanten, Texturen oder Farbverläufe zu erschließen, wie das Pixel aussehen sollte. Techniken wie Noise2Void (eingeführt von Alexander Krull und seinem Team) und Noise2Self (entwickelt von Joshua Batson und Loïc Royer) setzen dieses Prinzip um, indem sie einzelne Pixel oder kleine Nachbarschaften maskieren und das Modell trainieren, diese zu rekonstruieren.
Fortgeschrittenere Ansätze, darunter Noise2Same und PN2V, verbessern die Robustheit, indem sie konsistente Vorhersagen über mehrere maskierte Versionen hinweg durchsetzen oder indem sie die Rauschverteilung explizit modellieren, um die Unsicherheit abzuschätzen. Da diese Methoden nur ein einziges verrauschtes Bild erfordern, sind sie besonders nützlich in Bereichen, in denen die Aufnahme sauberer oder gepaarter Bilder unpraktisch oder unmöglich ist, wie beispielsweise in der Mikroskopie, Astronomie, biomedizinischen Bildgebung oder Low-Light-Fotografie.
Die meisten paarweisen und blinden selbstüberwachten Rauschunterdrückungsverfahren basieren auf Convolutional Neural Networks (CNNs) oder Rauschunterdrückungsnetzwerken. CNNs eignen sich hervorragend für diese Ansätze, da sie sich auf lokale Muster konzentrieren, nämlich Kanten, Texturen und kleine Details.
Architekturen wie U-Net sind weit verbreitet, da sie feinkörnige Merkmale mit Informationen aus mehreren Maßstäben kombinieren. CNNs arbeiten jedoch hauptsächlich innerhalb begrenzter Nachbarschaften, was bedeutet, dass sie wichtige Beziehungen übersehen können, die sich über größere Bereiche eines Bildes erstrecken.
Um diese Einschränkung zu beheben, wurden modernste, transformatorgestützte Rauschunterdrückungsverfahren eingeführt. Anstatt nur benachbarte Pixel zu betrachten, nutzt das vorgeschlagene Verfahren Aufmerksamkeitsmechanismen, um zu verstehen, wie verschiedene Teile eines Bildes miteinander in Beziehung stehen.
Einige Modelle verwenden vollständige globale Aufmerksamkeit, während andere fensterbasierte oder hierarchische Aufmerksamkeit verwenden, um den Rechenaufwand zu reduzieren. Im Allgemeinen sind sie jedoch darauf ausgelegt, weitreichende Strukturen zu erfassen, die CNNs allein nicht erfassen können. Diese breitere Sichtweise hilft dem Modell dabei, sich wiederholende Texturen, glatte Oberflächen oder große Objekte wiederherzustellen, für die Informationen aus dem gesamten Bild erforderlich sind.
Neben selbstüberwachten Techniken gibt es noch mehrere andere Möglichkeiten, verrauschte Bilder zu bereinigen. Traditionelle Methoden wie bilaterale Filterung, Wavelet-Entrauschen und nichtlokale Mittel verwenden einfache mathematische Regeln, um Rauschen zu glätten und gleichzeitig wichtige Details zu erhalten.
Mittlerweile gibt es auch Deep-Learning-Ansätze, darunter überwachte Modelle, die aus sauberen und verrauschten Bildpaaren lernen, sowie generative gegnerische Netzwerke (GANs), die schärfere, realistischere Ergebnisse liefern. Diese Methoden erfordern jedoch in der Regel eine bessere Bildqualität für das Training.
Da wir gerade verschiedene Techniken durchgesehen haben, fragen Sie sich vielleicht, ob jede davon auf völlig unterschiedliche Weise funktioniert, da sie ihre eigenen Architekturen verwenden. Sie alle folgen jedoch einem ähnlichen Ablauf, der mit der Datenaufbereitung beginnt und mit der Modellbewertung endet.
Als Nächstes wollen wir uns genauer ansehen, wie der gesamte selbstüberwachte Bildentstörungsprozess Schritt für Schritt funktioniert.
Bevor das Modell mit dem Lernen aus verrauschten Bildern beginnen kann, muss zunächst sichergestellt werden, dass alle Bilder einheitlich aussehen. Echte Fotos können sehr unterschiedlich sein.
Einige Bilder können zu hell, andere zu dunkel sein, und bei manchen können die Farben leicht abweichen. Wenn wir diese Abweichungen direkt in ein Modell einspeisen, wird es für dieses schwieriger, sich darauf zu konzentrieren, wie Rauschen aussieht.
Um dies zu bewältigen, wird jedes Bild einer Normalisierung und einer grundlegenden Vorverarbeitung unterzogen. Dazu können die Skalierung der Pixelwerte auf einen Standardbereich, die Korrektur von Intensitätsschwankungen oder das Zuschneiden und die Größenänderung gehören. Entscheidend ist, dass das Modell saubere Daten erhält, die als stabile, vergleichbare Eingaben verwendet werden können.
Nachdem die Bilder normalisiert wurden, besteht der nächste Schritt darin, ein Trainingssignal zu erstellen, mit dem das Modell lernen kann, ohne jemals ein sauberes Bild zu sehen. Selbstüberwachende Rauschunterdrückungsmethoden erreichen dies, indem sie sicherstellen, dass das Modell die empfangenen verrauschten Pixelwerte nicht einfach kopieren kann.
Stattdessen schaffen sie Situationen, in denen sich das Modell auf den Kontext des Bildes stützen muss, der eine stabile Struktur aufweist, anstatt auf das unvorhersehbare Rauschen. Verschiedene Methoden erreichen dies auf leicht unterschiedliche Weise, aber die Kernidee ist dieselbe.
Einige Ansätze verbergen oder maskieren vorübergehend bestimmte Pixel, sodass das Modell diese aus ihren Nachbarn ableiten muss, während andere eine separat verfälschte Version desselben verrauschten Bildes generieren, sodass die Eingabe und das Ziel unabhängiges Rauschen enthalten. In beiden Fällen enthält das Zielbild aussagekräftige strukturelle Informationen, verhindert jedoch, dass das Netzwerk auf den ursprünglichen verrauschten Wert des Pixels zugreifen kann, den es vorhersagen soll.
Da sich das Rauschen zufällig verändert, während das zugrunde liegende Bild konsistent bleibt, fördert diese Konfiguration das Modell auf natürliche Weise dabei, die tatsächliche Struktur zu erlernen und das Rauschen zu ignorieren, das von einer Version zur anderen variiert.
Sobald das Trainingssignal vorhanden ist, kann das Modell durch Modelltraining lernen, wie es aussagekräftige Bildstrukturen von Rauschen trennen kann. Jedes Mal, wenn es ein maskiertes oder erneut beschädigtes Pixel vorhersagt, muss es sich auf den umgebenden Kontext stützen und nicht auf den verrauschten Wert, der ursprünglich an dieser Stelle stand.
Über viele Iterationen oder Epochen hinweg lernt das Netzwerk so, die Arten von Mustern zu erkennen, die über ein Bild hinweg stabil bleiben, wie beispielsweise Kanten, Texturen und glatte Oberflächen. Es lernt auch, die zufälligen Schwankungen zu ignorieren, die für Rauschen charakteristisch sind.
Betrachten wir beispielsweise ein Foto mit schlechten Lichtverhältnissen, auf dem eine Oberfläche extrem körnig erscheint. Obwohl das Rauschen von Pixel zu Pixel variiert, ist die darunterliegende Oberfläche dennoch glatt. Durch wiederholtes Ableiten der versteckten Pixel in solchen Bereichen wird das Modell allmählich besser darin, das stabile Muster unter dem Rauschen zu identifizieren und es sauberer zu rekonstruieren.
Durch den Modelltrainingsprozess lernt das Netzwerk eine interne Darstellung der Bildstruktur. Dadurch kann das Modell auch dann kohärente Details wiederherstellen, wenn die Eingabe stark beschädigt ist.
Nachdem das Modell gelernt hat, versteckte oder erneut beschädigte Pixel vorherzusagen, besteht der letzte Schritt darin, zu bewerten, wie gut es bei vollständigen Bildern funktioniert. Während des Tests erhält das Modell ein gesamtes verrauschtes Bild und erstellt auf der Grundlage dessen, was es über die Bildstruktur gelernt hat, eine vollständig entrauschte Version. Um die Wirksamkeit dieses Prozesses zu messen, wird die Ausgabe mit sauberen Referenzbildern oder Standard-Benchmark-Datensätzen verglichen.
Zwei häufig verwendete Metriken sind PSNR (Peak Signal-to-Noise Ratio), die misst, wie nah die Rekonstruktion an der sauberen Grundwahrheit liegt, und SSIM (Structural Similarity Index), die bewertet, wie gut wichtige Merkmale wie Kanten und Texturen erhalten bleiben. Höhere Werte weisen im Allgemeinen auf eine genauere und visuell zuverlässigere Rauschunterdrückung hin.
Die Forschung zum selbstüberwachten Rauschunterdrückung, die unter anderem in IEEE-Zeitschriften und auf CVF-Konferenzen wie CVPR, ICCV und ECCV veröffentlicht und auf arXiv weit verbreitet ist, stützt sich häufig auf eine Mischung aus synthetischen und realen Datensätzen, um die Modellleistung von Deep-Learning-Methoden sowohl unter kontrollierten als auch unter praktischen Bedingungen zu bewerten. Einerseits beginnen synthetische Datensätze mit sauberen Bildern, denen künstliches Rauschen hinzugefügt wird, wodurch sich Methoden anhand von Metriken wie PSNR und SSIM leicht vergleichen lassen.
Hier sind einige beliebte Datensätze, die häufig mit synthetischem Rauschen für Benchmarkingzwecke verwendet werden:
Reale, verrauschte Datensätze enthalten hingegen Bilder, die direkt von Kamerasensoren unter schlechten Lichtverhältnissen, hohen ISO-Werten oder anderen schwierigen Bedingungen aufgenommen wurden. Diese Datensätze testen, ob ein Modell mit komplexem, nicht-gaußschen Rauschen umgehen kann, das sich nicht einfach simulieren lässt.
Hier sind einige beliebte Datensätze aus der Praxis, die verrauscht sind:
.webp)
Hier sind einige Faktoren und Einschränkungen, die Sie berücksichtigen sollten, wenn Sie ein Deep-Learning-basiertes, selbstüberwachtes Rauschunterdrückungsmodell trainieren möchten:
Selbstüberwachtes Rauschunterdrückungsverfahren bietet KI-Enthusiasten eine praktische Möglichkeit, Bilder nur mit den bereits vorhandenen verrauschten Daten zu bereinigen. Durch das Erlernen der Erkennung der tatsächlichen Struktur unter dem Rauschen können diese Methoden wichtige visuelle Details wiederherstellen. Mit der kontinuierlichen Verbesserung der Rauschunterdrückungstechnologie wird wahrscheinlich eine Vielzahl von Computer-Vision-Aufgaben im Alltag zuverlässiger werden.
Werden Sie Teil unserer wachsenden Community! Tauchen Sie ein in unser GitHub-Repository, um mehr über KI zu erfahren. Wenn Sie Lösungen für Computer Vision entwickeln möchten, informieren Sie sich über unsere Lizenzoptionen. Entdecken Sie die Vorteile von Computer Vision im Einzelhandel und sehen Sie, wie KI in der Fertigung einen Unterschied macht!
