Selbstüberwachtes Lernen zur Entrauschung: Eine Schritt-für-Schritt-Aufschlüsselung

Kameras erfassen die Welt nicht immer so, wie wir sie sehen. Ein Porträt bei schwachem Licht oder ein Foto eines sich schnell bewegenden Autos kann körnig, unscharf oder verzerrt wirken.

Langsame Sensoren, dunkle Umgebungen und Bewegungen können winzige Rauschpunkte verursachen, die Kanten aufweichen und wichtige Details verbergen. Wenn diese Klarheit verloren geht, haben selbst fortschrittliche KI- und Machine-Learning-Systeme Schwierigkeiten zu verstehen, was ein Bild enthält, da viele intelligente Systeme auf diese feinen Details angewiesen sind, um gut zu funktionieren.

Zum Beispiel ist Computer Vision ein Zweig der künstlichen Intelligenz, der es Maschinen ermöglicht, Bilder und Videos zu interpretieren. Um dies jedoch präzise zu tun, benötigen Vision-KI-Modelle saubere, hochwertige visuelle Daten, von denen sie lernen können.

Insbesondere Modelle wie Ultralytics YOLO11 und das kommende Ultralytics YOLO26 unterstützen Aufgaben wie Objekterkennung, Instanzsegmentierung und Pose-Schätzung und können für verschiedene Anwendungsfälle benutzerdefiniert trainiert werden. Diese Aufgaben beruhen auf klaren visuellen Hinweisen wie Kanten, Texturen, Farben und feinen strukturellen Details.

Wenn Rauschen diese Merkmale verdeckt, erhält das Modell schwächere Trainingssignale, was das Erlernen genauer Muster erschwert. Infolgedessen können selbst kleine Mengen an Rauschen die Leistung in realen Anwendungen verringern.

Zuvor haben wir betrachtet, wie selbstüberwachtes Lernen Bilder entrauscht. In diesem Artikel tauchen wir tiefer in die Funktionsweise selbstüberwachter Denoising-Techniken ein und wie sie dabei helfen, aussagekräftige visuelle Informationen wiederherzustellen. Fangen wir an!

Link to this sectionHäufige Arten von Rauschen in realen Bildern#

Bevor wir untersuchen, wie selbstüberwachtes Lernen bei der Bildentrauschung eingesetzt wird, lassen uns zuerst noch einmal betrachten, warum Bilder überhaupt verrauscht werden.

Bilder von realen Objekten und Szenen sind selten perfekt. Schwache Beleuchtung, begrenzte Sensorqualität und schnelle Bewegungen können zufällige Störungen bei einzelnen Pixeln im gesamten Bild verursachen. Diese Störungen auf Pixelebene, bekannt als Rauschen, verringern die allgemeine Klarheit und machen wichtige Details schwerer erkennbar.

Wenn Rauschen Kanten, Texturen und subtile Muster verbirgt, haben Computer-Vision-Systeme Schwierigkeiten, Objekte zu erkennen oder Szenen präzise zu interpretieren. Unterschiedliche Bedingungen erzeugen verschiedene Arten von Rauschen, von denen jede das Bild auf ihre eigene Weise beeinträchtigt.

Abb. 1. Ein Beispiel dafür, wie Rauschen zu erhöhter Unsicherheit in einem Bild führen kann. (Quelle)

Hier sind einige der häufigsten Arten von Rauschen, die in Bildern vorkommen:

• Gaußsches Rauschen: Diese Art von Rauschen erscheint als weiche, zufällige Körnung, die durch elektronische Sensorstörungen oder thermische Schwankungen verursacht wird. Es folgt einer Gaußschen (Normal-)Verteilung, bei der kleine Pixelschwankungen feine Details verwischen und die allgemeine Schärfe reduzieren.
• Poisson-Rauschen: Auch als Schrotrauschen bezeichnet, tritt diese Art von Rauschen bei schlechten Lichtverhältnissen oder kurzen Belichtungszeiten auf. Seine Varianz nimmt mit der Helligkeit zu, aber das Rauschen ist oft in dunkleren Bereichen stärker bemerkbar, da weniger Photonen erfasst werden, was zu einem niedrigeren Signal-Rausch-Verhältnis führt.
• Salz-und-Pfeffer-Rauschen: Diese Art von Rauschen erscheint als scharfe schwarze oder weiße Pixelspitzen. Es wird typischerweise durch Übertragungsfehler, Bit-Korruption oder fehlerhafte Kamerasensoren verursacht und führt oft zu fehlenden oder korrupten Pixelwerten.
• Speckle-Rauschen: Diese Art von Rauschen erscheint als körnige, punktartige Muster und ist häufig bei medizinischen, Radar- und Ultraschallbildgebungen. Es wird durch Signalstörungen und Streuung verursacht, was den Kontrast reduziert und Kanten schwerer erkennbar macht.

Link to this sectionWann solltest du selbstüberwachtes Denoising verwenden?#

Was macht selbstüberwachtes Denoising so besonders? Es glänzt in Situationen, in denen saubere Ground-Truth-Bilder einfach nicht existieren oder zu schwer zu erfassen sind.

Dies geschieht häufig bei Low-Light-Fotografie, High-ISO-Bildgebung, medizinischer und wissenschaftlicher Bildgebung oder jeder Umgebung, in der Rauschen unvermeidlich ist und das Sammeln perfekter Referenzdaten unrealistisch ist. Anstatt saubere Beispiele zu benötigen, lernt das Modell direkt aus den verrauschten Bildern, die du bereits hast, was es anpassungsfähig an die spezifischen Rauschmuster deiner Kamera oder deines Sensors macht.

Selbstüberwachtes Denoising ist auch eine großartige Option, wenn du die Leistung von nachgelagerten Computer-Vision-Aufgaben steigern möchtest, dein Datensatz jedoch mit inkonsistenten oder verrauschten Bildern gefüllt ist. Durch die Wiederherstellung klarerer Kanten, Texturen und Strukturen helfen diese Methoden Modellen wie YOLO, Szenen zuverlässiger zu erkennen, zu segmentieren und zu verstehen. Kurz gesagt: Wenn du mit verrauschten Daten arbeitest und keine sauberen Trainingsbilder verfügbar sind, bietet selbstüberwachtes Denoising oft die praktischste und effektivste Lösung.

Link to this sectionDie Kerntechniken, die selbstüberwachtes Denoising vorantreiben#

Wie wir bereits gesehen haben, ist selbstüberwachtes Denoising ein auf Deep Learning basierender KI-Ansatz, der es Modellen ermöglicht, direkt aus verrauschten Bildern zu lernen, ohne sich auf saubere Labels zu verlassen. Es baut auf den Prinzipien des selbstüberwachten Lernens auf, bei dem Modelle ihre eigenen Trainingssignale aus den Daten selbst generieren.

Mit anderen Worten: Ein Modell kann sich selbst unterrichten, indem es verrauschte Bilder sowohl als Eingabe als auch als Quelle seines Lernsignals verwendet. Durch den Vergleich verschiedener korrupter Versionen desselben Bildes oder das Vorhersagen maskierter Pixel lernt das Modell, welche Muster echte Strukturen darstellen und welche nur Rauschen sind. Durch iterative Optimierung und Mustererkennung verbessert das Netzwerk allmählich seine Fähigkeit, bedeutungsvolle Bildinhalte von zufälligen Variationen zu unterscheiden.

Abb. 2. Ein Rohbild und ein entrauschtes Bild. (Quelle)

Dies wird durch spezifische Lernstrategien ermöglicht, die das Modell anleiten, stabile Bildstrukturen von zufälligem Rauschen zu trennen. Als Nächstes werfen wir einen genaueren Blick auf die Kerntechniken und Algorithmen, die diesen Prozess rationalisieren, und wie jeder Ansatz Modellen hilft, sauberere, zuverlässigere Bilder zu rekonstruieren.

Link to this sectionPaarweise Methoden zur Bildentrauschung#

Viele frühe selbstüberwachte Lernmethoden zur Entrauschung funktionierten durch den Vergleich zweier verrauschter Versionen desselben Bildes. Da sich Rauschen jedes Mal zufällig ändert, wenn ein Bild aufgenommen oder korrumpiert wird, die eigentliche Struktur jedoch gleich bleibt, können diese Unterschiede als Lernsignal für ein Modell verwendet werden.

Diese Ansätze werden üblicherweise als paarweise Bildentrauschungsmethoden bezeichnet, da sie darauf basieren, während des Trainings Paare verrauschter Bilder zu verwenden oder zu generieren. Der Noise2Noise-Ansatz (vorgeschlagen von Jaakko Lehtinen und seinem Team) trainiert beispielsweise ein Modell unter Verwendung zweier unabhängig verrauschter Bilder derselben Szene. Da sich die Rauschmuster zwischen den beiden Versionen unterscheiden, lernt das Modell, die konsistenten Details zu identifizieren, die das tatsächliche zugrunde liegende Bild darstellen.

Abb. 3. Wie Noise2Noise funktioniert (Quelle)

Im Laufe der Zeit lehrt dies das Netzwerk, das zufällige Rauschen zu unterdrücken und echte Strukturen zu bewahren, obwohl es nie ein sauberes Referenzbild sieht. Stelle dir ein einfaches Szenario vor, in dem du zwei Fotos einer schwach beleuchteten Straße bei Nacht machst.

Jedes Bild enthält dieselben Gebäude, Lichter und Schatten, aber das körnige Rauschen erscheint an verschiedenen Stellen. Durch den Vergleich dieser zwei verrauschten Fotos während des Trainings kann ein selbstüberwachtes Modell lernen, welche visuellen Muster stabil sind und welche durch Rauschen verursacht werden, was letztlich seine Fähigkeit verbessert, sauberere Bilder zu rekonstruieren.

Link to this sectionAuf Blind-Spots basierende selbstüberwachte Lernmethoden zur Entrauschung#

Während paarweise Methoden darauf beruhen, zwei unterschiedlich korrupte Versionen desselben Bildes zu vergleichen, verfolgen Blind-Spot-Methoden einen anderen Ansatz. Sie lassen ein Modell von einem einzelnen verrauschten Bild lernen, indem ausgewählte Pixel versteckt werden, sodass das Netzwerk deren korrupte Werte nicht sehen kann.

Das Modell muss dann die versteckten Pixel nur unter Verwendung des umgebenden Kontextes vorhersagen. Die Grundidee ist, dass Rauschen zufällig ist, die zugrunde liegende Struktur eines Bildes jedoch nicht.

Indem verhindert wird, dass das Modell den verrauschten Wert eines Pixels kopiert, ermutigen Blind-Spot-Methoden es dazu, basierend auf stabilen Bildmustern wie nahegelegenen Kanten, Texturen oder Farbverläufen abzuleiten, was das Pixel sein sollte. Techniken wie Noise2Void (eingeführt von Alexander Krull und seinem Team) und Noise2Self (entwickelt von Joshua Batson und Loïc Royer) setzen dieses Prinzip um, indem sie einzelne Pixel oder kleine Nachbarschaften maskieren und das Modell trainieren, diese zu rekonstruieren.

Fortgeschrittenere Ansätze, darunter Noise2Same und PN2V, verbessern die Robustheit, indem sie konsistente Vorhersagen über mehrere maskierte Versionen hinweg erzwingen oder die Rauschverteilung explizit modellieren, um die Unsicherheit abzuschätzen. Da diese Methoden nur ein einziges verrauschtes Bild erfordern, sind sie besonders nützlich in Bereichen, in denen das Erfassen sauberer oder gepaarter Bilder unpraktisch oder unmöglich ist, wie z. B. in der Mikroskopie, Astronomie, biomedizinischen Bildgebung oder Low-Light-Fotografie.

Link to this sectionTransformer-gestützte Entrauschungsmethoden#

Die meisten paarweisen und Blind-Spot-basierten selbstüberwachten Entrauschungsmethoden stützen sich auf Convolutional Neural Networks (CNNs) oder Entrauschungsnetzwerke. CNNs sind eine großartige Option für diese Ansätze, da sie sich auf lokale Muster konzentrieren, nämlich Kanten, Texturen und kleine Details.

Architekturen wie U-Net werden häufig verwendet, da sie fein granuliert Merkmale mit Informationen auf mehreren Skalen kombinieren. CNNs arbeiten jedoch hauptsächlich innerhalb begrenzter Nachbarschaften, was bedeutet, dass sie wichtige Beziehungen verpassen können, die sich über größere Bereiche eines Bildes erstrecken.

Transformer-gestützte hochmoderne Entrauschungsmethoden wurden eingeführt, um diese Einschränkung anzugehen. Anstatt nur nahegelegene Pixel zu betrachten, nutzt die vorgeschlagene Methode Aufmerksamkeitsmechanismen, um zu verstehen, wie verschiedene Teile eines Bildes miteinander in Beziehung stehen.

Einige Modelle nutzen volle globale Aufmerksamkeit, während andere fensterbasierte oder hierarchische Aufmerksamkeit verwenden, um den Rechenaufwand zu reduzieren, aber im Allgemeinen sind sie darauf ausgelegt, weitreichende Strukturen zu erfassen, die CNNs allein nicht bewältigen können. Diese breitere Sichtweise hilft dem Modell, sich wiederholende Texturen, glatte Oberflächen oder große Objekte wiederherzustellen, die Informationen aus dem gesamten Bild erfordern.

Link to this sectionAndere Methoden zur Bildentrauschung#

Neben selbstüberwachten Techniken gibt es auch mehrere andere Möglichkeiten, verrauschte Bilder zu bereinigen. Herkömmliche Methoden wie bilaterale Filterung, Wavelet-Entrauschung und Non-Local Means verwenden einfache mathematische Regeln, um Rauschen zu glätten und gleichzeitig wichtige Details zu bewahren.

In der Zwischenzeit existieren auch Deep-Learning-Ansätze, einschließlich überwachter Modelle, die aus sauberen/verrauschten Bildpaaren lernen, und generative gegnerische Netzwerke (GANs), die schärfere, realistischere Ergebnisse generieren. Diese Methoden erfordern jedoch normalerweise eine bessere Bildqualität für das Training.

Link to this sectionEin schrittweiser Blick darauf, wie selbstüberwachte Bildentrauschung funktioniert#

Da wir gerade mehrere verschiedene Techniken durchgegangen sind, fragst du dich vielleicht, ob jede auf völlig andere Weise funktioniert, da sie ihre eigenen Architekturen verwenden. Sie folgen jedoch alle einem ähnlichen Ablauf, der mit der Datenaufbereitung beginnt und mit der Modellbewertung endet.

Lass uns als Nächstes einen genaueren Blick darauf werfen, wie der gesamte Prozess der selbstüberwachten Bildentrauschung Schritt für Schritt funktioniert.

Link to this sectionSchritt 1: Vorverarbeitung und Normalisierung#

Bevor das Modell mit dem Lernen aus verrauschten Bildern beginnen kann, besteht der erste Schritt darin, sicherzustellen, dass alle Bilder konsistent aussehen. Echte Fotos können stark variieren.

Einige Bilder sind möglicherweise zu hell, andere zu dunkel, und bei manchen können die Farben leicht abweichen. Wenn wir diese Variationen direkt in ein Modell einspeisen, wird es für das Modell schwieriger, sich darauf zu konzentrieren zu lernen, wie Rauschen aussieht.

Um dies zu handhaben, durchläuft jedes Bild eine Normalisierung und grundlegende Vorverarbeitung. Dies kann das Skalieren von Pixelwerten auf einen Standardbereich, das Korrigieren von Intensitätsschwankungen oder das Zuschneiden und Ändern der Größe beinhalten. Der Schlüssel ist, dass das Modell saubere Daten erhält, die als stabile, vergleichbare Eingaben verwendet werden können.

Link to this sectionSchritt 2: Erstellen eines selbstüberwachten Trainingssignals#

Sobald die Bilder normalisiert wurden, besteht der nächste Schritt darin, ein Trainingssignal zu erstellen, das es dem Modell ermöglicht zu lernen, ohne jemals ein sauberes Bild zu sehen. Selbstüberwachte Entrauschungsmethoden tun dies, indem sie sicherstellen, dass das Modell nicht einfach die empfangenen verrauschten Pixelwerte kopieren kann.

Stattdessen schaffen sie Situationen, in denen das Modell auf den umgebenden Kontext des Bildes angewiesen ist, der eine stabile Struktur enthält, anstatt auf das unvorhersehbare Rauschen. Verschiedene Methoden erreichen dies auf etwas unterschiedliche Weise, aber die Kernidee ist dieselbe.

Einige Ansätze verbergen oder maskieren vorübergehend bestimmte Pixel, sodass das Modell sie aus ihren Nachbarn ableiten muss, während andere eine separat korrumpierte Version desselben verrauschten Bildes generieren, sodass Eingabe und Ziel unabhängiges Rauschen enthalten. In beiden Fällen trägt das Zielbild aussagekräftige strukturelle Informationen, verhindert aber, dass das Netzwerk auf den ursprünglichen verrauschten Wert des Pixels zugreifen kann, das es vorhersagen soll.

Da sich Rauschen zufällig ändert, während das zugrunde liegende Bild konsistent bleibt, ermutigt dieses Setup das Modell natürlich dazu, zu lernen, wie die wahre Struktur aussieht, und das Rauschen zu ignorieren, das von einer Version zur anderen variiert.

Link to this sectionSchritt 3: Erlernen der Entrauschung zur Wiederherstellung der Bildstruktur#

Mit dem vorhandenen Trainingssignal kann das Modell durch das Modelltraining beginnen zu lernen, wie aussagekräftige Bildstrukturen von Rauschen getrennt werden können. Jedes Mal, wenn es ein maskiertes oder erneut korrumpiertes Pixel vorhersagt, muss es sich auf den umgebenden Kontext verlassen anstatt auf den verrauschten Wert, der ursprünglich an dieser Stelle war.

Über viele Iterationen oder Epochen hinweg lehrt dies das Netzwerk, die Arten von Mustern zu erkennen, die über ein Bild hinweg stabil bleiben, wie Kanten, Texturen und glatte Oberflächen. Es lernt auch, die zufälligen Schwankungen zu ignorieren, die Rauschen kennzeichnen.

Betrachte zum Beispiel ein Low-Light-Foto, bei dem eine Oberfläche extrem körnig aussieht. Obwohl das Rauschen von Pixel zu Pixel variiert, ist die zugrunde liegende Oberfläche immer noch glatt. Durch wiederholtes Ableiten der versteckten Pixel in solchen Bereichen wird das Modell allmählich besser darin, das stabile Muster unter dem Rauschen zu identifizieren und es sauberer zu rekonstruieren.

Durch den Prozess des Modelltrainings lernt das Netzwerk eine interne Repräsentation der Bildstruktur. Dies ermöglicht es dem Modell, kohärente Details selbst dann wiederherzustellen, wenn die Eingabe stark korrumpiert ist.

Link to this sectionSchritt 4: Validierung und Ergebnisse der Rauschunterdrückung#

Nachdem das Modell gelernt hat, versteckte oder erneut korrumpierte Pixel vorherzusagen, besteht der letzte Schritt darin, zu bewerten, wie gut es bei vollständigen Bildern abschneidet. Während des Tests erhält das Modell ein komplettes verrauschtes Bild und erzeugt eine vollständige entrauschte Version basierend auf dem, was es über die Bildstruktur gelernt hat. Um zu messen, wie effektiv dieser Prozess ist, wird die Ausgabe mit sauberen Referenzbildern oder Standard-Benchmark-Datensätzen verglichen.

Zwei häufig verwendete Metriken sind PSNR (Peak Signal-to-Noise Ratio), das misst, wie nahe die Rekonstruktion an der sauberen Ground Truth liegt, und SSIM (Structural Similarity Index), das bewertet, wie gut wichtige Merkmale wie Kanten und Texturen bewahrt werden. Höhere Werte weisen im Allgemeinen auf eine genauere und visuell zuverlässigere Entrauschung hin.

Link to this sectionBilddatensätze für Training und Benchmarking#

Die Forschung zum selbstüberwachten Denoising, die unter anderem in IEEE-Journals und auf CVF-Konferenzen wie CVPR, ICCV und ECCV erscheint sowie weit verbreitet auf arXiv zu finden ist, stützt sich oft auf eine Mischung aus synthetischen und realen Datensätzen, um die Modellleistung von Deep-Learning-Methoden unter kontrollierten und praktischen Bedingungen zu bewerten. Einerseits beginnen synthetische Datensätze mit sauberen Bildern und fügen künstliches Rauschen hinzu, was den Vergleich von Methoden mithilfe von Metriken wie PSNR und SSIM erleichtert.

Hier sind einige beliebte Datensätze, die üblicherweise mit synthetischem Rauschen für Benchmarking verwendet werden:

• Kodak24: Dieser Datensatz bietet hochwertige Naturfotografien, die häufig zum visuellen Vergleich von Entrauschungsergebnissen verwendet werden.
• DIV2K: Dieser hochauflösende Datensatz enthält vielfältige, detaillierte Bilder, die verwendet werden, um die Texturtreue und die allgemeine Restaurierungsqualität zu bewerten.

Reale verrauschte Datensätze hingegen enthalten Bilder, die direkt von Kamerasensoren bei schlechtem Licht, hoher ISO oder anderen schwierigen Bedingungen aufgenommen wurden. Diese Datensätze testen, ob ein Modell komplexes, nicht-Gaußsches Rauschen bewältigen kann, das nicht einfach simuliert werden kann.

Hier sind einige beliebte reale verrauschte Datensätze:

• SIDD: Dieser Datensatz bietet reale verrauschte und saubere Bildpaare, die mit Smartphone-Sensoren in verschiedenen Lichtumgebungen aufgenommen wurden.
• DND: Er enthält High-ISO-Fotografien, die realistische Rauschmuster von Sensoren erfassen, die in Verbraucherkameras vorkommen.

Abb. 4. Ein Beispiel aus dem DND-Datensatz. (Quelle)

Link to this sectionFaktoren, die beim Training eines selbstüberwachten Entrauschungsmodells zu berücksichtigen sind#

Hier sind einige Faktoren und Einschränkungen, die du berücksichtigen solltest, wenn du ein auf Deep Learning basierendes selbstüberwachtes Entrauschungsmodell trainieren möchtest:

• Pass die Rauschverteilung an: Die für das Training verwendeten verrauschten Bilder sollten dasselbe Rauschen widerspiegeln, auf das das Modell im realen Einsatz trifft; unpassendes Rauschen führt zu einer schlechten Verallgemeinerung.
• Sicherstellung der Vielfalt der Trainingsdaten: Begrenzte Variation kann zu Overfitting oder übermäßiger Glättung in komplexen Texturen führen.
• Sei dir der Einschränkungen des Rauschtyps bewusst: Selbstüberwachte Methoden haben mehr Schwierigkeiten mit strukturiertem, korreliertem oder nicht zufälligem Rauschen.
• Über Geräte oder Sensoren hinweg testen: Die Leistung der Entrauschung kann je nach Kamera oder Bildgebungssystem stark variieren.

Link to this sectionWichtige Erkenntnisse#

Selbstüberwachtes Denoising gibt KI-Enthusiasten eine praktische Möglichkeit, Bilder nur mit den verrauschten Daten zu bereinigen, die wir bereits haben. Durch das Lernen, echte Strukturen unter dem Rauschen zu erkennen, können diese Methoden wichtige visuelle Details wiederherstellen. Da sich die Entrauschungstechnologie weiter verbessert, wird sie wahrscheinlich eine Vielzahl von Computer-Vision-Aufgaben im Alltag zuverlässiger machen.

Werde Teil unserer wachsenden Community! Tauche in unser GitHub-Repository ein, um mehr über KI zu erfahren. Wenn du Computer-Vision-Lösungen aufbauen möchtest, schau dir unsere Lizenzoptionen an. Entdecke die Vorteile von Computer Vision im Einzelhandel und sieh dir an, wie KI in der Fertigung einen Unterschied macht!