Bilder mit selbstüberwachtem Lernen entrauschen

Bilder sind ein Teil unseres täglichen Lebens – von den Fotos, die wir aufnehmen, bis hin zu den Videos, die von Kameras an öffentlichen Orten aufgezeichnet werden. Sie enthalten wertvolle Informationen, und modernste Technologien ermöglichen es, diese Daten zu analysieren und zu interpretieren.

Insbesondere Computer Vision, ein Teilgebiet der künstlichen Intelligenz (AI), ermöglicht es Maschinen, visuelle Informationen zu verarbeiten und zu verstehen, was sie sehen – ähnlich wie Menschen. In realen Anwendungen sind Bilder jedoch oft weit von perfekt entfernt.

Bildrauschen durch Regen, Staub, schlechte Lichtverhältnisse oder Einschränkungen des Sensors kann wichtige Details verbergen. Dadurch wird es für Vision-AI-Modelle schwieriger, Objekte zu erkennen oder Szenen präzise zu interpretieren. Bildentrauschung hilft, dieses Rauschen zu reduzieren, sodass Vision-AI-Modelle Details klarer erkennen und bessere Vorhersagen treffen können.

Abb. 1. Ein Beispiel für die Entrauschung eines Bildes. (Quelle)

Traditionell stützt sich die Bildentrauschung auf überwachtes Lernen. Dabei werden Modelle anhand von Paaren verrauschter und sauberer Bilder trainiert, um zu lernen, wie sich Rauschen entfernen lässt. Perfekt saubere Referenzbilder zu sammeln, ist jedoch nicht immer praktikabel.

Um diese Herausforderung zu bewältigen, haben Forschende selbstüberwachende Bildentrauschungsmodelle entwickelt. Sie sollen AI-Modelle so trainieren, dass diese direkt aus den Daten lernen, eigene Lernsignale erzeugen, Rauschen entfernen und wichtige Details bewahren – ohne saubere Referenzbilder zu benötigen.

In diesem Artikel werfen wir einen genaueren Blick auf selbstüberwachende Bildentrauschungsmodelle, ihre Funktionsweise, die wichtigsten Techniken dahinter und ihre Anwendungen in der Praxis. Legen wir los!

Was ist selbstüberwachte Bildentrauschung?#

Verrauschte Bilder können es Vision-AI-Modellen erschweren, den Bildinhalt zu interpretieren. Ein Foto, das beispielsweise bei schlechten Lichtverhältnissen aufgenommen wurde, kann körnig oder verschwommen wirken und subtile Merkmale verbergen, die einem Modell helfen, Objekte präzise zu erkennen.

Bei der auf überwachtem Lernen basierenden Entrauschung werden Modelle anhand von Bildpaaren trainiert – einem verrauschten und einem sauberen Bild –, um zu lernen, wie sich unerwünschtes Rauschen entfernen lässt. Dieser Ansatz funktioniert zwar gut, doch das Sammeln perfekt sauberer Referenzdaten ist in realen Szenarien oft zeitaufwendig und schwierig.

Deshalb wenden sich Forschende der selbstüberwachten Bildentrauschung zu. Selbstüberwachte Bildentrauschung baut auf dem Konzept des selbstüberwachten Lernens auf, bei dem Modelle sich selbst beibringen, indem sie eigene Lernsignale aus den Daten erzeugen.

Da diese Methode nicht auf großen annotierten Datensätzen beruht, ist selbstüberwachte Entrauschung schneller, besser skalierbar und leichter auf Bereiche wie Aufnahmen bei schlechten Lichtverhältnissen, medizinische Bildgebung und die Analyse von Satellitenbildern anzuwenden, in denen saubere Referenzbilder oft nicht verfügbar sind.

Statt sich auf saubere Referenzbilder zu stützen, wird dieser Ansatz direkt mit verrauschten Daten trainiert, indem maskierte Pixel vorhergesagt oder fehlende Bereiche rekonstruiert werden. Auf diese Weise lernt das Modell, zwischen bedeutungsvollen Bilddetails und zufälligem Rauschen zu unterscheiden, was zu klareren und präziseren Ergebnissen führt.

Auch wenn selbstüberwachtes Lernen dem unüberwachten Lernen ähnlich erscheinen mag, ist es tatsächlich ein Sonderfall davon. Der entscheidende Unterschied besteht darin, dass das Modell beim selbstüberwachten Lernen eigene Labels oder Lernsignale aus den Daten erzeugt, um eine bestimmte Aufgabe zu erlernen. Unüberwachtes Lernen konzentriert sich dagegen darauf, verborgene Muster oder Strukturen in Daten ohne eine explizite Aufgabe oder ein vorgegebenes Ziel zu finden.

Lernstrategien bei der selbstüberwachten Entrauschung#

Bei der selbstüberwachten Entrauschung gibt es mehrere Möglichkeiten, wie das Lernen erfolgt. Einige selbstüberwachende Entrauschungsmodelle ergänzen maskierte oder fehlende Pixel, während andere mehrere verrauschte Versionen desselben Bildes vergleichen, um konsistente Details zu erkennen.

Eine bekannte Methode ist beispielsweise das sogenannte Blind-Spot-Lernen. Dabei wird das Entrauschungsmodell darauf trainiert, das Pixel, das es rekonstruiert, zu ignorieren und stattdessen den umgebenden Kontext zu nutzen. Mit der Zeit rekonstruiert das Modell hochwertige Bilder und bewahrt dabei wichtige Texturen, Kanten und Farben.

Wie selbstüberwachtes Lernen Rauschen entfernt#

Als Nächstes sehen wir uns den Prozess an, mit dem selbstüberwachtes Lernen Rauschen entfernt.

Der Prozess der selbstüberwachten Entrauschung beginnt typischerweise damit, dass verrauschte Bilder in das Entrauschungsmodell eingespeist werden. Das Modell analysiert benachbarte Pixel, um zu schätzen, wie jedes undeutliche oder maskierte Pixel aussehen sollte, und lernt schrittweise, zwischen Rauschen und echten visuellen Details zu unterscheiden.

Betrachte ein Bild eines dunklen, körnigen Himmels. Das Modell betrachtet nahegelegene Sterne und umliegende Muster, um vorherzusagen, wie jeder verrauschte Bildbereich ohne Rauschen aussehen sollte. Durch die Wiederholung dieses Vorgangs über das gesamte Bild hinweg lernt es, zufälliges Rauschen von bedeutungsvollen Merkmalen zu trennen, und erzeugt ein klareres und präziseres Ergebnis.

Mit anderen Worten: Das Modell sagt auf Grundlage des Kontexts eine sauberere Version des Bildes voraus, ohne jemals eine perfekt saubere Referenz zu benötigen. Dieser Prozess kann mit verschiedenen Modelltypen umgesetzt werden, die jeweils eigene Stärken im Umgang mit Rauschen haben.

Für die selbstüberwachte Bildentrauschung verwendete Modelltypen#

Hier ist ein kurzer Überblick über die Modelltypen, die häufig für die selbstüberwachte Bildentrauschung verwendet werden:

• Faltungsneuronale Netze (CNNs): CNNs sind Deep-Learning-Modelle, die darauf ausgelegt sind, Muster in kleinen Bildbereichen zu erkennen. Sie durchsuchen Bilder mithilfe von Filtern, um Kanten, Formen und Texturen zu erkennen. Bei der selbstüberwachten Entrauschung verwenden sie häufig Blind-Spot-Techniken, bei denen das Zielpixel aus der Eingabe ausgeschlossen wird, damit das Modell seinen Wert ausschließlich anhand benachbarter Pixel vorhersagt. So wird verhindert, dass das Modell Rauschen kopiert; stattdessen erschließt es sauberere Details.
• Autoencoder: Autoencoder sind neuronale Netze, die lernen, Daten zu komprimieren und zu rekonstruieren. Zunächst reduzieren sie ein Bild auf eine kleinere Darstellung (Kodierung) und bauen es anschließend wieder auf (Dekodierung). Dabei lernen sie, wichtige visuelle Merkmale wie Formen und Texturen zu erfassen und gleichzeitig zufälliges Rauschen sowie irrelevante Details herauszufiltern.
• Transformer-basierte Modelle: Transformer sind Modelle, die ursprünglich für die Verarbeitung natürlicher Sprache entwickelt wurden, heute aber auch häufig für Bildverarbeitungsaufgaben eingesetzt werden. Sie verarbeiten das gesamte Bild auf einmal und lernen, wie verschiedene Bereiche miteinander zusammenhängen. Diese globale Perspektive ermöglicht es ihnen, feine Details und strukturelle Konsistenz selbst in komplexen oder hochauflösenden Bildern zu bewahren.

Abb. 2. Ein Blick auf eine CNN-basierte Architektur für die selbstüberwachte Bildentrauschung. (Quelle)

Das Training dieser Modelle mit Bildern, die bei unterschiedlichen Lichtverhältnissen und ISO-Einstellungen aufgenommen wurden, hilft ihnen, in vielen realen Situationen gut zu funktionieren. Bei Digitalkameras steuern ISO-Einstellungen, wie stark die Kamera das Bild aufhellt, indem sie das empfangene Signal verstärkt.

Ein höherer ISO-Wert macht Fotos an dunklen Orten heller, erhöht jedoch auch das Rauschen und verringert die Detailgenauigkeit. Indem die Modelle aus Bildern lernen, die mit unterschiedlichen ISO-Werten aufgenommen wurden, können sie echte Details besser von Rauschen unterscheiden, was zu klareren und präziseren Ergebnissen führt.

Wie lernt ein Entrauschungsmodell, was Rauschen und was echt ist?#

Entrauschungsmodelle lernen durch verschiedene Trainingstechniken, Rauschen von echten Bilddetails zu unterscheiden. Diese Techniken sind von den Modelltypen getrennt, die für die Entrauschung verwendet werden. Modelltypen wie CNNs, Autoencoder und Transformer beschreiben die Struktur des Netzes und die Verarbeitung visueller Informationen.

Trainingstechniken legen dagegen fest, wie das Modell lernt. Einige Methoden verwenden eine kontextbasierte Vorhersage, bei der das Modell fehlende oder maskierte Pixel anhand von Informationen aus benachbarten Bereichen ergänzt.

Andere nutzen rekonstruktionsbasiertes Lernen. Dabei komprimiert das Modell ein Bild in eine vereinfachte Form und baut es anschließend wieder auf. So lernt es, bedeutungsvolle Strukturen wie Kanten und Texturen zu erkennen und gleichzeitig zufälliges Rauschen herauszufiltern.

Gemeinsam bestimmen Modelltyp und Trainingstechnik, wie effektiv ein Entrauschungsmodell Bilder bereinigen kann. Durch die Kombination der passenden Architektur mit dem passenden Lernansatz können sich selbstüberwachende Entrauschungsmodelle an viele Rauscharten anpassen und auch ohne saubere Referenzdaten klarere und präzisere Bilder erzeugen.

Wichtige Techniken für die selbstüberwachte Bildentrauschung mit AI#

Hier sind einige der am weitesten verbreiteten Trainingstechniken, die eine effektive selbstüberwachte Bildentrauschung ermöglichen:

• Noise2Noise: Bei dieser Methode wird ein Modell anhand zweier verrauschter Versionen desselben Bildes trainiert. Da das Rauschen in jeder Version zufällig ist, lernt das Modell, sich auf konsistente Details zu konzentrieren, die das echte Bild darstellen, und das Rauschen zu ignorieren. Die Methode funktioniert am besten, wenn mehrere verrauschte Aufnahmen derselben Szene verfügbar sind, etwa bei Serienaufnahmen oder in der medizinischen und wissenschaftlichen Bildgebung.
• Noise2Void oder Noise2Self: Diese Techniken werden mit einem einzigen verrauschten Bild trainiert. Dabei wird ein Pixel ausgeblendet (maskiert), und das Modell soll seinen Wert anhand benachbarter Pixel vorhersagen. Dadurch wird verhindert, dass das Modell verrauschte Daten einfach kopiert, und es lernt die natürliche Struktur von Bildern. Die Techniken sind besonders nützlich, wenn nur ein verrauschtes Bild verfügbar ist, etwa in der Mikroskopie, Astronomie oder bei Aufnahmen unter schlechten Lichtverhältnissen.
• Blind-Spot-Netze: Sie sind speziell so konzipiert, dass das Modell das Pixel, das es rekonstruiert, nicht sehen kann. Stattdessen nutzt es Informationen aus der Umgebung, um zu schätzen, wie dieses Pixel aussehen sollte. Dadurch wird die Rauschentfernung präziser und weniger verzerrt. Bei pixelweisen Entrauschungsaufgaben werden sie häufig mit Noise2Void- oder Noise2Self-Methoden kombiniert.
• Maskierte Autoencoder (MAE): Bei diesem Ansatz werden Teile eines Bildes ausgeblendet, und das Modell lernt, die fehlenden Bereiche zu rekonstruieren. Dadurch lernt es sowohl feine Details als auch die Gesamtstruktur und kann so echte Inhalte von Rauschen unterscheiden. Maskierte Autoencoder sind besonders effektiv bei hochauflösenden oder komplexen Bildern, bei denen das Verständnis des übergreifenden Kontexts die Wiederherstellung verbessert.

Bewertung von Bildentrauschungssystemen#

Bei der Bildentrauschung gilt es, zwei Ziele sorgfältig auszubalancieren: Rauschen zu reduzieren und feine Details vollständig zu bewahren. Zu starke Entrauschung kann ein Bild weich oder verschwommen wirken lassen, während zu schwache Entrauschung unerwünschtes Körnen oder Artefakte zurücklässt.

Um zu verstehen, wie gut ein Modell dieses Gleichgewicht erreicht, verwenden Forschende Bewertungsmetriken, die sowohl die Bildklarheit als auch die Bewahrung von Details messen. Diese Metriken zeigen, wie gut ein Modell ein Bild bereinigt, ohne wichtige visuelle Informationen zu verlieren.

Hier sind gängige Bewertungsmetriken zur Messung von Bildqualität und Entrauschungsleistung:

• Mittlerer quadratischer Fehler (MSE): Er misst den durchschnittlichen quadrierten Unterschied zwischen dem Originalbild und dem entrauschten Bild. Dabei wird bewertet, wie nahe die Ausgabe auf Pixelebene am Original liegt. Niedrigere MSE-Werte bedeuten weniger Fehler und ein präziseres Ergebnis.
• Signal-Rausch-Verhältnis (PSNR): Diese Metrik vergleicht die Stärke des Signals im Originalbild mit dem verbleibenden Rauschen und wird in Dezibel angegeben. Sie zeigt, wie viele der ursprünglichen Details nach der Entrauschung erhalten geblieben sind. Höhere PSNR-Werte bedeuten klarere Bilder mit höherer Qualität.
• Struktureller Ähnlichkeitsindex (SSIM): SSIM bewertet Struktur, Helligkeit und Kontrast, um die Ähnlichkeit zwischen dem entrauschten Bild und dem Original zu bestimmen. Im Mittelpunkt steht dabei die menschliche Wahrnehmung von Bildern, nicht nur rohe Zahlenwerte. Höhere SSIM-Werte bedeuten, dass das Bild natürlicher wirkt und dem Original stärker entspricht.
• Wahrnehmungsmetriken: Diese Metriken verwenden Deep-Learning-Modelle, um zu beurteilen, wie realistisch und natürlich ein Bild wirkt. Statt einzelne Pixel zu vergleichen, konzentrieren sie sich auf das allgemeine Erscheinungsbild, die Textur und die visuelle Ähnlichkeit. In den meisten Fällen bedeuten niedrigere Werte, dass das Bild dem Original ähnlicher und für Menschen visuell ansprechender wirkt.

Anwendungen der selbstüberwachten Entrauschung#

Nachdem wir nun besser verstehen, was Entrauschung ist, sehen wir uns an, wie selbstüberwachte Bildentrauschung in realen Szenarien eingesetzt wird.

Selbstüberwachte Entrauschung in der Astrofotografie#

Klare Fotos von Sternen und Galaxien aufzunehmen, ist nicht einfach. Der Nachthimmel ist dunkel, weshalb Kameras häufig lange Belichtungszeiten benötigen, die unerwünschtes Rauschen verursachen können. Dieses Rauschen kann feine kosmische Details verwischen und schwache Signale schwerer erkennbar machen.

Herkömmliche Entrauschungswerkzeuge können zwar dazu beitragen, Rauschen zu reduzieren, entfernen dabei aber häufig auch wichtige Details. Selbstüberwachte Entrauschung bietet eine intelligentere Alternative. Da das AI-Modell direkt aus verrauschten Bildern lernt, kann es Muster erkennen, die echte Merkmale darstellen, und sie von zufälligem Rauschen trennen.

Das Ergebnis sind deutlich klarere Bilder von Himmelsobjekten wie Sternen, Galaxien und der Sonne, die schwache Details sichtbar machen, die sonst möglicherweise unbemerkt bleiben würden. Außerdem können subtile astronomische Merkmale hervorgehoben werden, was die Bildklarheit verbessert und die Daten für die wissenschaftliche Forschung nutzbarer macht.

Abb. 3. Bildentrauschung kann astrofotografische Aufnahmen verbessern. (Quelle)

Selbstüberwachte Entrauschung in der medizinischen Bildgebung#

Medizinische Aufnahmen wie MRTs, CTs und mikroskopische Bilder enthalten häufig Rauschen, das das Erkennen kleiner Details erschweren kann. Das kann problematisch sein, wenn Ärztinnen und Ärzte frühe Anzeichen einer Erkrankung erkennen oder Veränderungen im Zeitverlauf verfolgen müssen.

Bildrauschen kann durch Bewegungen der Patientinnen und Patienten, eine geringe Signalstärke oder Einschränkungen bei der zulässigen Strahlungsmenge entstehen. Um medizinische Aufnahmen klarer zu machen, haben Forschende selbstüberwachte Entrauschungsmethoden wie Noise2Self und ähnliche Ansätze untersucht.

Diese Modelle werden direkt mit verrauschten MRT-Aufnahmen des Gehirns trainiert. Dabei lernen sie die Rauschmuster selbstständig und bereinigen die Aufnahmen, ohne perfekt klare Beispiele zu benötigen. Die verarbeiteten Bilder zeigten schärfere Texturen und einen besseren Kontrast, wodurch sich feine Strukturen leichter erkennen ließen. Solche AI-gestützten Entrauschungsmodelle vereinfachen Arbeitsabläufe in der diagnostischen Bildgebung und verbessern die Effizienz der Echtzeitanalyse.

Abb. 4. Anwendung verschiedener Techniken zur selbstüberwachten Entrauschung auf MRT-Aufnahmen des Gehirns. (Quelle)

Verbesserung von Bildverarbeitungssystemen durch selbstüberwachte Entrauschung#

In den meisten Fällen hat Entrauschung erhebliche Auswirkungen auf eine Vielzahl von Computer-Vision-Anwendungen. Durch die Entfernung unerwünschten Rauschens und von Verzerrungen erzeugt sie sauberere und konsistentere Eingabedaten für die Verarbeitung durch Vision-AI-Modelle.

Klarere Bilder führen zu einer besseren Leistung bei Computer-Vision-Aufgaben wie Objekterkennung, Instanzsegmentierung und Bilderkennung. Hier sind einige Anwendungsbeispiele, bei denen Vision-AI-Modelle wie Ultralytics YOLO11 und Ultralytics YOLO26 von Entrauschung profitieren können:

• Industrielle Inspektion: Entrauschung ermöglicht eine präzisere Erkennung von Oberflächenfehlern oder Anomalien in Fertigungsumgebungen und verbessert dadurch die Qualitätskontrolle.
• Autonomes Fahren und Navigation: Sie verbessert die Erkennung von Objekten und Hindernissen unter schwierigen Bedingungen wie schlechten Lichtverhältnissen, Regen oder Nebel und erhöht dadurch die allgemeine Sicherheit und Zuverlässigkeit.
• Überwachung und Sicherheit: Entrauschung verbessert die Bildqualität bei Videoübertragungen mit schlechten Lichtverhältnissen oder hoher Kompression und ermöglicht dadurch eine bessere Identifizierung und Verfolgung von Objekten oder Personen.
• Unterwasserbildgebung: Entrauschung reduziert Streuung und Lichtverzerrungen und verbessert dadurch die Sichtbarkeit sowie die Objekterkennung in trüben Unterwasserbedingungen.

Vor- und Nachteile der selbstüberwachten Entrauschung#

Hier sind einige wichtige Vorteile der selbstüberwachten Entrauschung in Bildverarbeitungssystemen:

• Anpassungsfähigkeit an Rauschen: Selbstüberwachte Entrauschungsmethoden können direkt aus verrauschten Daten lernen, ohne gepaarte saubere Referenzbilder zu benötigen. Dadurch lassen sie sich besonders gut an eine große Bandbreite realer Rauschstärken und -arten anpassen, etwa Sensorrauschen, Bewegungsunschärfe oder Umwelteinflüsse.
• Bewahrung von Details: Bei sorgfältiger Entwicklung bewahren diese Modelle feine Texturen und Kanten, die für eine präzise Bildinterpretation entscheidend sind. Ansätze wie Blind-Spot-Netze und maskierungsbasiertes Lernen helfen, strukturelle Informationen zu erhalten und gleichzeitig Rauschen zu reduzieren.
• Weniger Vorverarbeitung: Indem das Modell ausschließlich anhand der verfügbaren Daten lernt, verrauschte Eingaben auf saubere Darstellungen abzubilden, verringert es den Bedarf an manueller Filterung, eigens entwickelten Entrauschungsalgorithmen oder kuratierten Trainingsdatensätzen.

Trotz ihrer Vorteile bringt selbstüberwachte Entrauschung auch gewisse Einschränkungen mit sich. Hier sind einige Faktoren, die du berücksichtigen solltest:

• Rechenanforderungen: Tiefe neuronale Architekturen für die selbstüberwachte Entrauschung, insbesondere Transformer-basierte Modelle, können im Vergleich zu herkömmlichen Filtertechniken beträchtliche Rechenleistung und Speicherressourcen erfordern.
• Komplexität des Modelldesigns: Optimale Ergebnisse erfordern eine sorgfältige Auswahl von Modelleinstellungen wie Maskierungsstrategie und Verlustfunktion, die je nach Rauschtyp unterschiedlich ausfallen können.
• Herausforderungen bei der Bewertung: Gängige Metriken für die Bildqualität stimmen nicht immer damit überein, wie natürlich oder realistisch ein entrauschtes Bild wirkt. Daher sind häufig visuelle oder aufgabenspezifische Prüfungen erforderlich.

Wichtige Erkenntnisse#

Selbstüberwachte Entrauschung hilft AI-Modellen, direkt aus verrauschten Bildern zu lernen. So entstehen klarere Ergebnisse, während feine Details erhalten bleiben. Sie funktioniert in vielen anspruchsvollen Szenarien effektiv, etwa bei schlechten Lichtverhältnissen, hohen ISO-Werten und detailreichen Aufnahmen. Mit der Weiterentwicklung von AI werden solche Techniken voraussichtlich eine wichtige Rolle in verschiedenen Computer-Vision-Anwendungen spielen.

Tritt unserer Community bei und entdecke unser GitHub-Repository, um mehr über AI zu erfahren. Wenn du dein eigenes Vision-AI-Projekt entwickeln möchtest, sieh dir unsere Lizenzoptionen an. Erfahre mehr über Anwendungen wie AI im Gesundheitswesen und Vision AI im Einzelhandel auf unseren Lösungsseiten.