Selbstüberwachtes Lernen zum Entrauschen von Bildern nutzen

Bilder gehören zu unserem Alltag – von Fotos, die wir aufnehmen, bis hin zu Videos von Kameras an öffentlichen Orten. Sie enthalten aufschlussreiche Informationen, und moderne Technologien ermöglichen es, diese Daten zu analysieren und zu interpretieren.

Insbesondere Computer Vision, ein Teilgebiet der künstlichen Intelligenz (KI), ermöglicht es Maschinen, visuelle Informationen zu verarbeiten und zu verstehen, was sie sehen – ähnlich wie Menschen. In der Praxis sind Bilder jedoch oft alles andere als perfekt.

Bildrauschen, das durch Regen, Staub, schwaches Licht oder Einschränkungen des Sensors verursacht wird, kann wichtige Details verdecken und es Modellen für visuelle KI erschweren, Objekte zu erkennen oder Szenen präzise zu interpretieren. Die Bildentrauschung hilft, dieses Rauschen zu reduzieren, sodass Modelle für visuelle KI Details klarer erkennen und bessere Vorhersagen treffen können.

Abb. 1. Beispiel für die Entrauschung eines Bildes. (Quelle)

Traditionell stützte sich die Bildentrauschung auf überwachtes Lernen: Modelle wurden anhand von Paaren verrauschter und sauberer Bilder trainiert, um zu lernen, wie sich Rauschen entfernen lässt. Perfekt saubere Referenzbilder zu sammeln, ist jedoch nicht immer praktikabel.

Um diese Herausforderung zu bewältigen, haben Forschende selbstüberwachte Bildentrauschungsverfahren entwickelt. Sie sollen KI-Modelle darauf trainieren, direkt aus den Daten zu lernen und eigene Lernsignale zu erzeugen, um Rauschen zu entfernen und wichtige Details zu bewahren, ohne saubere Referenzbilder zu benötigen.

In diesem Artikel werfen wir einen genaueren Blick auf selbstüberwachte Bildentrauscher, ihre Funktionsweise, die wichtigsten zugrunde liegenden Verfahren und ihre praktischen Anwendungen.

Was ist selbstüberwachte Bildentrauschung?#

Verrauschte Bilder können es Modellen für visuelle KI erschweren, den Bildinhalt zu interpretieren. Ein Foto, das beispielsweise bei schwachem Licht aufgenommen wurde, kann körnig oder unscharf erscheinen und feine Merkmale verbergen, anhand derer ein Modell Objekte präzise identifizieren kann.

Bei der auf überwachtem Lernen basierenden Entrauschung werden Modelle mit Bildpaaren trainiert – einem verrauschten und einem sauberen Bild –, damit sie lernen, unerwünschtes Rauschen zu entfernen. Dieser Ansatz funktioniert gut, doch in realen Szenarien ist es oft zeitaufwendig und schwierig, vollkommen saubere Referenzdaten zu sammeln.

Deshalb setzen Forschende auf selbstüberwachte Bildentrauschung. Selbstüberwachte Bildentrauschung baut auf dem Konzept des selbstüberwachten Lernens auf, bei dem Modelle sich selbst beibringen, aus den Daten eigene Lernsignale zu erzeugen.

Da diese Methode nicht auf großen annotierten Datensätzen beruht, ist selbstüberwachte Entrauschung schneller, besser skalierbar und lässt sich leichter in Bereichen wie der Fotografie bei schwachem Licht, der medizinischen Bildgebung und der Satellitenbildanalyse einsetzen, in denen saubere Referenzbilder oft nicht verfügbar sind.

Statt sich auf saubere Referenzbilder zu stützen, trainiert dieser Ansatz direkt mit verrauschten Daten, indem er maskierte Pixel vorhersagt oder fehlende Bereiche rekonstruiert. Dabei lernt das Modell, bedeutungsvolle Bilddetails von zufälligem Rauschen zu unterscheiden, und erzeugt so klarere und präzisere Ergebnisse.

Auch wenn es unüberwachtem Lernen ähnlich erscheinen mag, ist selbstüberwachtes Lernen tatsächlich ein Sonderfall davon. Der entscheidende Unterschied besteht darin, dass das Modell beim selbstüberwachten Lernen eigene Labels oder Trainingssignale aus den Daten erzeugt, um eine bestimmte Aufgabe zu erlernen. Unüberwachtes Lernen konzentriert sich dagegen darauf, verborgene Muster oder Strukturen in Daten ohne eine ausdrückliche Aufgabe oder ein vorgegebenes Ziel zu finden.

Lernstrategien bei der selbstüberwachten Entrauschung#

Selbstüberwachte Entrauscher können auf verschiedene Weise lernen. Einige ergänzen maskierte oder fehlende Pixel, während andere mehrere verrauschte Versionen desselben Bildes vergleichen, um übereinstimmende Details zu finden.

Eine beliebte Methode namens Blind-Spot-Lernen trainiert das Entrauschungsmodell beispielsweise darauf, das Pixel, das es rekonstruiert, zu ignorieren und sich stattdessen auf den umgebenden Kontext zu stützen. Mit der Zeit rekonstruiert das Modell hochwertige Bilder und bewahrt dabei wichtige Texturen, Kanten und Farben.

Wie selbstüberwachtes Lernen Rauschen entfernt#

Als Nächstes sehen wir uns an, wie selbstüberwachtes Lernen Rauschen entfernt.

Der Prozess des selbstüberwachten Entrauschens beginnt in der Regel damit, dass verrauschte Bilder in das Entrauschungsmodell eingespeist werden. Das Modell analysiert benachbarte Pixel, um zu schätzen, wie jedes unscharfe oder maskierte Pixel aussehen sollte. Dabei lernt es nach und nach, Rauschen von echten Bilddetails zu unterscheiden.

Betrachte ein Bild eines dunklen, körnigen Himmels. Das Modell untersucht benachbarte Sterne und Muster, um vorherzusagen, wie jeder verrauschte Bildausschnitt ohne Rauschen aussehen sollte. Wiederholt es diesen Vorgang im gesamten Bild, lernt es, zufälliges Rauschen von bedeutungsvollen Merkmalen zu trennen und so ein klareres und präziseres Ergebnis zu erzeugen.

Mit anderen Worten: Das Modell sagt anhand des Kontexts eine sauberere Version des Bildes voraus, ohne jemals ein vollkommen sauberes Referenzbild zu benötigen. Dieser Vorgang lässt sich mit verschiedenen Modelltypen umsetzen, die jeweils besondere Stärken beim Umgang mit Rauschen haben.

Modelltypen für die selbstüberwachte Bildentrauschung#

Hier ein kurzer Überblick über Modelltypen, die häufig für die selbstüberwachte Bildentrauschung eingesetzt werden:

• Faltungsneuronale Netze (CNNs): CNNs sind Deep-Learning-Modelle, die Muster in kleinen Bildbereichen erkennen. Sie durchsuchen Bilder mithilfe von Filtern, um Kanten, Formen und Texturen zu erfassen. Bei der selbstüberwachten Entrauschung nutzen sie häufig Blind-Spot-Verfahren, bei denen das Zielpixel aus der Eingabe ausgeschlossen wird, sodass das Modell seinen Wert ausschließlich anhand der umliegenden Pixel vorhersagt. So vermeidet das Modell, Rauschen zu kopieren, und leitet stattdessen sauberere Details ab.
• Autoencoder: Autoencoder sind neuronale Netze, die lernen, Daten zu komprimieren und wiederherzustellen. Zunächst verkleinern sie ein Bild zu einer kompakten Darstellung (Kodierung) und setzen es anschließend wieder zusammen (Dekodierung). Dabei lernen sie, wichtige visuelle Merkmale wie Formen und Texturen zu erfassen und gleichzeitig zufälliges Rauschen sowie irrelevante Details herauszufiltern.
• Transformer-basierte Modelle: Transformer sind Modelle, die ursprünglich für die Verarbeitung natürlicher Sprache entwickelt wurden, inzwischen aber häufig für visuelle Aufgaben eingesetzt werden. Sie verarbeiten das gesamte Bild auf einmal und lernen, wie verschiedene Bereiche miteinander zusammenhängen. Diese globale Perspektive ermöglicht es ihnen, selbst in komplexen oder hochauflösenden Bildern feine Details und strukturelle Konsistenz zu bewahren.

Abb. 2. Ein Blick auf eine CNN-basierte Architektur zur selbstüberwachten Bildentrauschung. (Quelle)

Wenn diese Modelle mit Bildern trainiert werden, die bei unterschiedlichen Lichtverhältnissen und ISO-Einstellungen aufgenommen wurden, können sie in vielen realen Situationen gut funktionieren. Bei Digitalkameras steuern ISO-Einstellungen, wie stark die Kamera das Bild durch Verstärkung des empfangenen Signals aufhellt.

Ein höherer ISO-Wert macht Fotos an dunklen Orten heller, erhöht aber auch das Rauschen und verringert die Details. Indem die Modelle aus Bildern lernen, die mit unterschiedlichen ISO-Stufen aufgenommen wurden, können sie echte Details besser von Rauschen unterscheiden und so klarere und genauere Ergebnisse erzielen.

Wie lernt ein Entrauschungsmodell, Rauschen von echten Bilddetails zu unterscheiden?#

Entrauschungsmodelle lernen durch verschiedene Trainingsverfahren, Rauschen von echten Bilddetails zu unterscheiden. Diese Verfahren sind unabhängig von den Modelltypen, die zur Entrauschung eingesetzt werden. Modelltypen wie CNNs, Autoencoder und Transformer beschreiben den Aufbau des Netzwerks und wie es visuelle Informationen verarbeitet.

Trainingsverfahren legen dagegen fest, wie das Modell lernt. Bei einigen Methoden sagt das Modell anhand des Kontexts fehlende oder maskierte Pixel voraus und nutzt dafür Informationen aus benachbarten Bereichen.

Andere Methoden nutzen rekonstruktionsbasiertes Lernen: Dabei komprimiert das Modell ein Bild in eine einfachere Form und baut es anschließend wieder auf. So lernt es, aussagekräftige Strukturen wie Kanten und Texturen zu erkennen und zufälliges Rauschen herauszufiltern.

Zusammen bestimmen Modelltyp und Trainingsverfahren, wie effektiv ein Entrauschungsmodell Bilder bereinigen kann. Mit der passenden Architektur und dem richtigen Lernansatz können sich selbstüberwachte Entrauschungsmodelle an viele Arten von Rauschen anpassen und auch ohne saubere Referenzdaten klarere und genauere Bilder erzeugen.

Wichtige Verfahren zur selbstüberwachten KI-Bildentrauschung#

Hier sind einige der am häufigsten verwendeten Trainingsverfahren für eine wirksame selbstüberwachte Bildentrauschung:

• Noise2Noise: Bei dieser Methode wird ein Modell mit zwei verrauschten Versionen desselben Bildes trainiert. Da das Rauschen in jeder Version zufällig ist, lernt das Modell, sich auf gleichbleibende Details zu konzentrieren, die das echte Bild darstellen, und das Rauschen zu ignorieren. Das Verfahren eignet sich besonders, wenn mehrere verrauschte Aufnahmen derselben Szene verfügbar sind, etwa bei Serienbildaufnahmen oder in der medizinischen und wissenschaftlichen Bildgebung.
• Noise2Void oder Noise2Self: Bei diesen Verfahren wird ein Modell mit einem einzelnen verrauschten Bild trainiert. Dazu wird ein Pixel ausgeblendet (maskiert), und das Modell soll seinen Wert anhand der umliegenden Pixel vorhersagen. Dadurch kann das Modell verrauschte Daten nicht einfach kopieren und lernt stattdessen die natürliche Struktur von Bildern. Die Verfahren sind besonders nützlich, wenn nur ein verrauschtes Bild verfügbar ist, etwa in der Mikroskopie, Astronomie oder bei Aufnahmen mit wenig Licht.
• Blind-Spot-Netzwerke: Sie sind so konzipiert, dass das Modell das Pixel, das es rekonstruiert, nicht sehen kann. Stattdessen nutzt es Informationen aus der Umgebung, um zu schätzen, wie dieses Pixel aussehen sollte. Dadurch wird das Rauschen präziser und unverzerrt entfernt. Bei pixelweiser Entrauschung werden Blind-Spot-Netzwerke häufig mit Noise2Void- oder Noise2Self-Verfahren kombiniert.
• Maskierte Autoencoder (MAE): Bei diesem Verfahren werden Teile eines Bildes ausgeblendet, und das Modell lernt, die fehlenden Bereiche wiederherzustellen. Dadurch erfasst es sowohl feine Details als auch die Gesamtstruktur und kann echte Inhalte besser von Rauschen unterscheiden. Maskierte Autoencoder eignen sich besonders für hochauflösende oder komplexe Bilder, bei denen das Verständnis des Gesamtkontexts die Wiederherstellung verbessert.

Bildentrauschungssysteme bewerten#

Bei der Bildentrauschung müssen zwei Ziele sorgfältig abgewogen werden: Rauschen verringern und feine Details erhalten. Zu starke Entrauschung kann ein Bild weich oder unscharf wirken lassen, während zu schwache Entrauschung störendes Korn oder Artefakte zurücklassen kann.

Um zu beurteilen, wie gut ein Modell diesen Ausgleich schafft, verwenden Forschende Bewertungsmetriken, die sowohl die Bildklarheit als auch den Erhalt von Details messen. Diese Metriken zeigen, wie gut ein Modell ein Bild bereinigt, ohne wichtige visuelle Informationen zu verlieren.

Hier sind gängige Bewertungsmetriken, mit denen sich Bildqualität und Entrauschungsleistung messen lassen:

• Mittlerer quadratischer Fehler (MSE): Diese Metrik misst die durchschnittliche quadrierte Abweichung zwischen dem Originalbild und dem entrauschten Bild. Sie zeigt, wie nah die Ausgabe auf Pixelebene am Original liegt. Niedrigere MSE-Werte bedeuten weniger Fehler und ein genaueres Ergebnis.
• Spitzen-Signal-Rausch-Verhältnis (PSNR): Diese Metrik vergleicht die Stärke des Originalbildsignals mit dem verbleibenden Rauschen und wird in Dezibel angegeben. Sie zeigt, wie viele der ursprünglichen Details nach der Entrauschung erhalten geblieben sind. Höhere PSNR-Werte stehen für klarere Bilder mit besserer Qualität.
• Strukturähnlichkeitsindex (SSIM): SSIM bewertet Struktur, Helligkeit und Kontrast, um die Ähnlichkeit zwischen dem entrauschten Bild und dem Original zu bestimmen. Dabei steht die menschliche Bildwahrnehmung im Mittelpunkt, nicht nur rohe Zahlenwerte. Höhere SSIM-Werte bedeuten, dass das Bild natürlicher wirkt und dem Original stärker entspricht.
• Wahrnehmungsmetriken: Diese Metriken verwenden Deep-Learning-Modelle, um zu beurteilen, wie realistisch und natürlich ein Bild wirkt. Statt einzelne Pixel zu vergleichen, berücksichtigen sie das Gesamtbild, die Textur und die visuelle Ähnlichkeit. In den meisten Fällen bedeuten niedrigere Werte, dass das Bild dem Original ähnlicher und für Menschen ansprechender wirkt.

Anwendungen der selbstüberwachten Entrauschung#

Nachdem wir nun besser verstehen, was Entrauschung bedeutet, sehen wir uns an, wie selbstüberwachte Bildentrauschung in der Praxis eingesetzt wird.

Selbstüberwachte Entrauschung in der Astrofotografie#

Klare Fotos von Sternen und Galaxien aufzunehmen, ist nicht einfach. Der Nachthimmel ist dunkel, deshalb benötigen Kameras oft lange Belichtungszeiten, die unerwünschtes Rauschen verursachen können. Dieses Rauschen kann feine kosmische Details verwischen und schwache Signale schwerer erkennbar machen.

Herkömmliche Entrauschungswerkzeuge können das Rauschen verringern, entfernen dabei aber häufig auch wichtige Details. Selbstüberwachte Entrauschung bietet eine intelligentere Alternative. Da das KI-Modell direkt aus verrauschten Bildern lernt, kann es Muster erkennen, die echte Merkmale darstellen, und sie von zufälligem Rauschen unterscheiden.

Das Ergebnis sind deutlich klarere Bilder von Himmelskörpern wie Sternen, Galaxien und der Sonne, auf denen schwache Details sichtbar werden, die sonst möglicherweise unbemerkt blieben. Die Methode kann auch subtile astronomische Merkmale hervorheben, die Bildklarheit verbessern und Daten für die wissenschaftliche Forschung nützlicher machen.

Abb. 3. Die Bildentrauschung kann Astrofotografien verbessern. (Quelle)

Selbstüberwachte Entrauschung in der medizinischen Bildgebung#

Bei medizinischen Aufnahmen wie MRT- und CT-Bildern sowie Mikroskopiebildern tritt häufig Rauschen auf, durch das kleine Details schwerer zu erkennen sind. Das kann problematisch sein, wenn Ärztinnen und Ärzte frühe Krankheitsanzeichen erkennen oder Veränderungen im Zeitverlauf verfolgen müssen.

Bildrauschen kann durch Patientenbewegungen, eine geringe Signalstärke oder Beschränkungen der zulässigen Strahlendosis entstehen. Um medizinische Aufnahmen klarer zu machen, haben Forschende selbstüberwachte Entrauschungsverfahren wie Noise2Self und ähnliche Ansätze untersucht.

In einer Studie wurden solche Modelle direkt mit verrauschten Gehirn-MRT-Bildern trainiert. Sie lernten die Rauschmuster eigenständig und bereinigten die Bilder, ohne dass perfekt klare Beispiele benötigt wurden. Die verarbeiteten Bilder wiesen schärfere Texturen und einen besseren Kontrast auf, wodurch feine Strukturen leichter zu erkennen waren. KI-gestützte Entrauscher wie diese können diagnostische Bildgebungsabläufe vereinfachen und die Analyse beschleunigen.

Abb. 4. Verschiedene selbstüberwachte Entrauschungsverfahren bei MRT-Aufnahmen des Gehirns. (Quelle)

Bildverarbeitungssysteme mit selbstüberwachter Entrauschung verbessern#

Entrauschen kann sich auf zahlreiche Computer-Vision-Anwendungen erheblich auswirken. Durch das Entfernen unerwünschten Rauschens und von Verzerrungen entstehen sauberere und einheitlichere Eingabedaten für Vision-AI-Modelle.

Klarere Bilder verbessern die Leistung bei Computer-Vision-Aufgaben wie Objekterkennung, Instanzsegmentierung und Bilderkennung. Hier sind einige Anwendungsbeispiele, bei denen Vision-AI-Modelle wie Ultralytics YOLO11 und Ultralytics YOLO26 von der Entrauschung profitieren können:

• Industrielle Inspektion: Entrauschen ermöglicht eine präzisere Erkennung von Oberflächenfehlern und Anomalien in der Fertigung und verbessert dadurch die Qualitätskontrolle.
• Autonomes Fahren und Navigation: Sie verbessert die Erkennung von Objekten und Hindernissen unter schwierigen Bedingungen wie wenig Licht, Regen oder Nebel und erhöht so die allgemeine Sicherheit und Zuverlässigkeit.
• Überwachung und Sicherheit: Entrauschung verbessert die Bildqualität bei Videoübertragungen mit wenig Licht oder starker Komprimierung und ermöglicht so eine bessere Identifizierung und Verfolgung von Objekten oder Personen.
• Unterwasserbildgebung: Entrauschung verringert Streuung und Lichtverzerrungen und verbessert so die Sichtbarkeit und Objekterkennung in trübem Wasser.

Vor- und Nachteile der selbstüberwachten Entrauschung#

Hier sind einige wichtige Vorteile der selbstüberwachten Entrauschung in Bildgebungssystemen:

• Anpassungsfähigkeit an Rauschen: Selbstüberwachte Entrauschungsverfahren können direkt aus verrauschten Daten lernen, ohne dass gepaarte, unverrauschte Referenzbilder erforderlich sind. Dadurch lassen sie sich besonders gut an eine große Bandbreite realer Rauschpegel und -arten anpassen, etwa Sensorrauschen, Bewegungsunschärfe oder Umwelteinflüsse.
• Erhalt von Details: Bei sorgfältiger Entwicklung bewahren diese Modelle feine Texturen und Kanten, die für eine genaue Bildinterpretation unerlässlich sind. Verfahren wie Blind-Spot-Netzwerke und maskierungsbasiertes Lernen tragen dazu bei, strukturelle Informationen zu erhalten und gleichzeitig das Rauschen zu verringern.
• Weniger Vorverarbeitung: Indem das Modell ausschließlich mit den verfügbaren Daten lernt, verrauschte Eingaben in saubere Darstellungen umzuwandeln, verringert es den Bedarf an manueller Filterung, eigens entwickelten Entrauschungsalgorithmen und sorgfältig zusammengestellten Trainingsdatensätzen.

Trotz ihrer Vorteile hat die selbstüberwachte Entrauschung auch gewisse Einschränkungen. Hier sind einige Punkte, die du berücksichtigen solltest:

• Rechenaufwand: Tiefe neuronale Architekturen für die selbstüberwachte Entrauschung, insbesondere Transformer-basierte Modelle, können im Vergleich zu herkömmlichen Filterverfahren erhebliche Rechenleistung und Speicherressourcen erfordern.
• Komplexität des Modelldesigns: Um optimale Ergebnisse zu erzielen, müssen Modelleinstellungen wie die Maskierungsstrategie und die Verlustfunktion sorgfältig ausgewählt werden. Die geeignete Wahl kann je nach Rauschart variieren.
• Herausforderungen bei der Bewertung: Gängige Bildqualitätsmetriken stimmen nicht immer damit überein, wie natürlich oder realistisch ein entrauschtes Bild wirkt. Deshalb sind häufig visuelle Prüfungen oder aufgabenspezifische Tests erforderlich.

Die wichtigsten Erkenntnisse#

Selbstüberwachte Entrauschung hilft KI-Modellen, direkt aus verrauschten Bildern zu lernen und klarere Ergebnisse zu erzielen, während feine Details erhalten bleiben. Sie funktioniert in vielen anspruchsvollen Situationen, etwa bei wenig Licht, hohen ISO-Werten und detailreichen Bildern. Mit der Weiterentwicklung der KI werden solche Verfahren wahrscheinlich eine wichtige Rolle in verschiedenen Computer-Vision-Anwendungen spielen.

Werde Teil unserer Community und sieh dir unser GitHub-Repository an, um mehr über KI zu erfahren. Wenn du dein eigenes Vision-AI-Projekt entwickeln möchtest, informiere dich über unsere Lizenzoptionen. Auf unseren Lösungsseiten erfährst du mehr über Anwendungen wie KI im Gesundheitswesen und Vision AI im Einzelhandel.