Verwendung von selbstüberwachtem Lernen zur Bildentrauschung

Bilder sind Teil unseres täglichen Lebens, von den Fotos, die wir aufnehmen, bis zu den Videos, die von Kameras an öffentlichen Orten aufgezeichnet werden. Sie enthalten aufschlussreiche Informationen, und modernste Technologie macht es möglich, diese Daten zu analysieren und zu interpretieren.

Insbesondere Computer Vision, ein Teilbereich der künstlichen Intelligenz (KI), ermöglicht es Maschinen, visuelle Informationen zu verarbeiten und zu verstehen, was sie sehen, ganz ähnlich wie Menschen. In realen Anwendungen sind Bilder jedoch oft alles andere als perfekt.

Bildrauschen, verursacht durch Regen, Staub, schlechte Lichtverhältnisse oder Sensorbeschränkungen, kann wichtige Details verbergen und es für Vision AI-Modelle schwieriger machen, Objekte zu erkennen oder Szenen präzise zu interpretieren. Bildentrauschung hilft, dieses Rauschen zu reduzieren, wodurch Vision AI-Modelle Details klarer sehen und bessere Vorhersagen treffen können.

Abb. 1. Ein Beispiel für die Entrauschung eines Bildes. (Quelle)

Traditionell basiert die Bildentrauschung auf überwachtem Lernen (Supervised Learning), bei dem Modelle mit Paaren aus verrauschten und sauberen Bildern trainiert werden, um zu lernen, wie Rauschen entfernt wird. Das Sammeln von perfekt sauberen Referenzbildern ist jedoch nicht immer praktikabel.

Um diese Herausforderung anzugehen, haben Forscher selbstüberwachte Bildentrauscher entwickelt. Sie zielen darauf ab, KI-Modelle darauf zu trainieren, direkt aus den Daten zu lernen, indem sie ihre eigenen Lernsignale erzeugen, um Rauschen zu entfernen und wichtige Details zu erhalten, ohne dass saubere Referenzbilder benötigt werden.

In diesem Artikel werfen wir einen genaueren Blick auf selbstüberwachte Bildentrauscher, ihre Funktionsweise, die zugrunde liegenden Schlüsseltechniken und ihre realen Anwendungen. Fangen wir an!

Link to this sectionWas ist selbstüberwachte Bildentrauschung?#

Verrauschte Bilder können es für Vision AI-Modelle schwierig machen, den Inhalt eines Bildes zu interpretieren. Ein Foto, das bei schlechten Lichtverhältnissen aufgenommen wurde, kann beispielsweise körnig oder verschwommen wirken, wodurch subtile Merkmale verborgen bleiben, die einem Modell helfen, Objekte genau zu identifizieren.

Bei der auf überwachtem Lernen basierenden Entrauschung werden Modelle mit Bildpaaren trainiert, einem verrauschten und einem sauberen, um zu lernen, wie unerwünschtes Rauschen entfernt wird. Obwohl dieser Ansatz gut funktioniert, ist das Sammeln von perfekt sauberen Referenzdaten in realen Szenarien oft zeitaufwändig und schwierig.

Deshalb haben sich Forscher der selbstüberwachten Bildentrauschung zugewandt. Sie baut auf dem Konzept des selbstüberwachten Lernens auf, bei dem sich Modelle selbst unterrichten, indem sie ihre eigenen Lernsignale aus den Daten erzeugen.

Da diese Methode nicht von großen beschrifteten Datensätzen abhängt, ist die selbstüberwachte Entrauschung schneller, skalierbarer und einfacher in Bereichen wie Low-Light-Fotografie, medizinischer Bildgebung und Satellitenbildanalyse anzuwenden, in denen saubere Referenzbilder oft nicht verfügbar sind.

Anstatt sich auf saubere Referenzbilder zu verlassen, trainiert dieser Ansatz direkt mit verrauschten Daten, indem maskierte Pixel vorhergesagt oder fehlende Teile rekonstruiert werden. Durch diesen Prozess lernt das Modell, den Unterschied zwischen aussagekräftigen Bilddetails und zufälligem Rauschen zu erkennen, was zu klareren und genaueren Ergebnissen führt.

Obwohl es dem unüberwachten Lernen ähnlich erscheinen mag, ist selbstüberwachtes Lernen tatsächlich ein Spezialfall davon. Der entscheidende Unterschied ist, dass das Modell beim selbstüberwachten Lernen seine eigenen Beschriftungen oder Trainingssignale aus den Daten erstellt, um eine bestimmte Aufgabe zu lernen. Im Gegensatz dazu konzentriert sich unüberwachtes Lernen darauf, verborgene Muster oder Strukturen in Daten ohne explizite Aufgabe oder vordefiniertes Ziel zu finden.

Link to this sectionLernstrategien bei der selbstüberwachten Entrauschung#

In Bezug auf die selbstüberwachte Entrauschung gibt es verschiedene Arten, wie das Lernen erfolgt. Einige selbstüberwachte Entrauschungsmodelle füllen maskierte oder fehlende Pixel auf, während andere mehrere verrauschte Versionen desselben Bildes vergleichen, um konsistente Details zu finden.

Beispielsweise konzentriert sich eine beliebte Methode namens Blind-Spot-Learning darauf, das Entrauschungsmodell so zu trainieren, dass es das Pixel, das es gerade rekonstruiert, ignoriert und sich stattdessen auf den umliegenden Kontext verlässt. Im Laufe der Zeit baut das Modell hochwertige Bilder wieder auf und bewahrt dabei wesentliche Texturen, Kanten und Farben.

Link to this sectionWie selbstüberwachtes Lernen zur Rauschentfernung funktioniert#

Als Nächstes werden wir den Prozess untersuchen, wie selbstüberwachtes Lernen Rauschen entfernt.

Der Prozess der selbstüberwachten Entrauschung beginnt typischerweise damit, verrauschte Bilder in das Entrauschungsmodell einzuspeisen. Das Modell analysiert nahegelegene Pixel, um abzuschätzen, wie jedes unklare oder maskierte Pixel aussehen sollte, und lernt allmählich, den Unterschied zwischen Rauschen und echten visuellen Details zu erkennen.

Stell dir ein Bild eines dunklen, körnigen Himmels vor. Das Modell betrachtet nahegelegene Sterne und umliegende Muster, um vorherzusagen, wie jedes verrauschte Stück ohne das Rauschen aussehen sollte. Durch die Wiederholung dieses Prozesses über das gesamte Bild lernt es, zufälliges Rauschen von aussagekräftigen Merkmalen zu trennen, was ein klareres und genaueres Ergebnis liefert.

Mit anderen Worten: Das Modell sagt eine sauberere Version des Bildes basierend auf dem Kontext voraus, ohne jemals eine perfekt saubere Referenz zu benötigen. Dieser Prozess kann mit verschiedenen Arten von Modellen implementiert werden, von denen jedes seine eigenen Stärken bei der Rauschbehandlung hat.

Link to this sectionArten von Modellen für die selbstüberwachte Bildrauschreduzierung#

Hier ist ein kurzer Überblick über die Arten von Modellen, die üblicherweise für die selbstüberwachte Bildentrauschung verwendet werden:

• Convolutional Neural Networks (CNNs): CNNs sind Deep-Learning-Modelle, die darauf ausgelegt sind, Muster in kleinen Bereichen eines Bildes zu erkennen. Sie scannen Bilder mithilfe von Filtern, um Kanten, Formen und Texturen zu detektieren. Bei der selbstüberwachten Entrauschung verwenden sie oft Blind-Spot-Techniken, bei denen das Zielpixel von der Eingabe ausgeschlossen wird, sodass das Modell seinen Wert nur basierend auf den umgebenden Pixeln vorhersagt. Dies hilft dem Modell, das Kopieren von Rauschen zu vermeiden und stattdessen sauberere Details abzuleiten.
• Autoencoder: Autoencoder sind neuronale Netze, die lernen, Daten zu komprimieren und zu rekonstruieren. Sie reduzieren ein Bild zunächst auf eine kleinere Repräsentation (Kodierung) und bauen es dann wieder auf (Dekodierung). Dabei lernen sie, wichtige visuelle Merkmale wie Formen und Texturen zu erfassen, während sie zufälliges Rauschen und irrelevante Details herausfiltern.
• Transformer-basierte Modelle: Transformer sind Modelle, die ursprünglich für die natürliche Sprachverarbeitung entwickelt wurden, heute aber weit verbreitet für Vision-Aufgaben eingesetzt werden. Sie verarbeiten das gesamte Bild auf einmal und lernen, wie verschiedene Regionen zueinander in Beziehung stehen. Diese globale Perspektive ermöglicht es ihnen, feine Details und strukturelle Konsistenz selbst in komplexen oder hochauflösenden Bildern zu bewahren.

Abb. 2. Ein Blick auf eine CNN-basierte Architektur für die selbstüberwachte Bildentrauschung. (Quelle)

Das Trainieren dieser Modelle mit Bildern, die bei unterschiedlichen Lichtverhältnissen und ISO-Einstellungen aufgenommen wurden, hilft ihnen, in vielen realen Situationen gut zu funktionieren. In Digitalkameras steuern ISO-Einstellungen, wie stark die Kamera das Bild durch Verstärkung des Signals aufhellt.

Ein höherer ISO-Wert macht Fotos in dunklen Umgebungen heller, erhöht aber auch das Rauschen und verringert die Details. Indem die Modelle aus Bildern lernen, die bei unterschiedlichen ISO-Stufen aufgenommen wurden, werden sie besser darin, echte Details von Rauschen zu unterscheiden, was zu klareren und genaueren Ergebnissen führt.

Link to this sectionWie lernt ein Entrauscher, was Rauschen und was echt ist?#

Entrauscher lernen, Rauschen von echten Bilddetails durch verschiedene Trainingstechniken zu unterscheiden, die von den für die Entrauschung verwendeten Modelltypen getrennt sind. Modelltypen wie CNNs, Autoencoder und Transformer beschreiben die Struktur des Netzwerks und wie es visuelle Informationen verarbeitet.

Trainingstechniken hingegen definieren, wie das Modell lernt. Einige Methoden verwenden kontextbasierte Vorhersage, bei der das Modell fehlende oder maskierte Pixel mithilfe von Informationen aus nahegelegenen Bereichen ausfüllt.

Andere verwenden rekonstruktionsbasiertes Lernen, bei dem das Modell ein Bild in eine einfachere Form komprimiert und dann wieder aufbaut, was ihm hilft, aussagekräftige Strukturen wie Kanten und Texturen zu erkennen und gleichzeitig zufälliges Rauschen herauszufiltern.

Zusammen bestimmen Modelltyp und Trainingstechnik, wie effektiv ein Entrauscher Bilder säubern kann. Durch die Kombination der richtigen Architektur mit dem richtigen Lernansatz können sich selbstüberwachte Entrauscher an viele Arten von Rauschen anpassen und klarere, genauere Bilder liefern, selbst ohne saubere Referenzdaten.

Link to this sectionSchlüsseltechniken der selbstüberwachten KI-Bildentrauschung#

Hier sind einige der am weitesten verbreiteten Trainingstechniken, die eine effektive selbstüberwachte Bildentrauschung ermöglichen:

• Noise2Noise: Diese Methode trainiert ein Modell mit zwei verrauschten Versionen desselben Bildes. Da das Rauschen in jeder Version zufällig ist, lernt das Modell, sich auf konsistente Details zu konzentrieren, die das echte Bild darstellen, und das Rauschen zu ignorieren. Es funktioniert am besten, wenn mehrere verrauschte Aufnahmen derselben Szene verfügbar sind, wie bei Serienaufnahmen oder in der medizinischen und wissenschaftlichen Bildgebung.
• Noise2Void oder Noise2Self: Diese Techniken trainieren mit einem einzelnen verrauschten Bild, indem ein Pixel versteckt (maskiert) wird und das Modell aufgefordert wird, seinen Wert basierend auf den umgebenden Pixeln vorherzusagen. Dies verhindert, dass das Modell einfach verrauschte Daten kopiert, und hilft ihm, die natürliche Struktur von Bildern zu lernen. Sie sind besonders nützlich, wenn nur ein verrauschtes Bild verfügbar ist, etwa in der Mikroskopie, Astronomie oder Low-Light-Fotografie.
• Blind-Spot-Netzwerke: Sie sind speziell so konzipiert, dass das Modell das Pixel, das es gerade rekonstruiert, nicht sehen kann. Stattdessen stützt es sich auf Informationen aus der Umgebung, um abzuschätzen, wie dieses Pixel aussehen sollte. Dies macht die Rauschentfernung genauer und unvoreingenommen, und sie werden oft mit Noise2Void- oder Noise2Self-Methoden bei pixelbasierten Entrauschungsaufgaben kombiniert.
• Masked Autoencoders (MAE): Bei diesem Ansatz werden Teile eines Bildes versteckt, und das Modell lernt, die fehlenden Bereiche zu rekonstruieren. Dadurch lernt es sowohl feine Details als auch die Gesamtstruktur, was ihm hilft, echte Inhalte von Rauschen zu unterscheiden. Maskierte Autoencoder sind besonders effektiv für hochauflösende oder komplexe Bilder, bei denen das Verständnis des breiteren Kontextes die Wiederherstellung verbessert.

Link to this sectionBewertung von Bildentrauschungssystemen#

Bildentrauschung ist ein sorgfältiger Balanceakt zwischen zwei Zielen: Rauschen reduzieren und feine Details intakt halten. Zu viel Entrauschung kann ein Bild weich oder verschwommen wirken lassen, während zu wenig unerwünschtes Korn oder Artefakte hinterlassen kann.

Um zu verstehen, wie gut ein Modell dieses Gleichgewicht hält, verwenden Forscher Bewertungsmetriken, die sowohl die Bildklarheit als auch die Detailerhaltung messen. Diese Metriken zeigen, wie gut ein Modell ein Bild säubert, ohne wichtige visuelle Informationen zu verlieren.

Hier sind gängige Bewertungsmetriken, die dabei helfen, die Bildqualität und die Entrauschungsleistung zu messen:

• Mean Squared Error (MSE): Dies misst den durchschnittlichen quadratischen Unterschied zwischen dem Original- und dem entrauschten Bild. Es verdeutlicht, wie nah die Ausgabe auf Pixelebene am Original liegt. Niedrigere MSE-Werte bedeuten weniger Fehler und ein genaueres Ergebnis.
• Peak Signal-to-Noise Ratio (PSNR): Diese Metrik vergleicht die Stärke des ursprünglichen Bildsignals mit dem verbleibenden Rauschen, ausgedrückt in Dezibel. Sie wird verwendet, um zu sehen, wie viel vom ursprünglichen Detail nach der Entrauschung erhalten geblieben ist. Höhere PSNR-Werte bedeuten klarere Bilder in höherer Qualität.
• Structural Similarity Index Measure (SSIM): SSIM bewertet Struktur, Helligkeit und Kontrast, um die Ähnlichkeit zwischen dem entrauschten Bild und dem Original zu bewerten. Es konzentriert sich darauf, wie Menschen Bilder sehen, nicht nur auf reine Zahlen. Höhere SSIM-Werte bedeuten, dass das Bild natürlicher und originalgetreuer wirkt.
• Perzeptuelle Metriken: Diese Metriken verwenden Deep Learning-Modelle, um zu beurteilen, wie realistisch und natürlich ein Bild aussieht. Anstatt einzelne Pixel zu vergleichen, konzentrieren sie sich auf das Gesamterscheinungsbild, die Textur und die visuelle Ähnlichkeit. In den meisten Fällen bedeuten niedrigere Werte, dass das Bild dem Original näher kommt und für Menschen visuell ansprechender wirkt.

Link to this sectionAnwendungen der selbstüberwachten Entrauschung#

Nachdem wir nun ein besseres Verständnis davon haben, was Entrauschung ist, lassen uns untersuchen, wie selbstüberwachte Bildentrauschung in realen Szenarien angewendet wird.

Link to this sectionVerwendung selbstüberwachter Entrauschung in der Astrofotografie#

Klare Fotos von Sternen und Galaxien aufzunehmen, ist nicht einfach. Der Nachthimmel ist dunkel, daher erfordern Kameras oft lange Belichtungszeiten, was unerwünschtes Rauschen einführen kann. Dieses Rauschen kann feine kosmische Details verwischen und schwache Signale schwerer erkennbar machen.

Herkömmliche Entrauschungstools können helfen, Rauschen zu reduzieren, entfernen dabei aber oft wichtige Details. Selbstüberwachte Entrauschung bietet eine intelligentere Alternative. Indem es direkt aus verrauschten Bildern lernt, kann das KI-Modell Muster erkennen, die echte Merkmale darstellen, und diese von zufälligem Rauschen trennen.

Das Ergebnis sind viel klarere Bilder von Himmelsobjekten wie Sternen, Galaxien und der Sonne, die schwache Details enthüllen, die sonst unbemerkt bleiben könnten. Es kann auch subtile astronomische Merkmale verstärken, die Bildklarheit verbessern und Daten für die wissenschaftliche Forschung nützlicher machen.

Abb. 3. Bildentrauschung kann Astrofotografie-Bilder verbessern. (Quelle)

Link to this sectionSelbstüberwachte Entrauschung für die medizinische Bildgebung#

Medizinische Scans wie MRTs, CTs und mikroskopische Bilder nehmen oft Rauschen auf, das kleine Details schwerer erkennbar machen kann. Dies kann ein Problem sein, wenn Ärzte frühe Anzeichen von Krankheiten erkennen oder Veränderungen über die Zeit verfolgen müssen.

Bildrauschen kann durch Patientenbewegung, geringe Signalstärke oder Beschränkungen der Strahlendosis entstehen. Um medizinische Scans klarer zu machen, haben Forscher selbstüberwachte Entrauschungsmethoden wie Noise2Self und ähnliche Ansätze untersucht.

Diese Modelle werden direkt mit verrauschten MRT-Gehirnscans trainiert, wobei sie die Rauschmuster eigenständig lernen und diese ohne perfekt klare Beispiele bereinigen. Die verarbeiteten Bilder zeigten schärfere Texturen und einen besseren Kontrast, wodurch feine Strukturen leichter identifizierbar wurden. Solche KI-gestützten Entrauscher optimieren den Arbeitsablauf in der diagnostischen Bildgebung und verbessern die Effizienz der Echtzeitanalyse.

Abb. 4. Einsatz verschiedener selbstüberwachter Entrauschungstechniken bei MRT-Gehirnscans. (Quelle)

Link to this sectionVision-Systeme verbessern durch selbstüberwachte Entrauschung#

In den meisten Fällen hat die Entrauschung einen erheblichen Einfluss auf eine Vielzahl von Computer-Vision-Anwendungen. Durch das Entfernen von unerwünschtem Rauschen und Verzerrungen entstehen sauberere und konsistentere Eingabedaten, die von Vision AI-Modellen verarbeitet werden können.

Klarere Bilder führen zu verbesserter Leistung bei Computer-Vision-Aufgaben wie Objekterkennung, Instanzsegmentierung und Bilderkennung. Hier sind einige Beispiele für Anwendungen, bei denen Vision AI-Modelle wie Ultralytics YOLO11 und Ultralytics YOLO26 von der Entrauschung profitieren können:

• Industrielle Inspektion: Entrauschung ermöglicht eine genauere Erkennung von Oberflächenfehlern oder Anomalien in Fertigungsumgebungen, was zu einer verbesserten Qualitätskontrolle führt.
• Autonomes Fahren und Navigation: Sie verbessert die Objekt- und Hinderniserkennung unter herausfordernden Bedingungen wie schlechter Beleuchtung, Regen oder Nebel und erhöht die allgemeine Sicherheit und Zuverlässigkeit.
• Überwachung und Sicherheit: Entrauschung verbessert die Bildqualität bei Video-Feeds mit schlechten Lichtverhältnissen oder hoher Kompression, was eine bessere Identifizierung und Verfolgung von Objekten oder Personen ermöglicht.
• Unterwasserbildgebung: Entrauschung reduziert Streuung und Lichtverzerrungen und verbessert so die Sicht und Objekterkennung unter trüben Unterwasserbedingungen.

Link to this sectionVor- und Nachteile der selbstüberwachten Entrauschung#

Hier sind einige wichtige Vorteile der Verwendung von selbstüberwachter Entrauschung in Bildgebungssystemen:

• Rauschanpassungsfähigkeit: Selbstüberwachte Entrauschungsmethoden können direkt aus verrauschten Daten lernen, ohne gepaarte saubere Referenzen zu benötigen. Dies macht sie hochgradig anpassungsfähig an eine Vielzahl realer Rauschpegel und -arten wie Sensorrauschen, Bewegungsunschärfe oder Umgebungsstörungen.
• Detailerhaltung: Bei gutem Design bewahren diese Modelle feine Texturen und Kanten, die für eine genaue Bildinterpretation unerlässlich sind. Ansätze wie Blind-Spot-Netzwerke und maskenbasiertes Lernen helfen dabei, strukturelle Informationen beizubehalten und gleichzeitig das Rauschen zu reduzieren.
• Weniger Vorverarbeitung: Indem das Modell lernt, verrauschte Eingaben unter Verwendung nur der verfügbaren Daten auf saubere Repräsentationen abzubilden, minimiert es die Notwendigkeit für manuelle Filterung, handgefertigte Entrauschungsalgorithmen oder kuratierte Trainingsdatensätze.

Trotz ihrer Vorteile hat die selbstüberwachte Entrauschung auch bestimmte Einschränkungen. Hier sind einige Faktoren, die berücksichtigt werden sollten:

• Rechenanforderungen: Deep-Neural-Architekturen, die für selbstüberwachte Entrauschung verwendet werden, insbesondere Transformer-basierte Modelle, können im Vergleich zu herkömmlichen Filtertechniken erhebliche Rechenleistung und Speicherressourcen erfordern.
• Komplexität des Modelldesigns: Das Erreichen optimaler Ergebnisse erfordert eine sorgfältige Auswahl der Modelleinstellungen, wie etwa der Maskierungsstrategie und der Verlustfunktion, die je nach Rauschtyp variieren können.
• Bewertungsherausforderungen: Gängige Bildqualitätsmetriken stimmen nicht immer damit überein, wie natürlich oder realistisch ein entrauschtes Bild aussieht, daher sind oft visuelle oder aufgabenspezifische Prüfungen erforderlich.

Link to this sectionWichtige Erkenntnisse#

Selbstüberwachte Entrauschung hilft KI-Modellen, direkt aus verrauschten Bildern zu lernen, wodurch klarere Ergebnisse bei gleichzeitigem Erhalt feiner Details erzielt werden. Sie funktioniert effektiv in einer Vielzahl herausfordernder Szenarien wie schlechter Beleuchtung, hohen ISO-Werten und detailreichen Bildern. Während sich die KI weiterentwickelt, werden solche Techniken wahrscheinlich eine wesentliche Rolle in verschiedenen Computer-Vision-Anwendungen spielen.

Werde Teil unserer Community und entdecke unser GitHub-Repository, um mehr über KI zu erfahren. Wenn du dein eigenes Vision AI-Projekt aufbauen möchtest, schau dir unsere Lizenzoptionen an. Erfahre mehr über Anwendungen wie KI im Gesundheitswesen und Vision AI im Einzelhandel, indem du unsere Lösungsseiten besuchst.