Diffusion Models

Diffusionsmodelle sind eine Klasse von generativen KI-Algorithmen, die lernen, neue Datenproben zu erzeugen, indem sie einen schrittweisen Prozess der Rauschzuführung umkehren. Anders als traditionelle diskriminative Modelle, die für Aufgaben wie Objekterkennung oder Klassifikation verwendet werden und aus Daten Beschriftungen vorhersagen, konzentrieren sich Diffusionsmodelle auf die Erzeugung hochwertiger Inhalte – insbesondere Bilder, Audio und Videos –, die die statistischen Eigenschaften realer Daten sehr genau nachahmen. Sie haben sich schnell zur Lösung nach dem Stand der Technik für die Synthese hochauflösender Bilder entwickelt und aufgrund ihrer Trainingsstabilität und ihrer Fähigkeit, vielfältige Ausgaben zu erzeugen, frühere Spitzenreiter wie generative gegnerische Netzwerke (GANs) überholt.

Funktionsweise von Diffusionsmodellen#

Der grundlegende Mechanismus eines Diffusionsmodells basiert auf der Nichtgleichgewichtsthermodynamik. Der Trainingsprozess umfasst zwei klar getrennte Phasen: den Vorwärtsprozess (Diffusion) und den Rückwärtsprozess (Entrauschung).

• Vorwärtsprozess: In dieser Phase wird die Struktur eines Trainingsbildes systematisch zerstört, indem über eine Reihe von Zeitschritten hinweg kleine Mengen gaußschen Rauschens hinzugefügt werden. Im weiteren Verlauf verwandeln sich die komplexen Daten (wie etwa das Foto einer Katze) allmählich in reines, unstrukturiertes Zufallsrauschen.
• Rückwärtsprozess: Das Ziel des neuronalen Netzwerks besteht darin, zu lernen, wie diese Verfälschung rückgängig gemacht wird. Ausgehend von Zufallsrauschen sagt das Modell in jedem Schritt das hinzugefügte Rauschen voraus und zieht es ab. Durch die iterative Entfernung von Rauschen „entrauscht“ das Modell das Zufallssignal, bis ein zusammenhängendes, hochwertiges Bild entsteht.

Diese iterative Verfeinerung ermöglicht eine außergewöhnliche Kontrolle über feine Details und Texturen und ist ein wesentlicher Vorteil gegenüber Verfahren zur Erzeugung in einem einzigen Schritt.

Anwendungen in der Praxis#

Diffusionsmodelle haben die akademische Forschung hinter sich gelassen und sich in verschiedenen Branchen zu praktischen, produktionsreifen Werkzeugen entwickelt.

• Erzeugung synthetischer Daten: Eine der wertvollsten Anwendungen für Ingenieure im Bereich Computer Vision ist die Erstellung synthetischer Daten, um Trainingsdatensätze zu erweitern. Wenn einem Datensatz Vielfalt fehlt – beispielsweise weil Bilder von Autos bei verschneiten Bedingungen fehlen –, kann ein Diffusionsmodell realistische Varianten erzeugen. Dadurch lässt sich die Robustheit von Bildverarbeitungsmodellen wie YOLO26 verbessern, wenn sie in unvorhersehbaren Umgebungen eingesetzt werden.
• Bild-Inpainting und -Bearbeitung: Diffusionsmodelle ermöglichen fortschrittliche Bearbeitungswerkzeuge, mit denen bestimmte Bildbereiche verändert werden können. Diese als Inpainting bezeichnete Technik kann unerwünschte Objekte entfernen oder fehlende Teile eines Fotos anhand des umgebenden Kontexts ergänzen. Architekten und Designer nutzen sie für schnelles Prototyping und zur Visualisierung von Änderungen an Produkten oder Umgebungen, ohne manuelle 3D-Renderings zu benötigen.

Wichtige Begriffe im Vergleich#

Es ist hilfreich, Diffusionsmodelle von anderen generativen Architekturen zu unterscheiden:

• Diffusionsmodelle im Vergleich zu GANs: Während GANs zwei konkurrierende Netzwerke (einen Generator und einen Diskriminator) verwenden und für eine schnelle Stichprobenerzeugung bekannt sind, leiden sie häufig unter einem „Mode Collapse“, bei dem das Modell nur eine begrenzte Vielfalt an Ausgaben erzeugt. Diffusionsmodelle sind beim Training im Allgemeinen stabiler und bilden die Datenverteilung umfassender ab, können bei der Inferenz jedoch langsamer sein.
• Diffusionsmodelle im Vergleich zu VAEs: Variationale Autoencoder (VAEs) komprimieren Daten in einen latenten Raum und rekonstruieren sie anschließend. VAEs sind zwar schnell, aber ihre erzeugten Bilder können im Vergleich zu den scharfen Details, die durch Diffusionsprozesse entstehen, mitunter verschwommen wirken.

Praktische Umsetzung#

Das Training eines Diffusionsmodells von Grund auf erfordert zwar erhebliche Rechenleistung, doch Ingenieure können vortrainierte Modelle nutzen oder sie zusammen mit effizienten Detektoren in Arbeitsabläufe integrieren. Du könntest beispielsweise ein Diffusionsmodell verwenden, um Hintergrundvarianten für einen Datensatz zu erzeugen, und anschließend die Ultralytics Platform nutzen, um ein Erkennungsmodell für diese erweiterten Daten zu annotieren und zu trainieren.

Unten findest du ein konzeptionelles Beispiel mit torch, das einen einfachen Diffusionsschritt im Vorwärtsprozess (Hinzufügen von Rauschen) simuliert, auf dem das Training dieser Systeme basiert.

import torch


def add_noise(image_tensor, noise_level=0.1):
    """Simulates a single step of the forward diffusion process by adding Gaussian noise."""
    # Generate Gaussian noise with the same shape as the input image
    noise = torch.randn_like(image_tensor) * noise_level

    # Add noise to the original image
    noisy_image = image_tensor + noise

    # Clamp values to ensure they remain valid image data (e.g., 0.0 to 1.0)
    return torch.clamp(noisy_image, 0.0, 1.0)


# Create a dummy image tensor (3 channels, 64x64 pixels)
dummy_image = torch.rand(1, 3, 64, 64)
noisy_result = add_noise(dummy_image)

print(f"Original shape: {dummy_image.shape}, Noisy shape: {noisy_result.shape}")

Zukünftige Entwicklungen#

Das Fachgebiet entwickelt sich rasch in Richtung latenter Diffusionsmodelle (LDMs), die zur Verringerung des Rechenaufwands in einem komprimierten latenten Raum statt im Pixelraum arbeiten. Diese Effizienz macht es möglich, leistungsstarke generative Modelle auf Geräten für Endverbraucher auszuführen. Mit dem Fortschritt der Forschung erwarten wir eine engere Integration zwischen generativen Eingaben und diskriminativen Aufgaben, beispielsweise durch die Verwendung von durch Diffusion erzeugten Szenarien zur Validierung der Sicherheit autonomer Fahrzeuge oder zur Verbesserung der medizinischen Bildanalyse durch die Simulation seltener Pathologien.