Diffusionsmodelle

Wie Diffusionsmodelle funktionieren

Der Kerngedanke von Diffusionsmodellen besteht aus zwei Prozessen: einem Vorwärts- (Diffusion) und einem Rückwärtsprozess (Entrauschung).

1. Vorwärtsprozess: In dieser Phase werden reale Daten (z. B. ein Bild aus den Trainingsdaten) verwendet und über viele Schritte hinweg kleine Mengen an Zufallsrauschen hinzugefügt. Nach genügend Schritten ist das ursprüngliche Bild schließlich nicht mehr von reinem Rauschen zu unterscheiden (wie Rauschen auf einem alten Fernsehbildschirm). Dieser Prozess ist feststehend und beinhaltet kein Lernen.
2. Umgekehrter Prozess: Hier findet das Lernen statt. Das Modell, in der Regel eine neuronale Netzarchitektur wie ein U-Netz, wird so trainiert, dass es die Rauschaddition Schritt für Schritt rückgängig macht. Ausgehend von einem zufälligen Rauschen entfernt das Modell iterativ das vorhergesagte Rauschen und verfeinert die Stichprobe allmählich, bis sie den Daten aus der ursprünglichen Trainingsverteilung ähnelt. Dieser erlernte Entrauschungsprozess ermöglicht es dem Modell, völlig neue Daten zu erzeugen. Wichtige Forschungsarbeiten wie Denoising Diffusion Probabilistic Models (DDPM) legten einen Großteil der Grundlagen für moderne Implementierungen.

Beim Training wird dem Modell beigebracht, das Rauschen, das bei jedem Schritt des Vorwärtsprozesses hinzugefügt wurde, genau vorherzusagen. Auf diese Weise lernt das Modell implizit die zugrunde liegende Struktur der Daten.

Schlüsselkonzepte und Konditionierung

Mehrere Konzepte sind für Diffusionsmodelle von zentraler Bedeutung:

• Zeitabschnitte: Die schrittweise Hinzufügung und Entfernung von Rauschen erfolgt über eine Reihe von diskreten Zeitschritten. Das Modell muss oft wissen, welchen Zeitschritt es gerade verarbeitet.
• Rauschzeitplan: Hier wird festgelegt, wie viel Rauschen bei jedem Schritt im Vorwärtsprozess hinzugefügt wird. Unterschiedliche Zeitpläne können sich auf die Qualität von Training und Generierung auswirken.
• Konditionierung: Diffusionsmodelle können so gesteuert werden, dass sie bestimmte Ergebnisse erzeugen. Bei der Text-Bild-Erzeugung wird das Modell beispielsweise auf Textbeschreibungen (Aufforderungen) konditioniert, um entsprechende Bilder zu erzeugen. Dabei kommen oft Mechanismen wie Cross-Attention zum Einsatz.

Diffusionsmodelle im Vergleich zu anderen generativen Modellen

Diffusionsmodelle unterscheiden sich deutlich von anderen gängigen generativen Ansätzen wie Generative Adversarial Networks (GANs):

• Stabilität des Trainings: Diffusionsmodelle bieten im Allgemeinen ein stabileres Training im Vergleich zu GANs, bei denen ein komplexes adversariales Spiel zwischen einem Generator und einem Diskriminator stattfindet, das manchmal nicht konvergieren kann.
• Stichprobenqualität und -vielfalt: Diffusionsmodelle zeichnen sich oft durch eine hohe Qualität und Diversität der Stichproben aus und übertreffen in bestimmten Benchmarks manchmal GANs, allerdings oft auf Kosten einer höheren Inferenzlatenz.
• Geschwindigkeit der Inferenz: Traditionell erfordert die Erstellung einer Stichprobe mit einem Diffusionsmodell viele Denoising-Schritte, was die Inferenz langsamer macht als bei GANs. Durch die Erforschung schnellerer Sampling-Techniken wird diese Lücke jedoch rasch geschlossen. Techniken wie die Wissensdestillation werden ebenfalls erforscht.

Anwendungen in der realen Welt

Diffusionsmodelle treiben die Innovation in verschiedenen Bereichen voran:

• Realitätsnahe Bilderzeugung: Modelle wie Stable Diffusion, Midjourney und Googles Imagen nutzen Diffusionstechniken, um aus Textvorgaben verblüffend realistische und künstlerische Bilder zu erzeugen.
• Bildbearbeitung und Inpainting: Sie können auf intelligente Weise fehlende Teile von Bildern ausfüllen (Inpainting) oder vorhandene Bilder auf der Grundlage von Anweisungen verändern (z. B. Stile ändern, Objekte hinzufügen), was leistungsstarke kreative Werkzeuge wie Adobe Firefly ermöglicht.
• Audio-Synthese: Diffusionsmodelle werden verwendet, um realistische Sprache, Musik und Soundeffekte zu erzeugen, wie in Projekten wie AudioLDM zu sehen ist.
• Wissenschaftliche Entdeckungen: Anwendungen entstehen in Bereichen wie der Arzneimittelforschung zur Erzeugung neuer Molekularstrukturen und in der Physik zur Simulation komplexer Systeme.
• Datenerweiterung: Die Erzeugung synthetischer Daten mit Hilfe von Diffusionsmodellen kann reale Trainingsdaten für Aufgaben wie Objekterkennung oder Bildsegmentierung ergänzen, was die Robustheit von Modellen wie Ultralytics YOLO verbessern kann.

Tools und Entwicklung

Für die Entwicklung und Verwendung von Diffusionsmodellen werden häufig Frameworks wie PyTorch und TensorFlow eingesetzt. Bibliotheken wie die Hugging Face Diffusers-Bibliothek bieten vortrainierte Modelle und Werkzeuge, um die Arbeit mit Diffusionsmodellen zu vereinfachen. Plattformen wie Ultralytics HUB rationalisieren den breiteren Computer-Vision-Workflow, einschließlich der Verwaltung von Datensätzen und der Bereitstellung von Modellen, was generative Workflows ergänzen kann.