Text-to-Image

Text-zu-Bild-Generierung bezeichnet das Erstellen eines neuen Bildes anhand einer natürlichsprachlichen Beschreibung, der sogenannten Eingabeaufforderung. Ein Text-zu-Bild-Modell lernt aus Hunderten Millionen bis Milliarden Bild-Beschreibungs-Paaren, wie Wörter mit visuellen Inhalten zusammenhängen. Anschließend wandelt es eine Eingabeaufforderung wie „ein rotes Fahrrad, das bei Sonnenuntergang an einer Backsteinmauer lehnt“ in ein zuvor nicht existierendes Bild um. Dies ist eine zentrale Anwendung generativer KI, die natürliche Sprachverarbeitung (NLP) und Computer Vision verbindet. Die meisten aktuellen Systeme, darunter Stable Diffusion, FLUX und Googles Imagen, sind Diffusions- oder Flussmodelle. Andere Systeme, etwa die Bildgenerierung, die OpenAI 2025 in GPT-4o integrierte, erzeugen Bilder autoregressiv als Tokenfolgen.

So funktionieren Text-zu-Bild-Modelle#

Ein Text-Encoder wandelt die Eingabeaufforderung zunächst in Embeddings um. Frühe Versionen von Stable Diffusion verwendeten OpenAIs CLIP-Text-Encoder. Googles Imagen zeigte, dass eine Vergrößerung des eingefrorenen Sprach-Encoders bis hin zum T5-XXL-Modell sowohl die Bildqualität als auch die Übereinstimmung zwischen Bild und Text deutlich stärker verbesserte als eine Vergrößerung des Bildgenerators. Anschließend startet der Generator mit zufälligem Rauschen und entfernt es in 20 bis 50 Schritten, meist im komprimierten Raum eines latenten Diffusionsmodells. Dabei ermöglichen Cross-Attention- oder gemeinsame Attention-Schichten jedem Bildbereich, die Eingabeaufforderung zu berücksichtigen. Classifier-free Guidance vergleicht die Modellvorhersage mit und ohne Eingabeaufforderung und verstärkt den Unterschied. Ein höherer Guidance-Wert sorgt daher für eine engere Befolgung der Eingabeaufforderung, verringert aber die Vielfalt. Ein Decoder wandelt schließlich den fertigen latenten Vektor in Pixel um.

Die Trainingsdaten bestimmen, was ein Modell zeichnen kann. Stable Diffusion wurde mit Teilmengen von LAION-5B trainiert, einer Sammlung von 5,85 Milliarden Bild-Text-Paaren aus dem Internet. OpenAIs DALL-E 3 verbesserte die Umsetzung von Eingabeaufforderungen, indem es mit ausführlichen synthetischen Bildbeschreibungen statt mit den kurzen Alternativtexten trainiert wurde, die die meisten Webbilder begleiten. Daten im Umfang des Internets bringen auch Probleme mit sich: LAION zog LAION-5B im Dezember 2023 zurück, nachdem ein Bericht des Stanford Internet Observatory darin Links zu Material über sexuellen Kindesmissbrauch gefunden hatte. Im August 2024 veröffentlichte das Unternehmen die bereinigte Version Re-LAION-5B.

Modellfamilien#

• Diffusions- und Flow-Modelle: Entrauschen ein Bild oder einen latenten Vektor in vielen Schritten. Zu dieser Familie gehören DALL-E 2 und 3, Imagen, Stable Diffusion und FLUX. Neuere Modelle ersetzen den U-Net-Entrauscher durch einen Diffusion-Transformer, der mit korrigiertem Flow trainiert wird.
• Autoregressive Modelle: Wandeln Bilder in diskrete Tokens um und sagen sie mithilfe eines Transformers nacheinander voraus. Diesen Ansatz nutzten das ursprüngliche DALL-E von 2021 und Googles Parti. OpenAI beschreibt die im März 2025 eingeführte Bildgenerierung von GPT-4o als autoregressives Modell, das nativ in ChatGPT eingebettet ist – anders als das diffusionsbasierte DALL-E.
• Generative adversariale Netze: Erzeugen ein Bild in einem Vorwärtsdurchlauf. Textgesteuerte GANs wie AttnGAN kamen vor den Diffusionsmodellen auf. Sie lassen sich schneller abtasten, setzen komplexe Eingabeaufforderungen aber weniger zuverlässig um.

Generierte Bilder bewerten#

Fréchet Inception Distance (FID) vergleicht die statistischen Eigenschaften generierter und echter Bilder, um Qualität und Vielfalt zu messen. Der CLIP-Score misst, wie gut ein Bild in einem gemeinsamen Embedding-Raum zu seiner Eingabeaufforderung passt. Keiner der beiden Werte prüft Einzelheiten wie Anzahl und Position der Objekte. Deshalb lässt GenEval ein Objekterkennungsmodell auf generierten Bildern laufen, um das gemeinsame Auftreten, die Position und die Anzahl der Objekte zu prüfen. Für die Farbbewertung kommen weitere Bildverarbeitungsmodelle zum Einsatz. Öffentliche Vergleichsplattformen ordnen kommerzielle und offene Modelle anhand vieler Tausend paarweiser menschlicher Bewertungen ein, die sowohl die Ästhetik als auch die Übereinstimmung mit der Eingabeaufforderung erfassen.

Text-zu-Bild im Vergleich zu verwandten Begriffen#

• Bildbeschriftung: Die umgekehrte Richtung: Eine Textbeschreibung eines vorhandenen Bildes wird erzeugt.
• Text-zu-Video: Erzeugt eine Bildfolge, die über die Zeit konsistent bleiben muss. Dadurch steigen Rechen- und Datenbedarf gegenüber einem Text-zu-Bild-Modell erheblich.
• Bild-Inpainting und Bild-zu-Bild: Gehen von einem vorhandenen Bild aus und ändern anhand einer Eingabeaufforderung einen Teil oder das gesamte Bild. Dafür werden dieselben Modelle mit einer zusätzlichen Bildeingabe verwendet.
• Vision-Language-Modelle: Verarbeiten Bilder und Text und antworten mit Text. Nativ multimodale Modelle wie GPT-4o und Gemini haben die Bildgenerierung um das Bildverständnis erweitert.

Anwendungsfälle und Risiken#

Designer, Spieleentwickler und Marketingteams nutzen Text-zu-Bild-Modelle, um Konzepte zu erkunden und Produktbilder zu erstellen. Teams für Bildverarbeitung setzen sie ein, um synthetische Daten für seltene Klassen, Fehler und schwer zu fotografierende Bedingungen zu erzeugen. Auf der Ultralytics Platform beschreibt die Aktion Ähnliche Bilder generieren neue Szenen, die von einem Datensatzbild inspiriert sind, und erzeugt ein Bild pro Beschreibung. Optional kannst du Anweisungen zu Beleuchtung, Perspektive, Hintergrund oder Objekten geben. Bilder, die Nutzer behalten, werden unlabeled in den Datensatz aufgenommen und sind bereit für die Annotation. Synthetische Bilder helfen nur, wenn sie dem entsprechen, was dem Modell fehlt:

Dieser Realismus birgt auch Risiken. Modelle reproduzieren die Verzerrungen ihrer Trainingsdaten und können überzeugende Deepfakes erzeugen. Anbieter begegnen dem mit KI-Wasserzeichen wie Googles SynthID und C2PA Content Credentials – signierten Metadaten, die festhalten, welches Werkzeug ein Bild erstellt oder bearbeitet hat.