Text Generation

Textgenerierung ist die automatische Erzeugung geschriebener Sprache durch ein Modell – von einer einzeiligen Antwort bis hin zu einem vollständigen Bericht oder Programm. Heute übernehmen das meist große Sprachmodelle (LLMs), die autoregressiv arbeiten: Ausgehend von einer Eingabeaufforderung berechnet das Modell für jedes Token seines Wortschatzes eine Wahrscheinlichkeit, wählt ein Token aus, hängt es an und wiederholt den Vorgang, bis es stoppt. Derselbe Ablauf steuert Chat-Assistenten, Codevervollständigung, maschinelle Übersetzung und Textzusammenfassung. Frühere Systeme füllten Vorlagen aus oder erzeugten Texte anhand von N-Gramm- und rekurrenten neuronalen Netzen. Der Transformer machte ab GPT-2 im Jahr 2019 lange, zusammenhängende Ausgaben praktikabel.

So funktioniert die autoregressive Textgenerierung#

Die Tokenisierung wandelt die Eingabeaufforderung in Token-IDs um. Das Modell verarbeitet alle IDs in einem parallelen Prefill-Durchlauf und speichert die Attention-Schlüssel und -Werte jedes Tokens in einem KV-Cache. Bei jedem Decodierschritt wird anschließend nur das neueste Token durch das Modell geleitet. Das Modell liest den Cache und erzeugt Logits – einen Rohwert pro Eintrag im Wortschatz –, die ein Softmax in Wahrscheinlichkeiten umwandelt. Eine Decodierstrategie wählt das nächste Token aus, das an den Nutzer ausgegeben und an die Sequenz angehängt wird. Die Generierung endet bei einem End-of-Sequence-Token, einer Stoppzeichenfolge oder einer Token-Begrenzung. Die Ausgabelänge wird also während der Generierung bestimmt:

Prefill ist rechenintensiv, während die Decodierung durch die Speicherbandbreite begrenzt ist. Bereitstellungs-Engines planen die beiden Vorgänge daher sorgfältig, zum Beispiel mit Chunked Prefill. Beim Streaming zeigen Anwendungen den Text an, sobald er entsteht: Die Ultralytics-LLM-Schnittstelle reicht stream=True an das OpenAI SDK weiter. So kann eine YOLO26-Anwendung die Beschreibung einer erkannten Szene durch das Modell Token für Token ausgeben, sobald jedes response.output_text.delta-Ereignis eintrifft.

Decodierstrategien#

Die Decodierstrategie prägt die Ausgabe ebenso stark wie das Modell. Beim Greedy-Decoding wird immer das wahrscheinlichste Token ausgewählt. Das Verfahren ist deterministisch, neigt aber zu Wiederholungen. Beam Search behält die k wahrscheinlichsten Teilsequenzen bei und gibt die beste vollständige Sequenz zurück. Das eignet sich für Aufgaben mit einer einzigen richtigen Antwort, etwa Übersetzungen. Beim Sampling wird aus der Verteilung gezogen, meist nachdem diese umgeformt wurde: Die Temperatur teilt die Logits vor dem Softmax, beim Top-k-Sampling bleiben nur die k wahrscheinlichsten Tokens erhalten, und Nucleus-Sampling (Top-p-Sampling) behält die kleinste Menge an Tokens, deren Wahrscheinlichkeiten sich zu p summieren. Vorgeschlagen wurde das Verfahren 2019 von Holtzman et al. in The Curious Case of Neural Text Degeneration. Ein Wortschatz mit fünf Tokens in PyTorch veranschaulicht beide Effekte:

import torch

# Next-token logits over a five-word vocabulary after the prompt "I took the"
vocab = ["bus", "train", "car", "stairs", "banana"]
logits = torch.tensor([3.0, 2.4, 1.8, 0.6, -2.0])

# Temperature divides the logits: low values sharpen the distribution, high values flatten it
for temperature in [0.5, 1.0, 1.5]:
    probs = torch.softmax(logits / temperature, dim=-1)
    print(f"T={temperature}:", ", ".join(f"{w} {p:.2f}" for w, p in zip(vocab, probs)))

# Top-p (nucleus) sampling keeps the smallest set of tokens whose probabilities reach p
probs, order = torch.softmax(logits, dim=-1).sort(descending=True)
keep = probs.cumsum(dim=-1) - probs < 0.9
print("Top-p 0.9 keeps:", [vocab[i] for i in order[keep]])

# Sample from the renormalized nucleus
torch.manual_seed(0)
picks = torch.multinomial(probs[keep] / probs[keep].sum(), num_samples=10, replacement=True)
print("Samples:", [vocab[order[i]] for i in picks])

Bei einer Temperatur von 0,5 erhält „bus“ eine Wahrscheinlichkeit von 0,71; bei 1,5 sinkt sie auf 0,42, während „banana“ von 0,00 auf 0,02 steigt. Bei Top-p 0,9 bleiben „bus“, „train“ und „car“ erhalten, die zusammen eine Wahrscheinlichkeit von 0,95 abdecken. „stairs“ und „banana“ können somit nie ausgewählt werden. Zehn Ziehungen ergeben eine abwechslungsreiche Mischung der drei verbleibenden Tokens. Weitere Steuerungsmöglichkeiten wirken sich ebenfalls auf dieselben Logits aus: Wiederholungsstrafen senken die Werte bereits verwendeter Tokens, und Constrained Decoding maskiert jedes Token, das eine Grammatik oder ein JSON-Schema verletzen würde. So garantieren APIs strukturierte Ausgaben. Spekulatives Decoding beschleunigt die Generierung, indem ein kleines Entwurfsmodell mehrere Tokens vorschlägt, die das große Modell in einem Durchlauf überprüft.

Textgenerierung im Vergleich zu verwandten Begriffen#

• Sprachmodellierung: Lernt die Wahrscheinlichkeit des nächsten Tokens – das Trainingsziel, das Textgenerierung ermöglicht. Textgenerierung ist die Verwendung des Modells zur Inferenz.
• Sequenz-zu-Sequenz-Modelle: Encoder-Decoder-Modelle, die wie bei einer Übersetzung einen Ausgabetext aus einer separaten Eingabe erzeugen. Decoder-only-LLMs erledigen dieselben Aufgaben, indem sie eine Eingabeaufforderung fortsetzen.
• Diffusions-Sprachmodelle: Erzeugen einen ganzen Textabschnitt, indem sie in mehreren Entrauschungsschritten alle Positionen parallel verfeinern, statt Token für Token vorzugehen.
• Text-zu-Bild: Nimmt Text als Eingabe und erzeugt Pixel.

Qualität und Risiken#

Generierter Text klingt flüssig, unabhängig davon, ob er korrekt ist. Deshalb stellen Halluzinationen das größte Risiko bei faktenbasierten Aufgaben dar. Retrieval-Augmented Generation (RAG) mindert dieses Risiko, indem Quelldokumente in die Eingabeaufforderung aufgenommen werden. Niedrige Temperaturen sorgen für wiederholbarere Antworten; hohe Temperaturen bringen mehr Vielfalt, erhöhen aber auch die Wahrscheinlichkeit, ein unwahrscheinliches, falsches Token auszuwählen. Maschinell verfasster Text ist außerdem schwer zu erkennen, weshalb an KI-Wasserzeichen gearbeitet wird. In der GPT-3-Arbeit von 2020 lagen Menschen nur in 52 % der Fälle richtig, als sie 200 Wörter lange Nachrichtenartikel des Modells mit 175 Milliarden Parametern von menschlich verfassten Artikeln unterscheiden sollten.