Language Modeling

Sprachmodellierung ist die Aufgabe, einer Folge von Wörtern oder Token eine Wahrscheinlichkeit zuzuweisen. Nach der Kettenregel der Wahrscheinlichkeitsrechnung gilt P(w1, w2, ..., wn) = P(w1) x P(w2 | w1) x ... x P(wn | w1, ..., wn-1). Ein Modell, das jedes nächste Token anhand der vorherigen vorhersagt, legt daher die Wahrscheinlichkeit eines beliebigen Textes fest. Durch Stichproben aus diesen Vorhersagen lässt sich neuer Text erzeugen. Dieses Ziel der Vorhersage des nächsten Tokens trainiert alle GPT-Modelle und die meisten großen Sprachmodelle (LLMs). Kleinere Sprachmodelle bewerteten jahrzehntelang mögliche Ausgaben in Systemen zur Spracherkennung und maschinellen Übersetzung, bevor es LLMs gab, und schlagen weiterhin das nächste Wort auf Smartphone-Tastaturen vor.

So erzeugt ein Sprachmodell Text#

Ein trainiertes Modell liest die Eingabeaufforderung, bewertet jedes Token seines Wortschatzes und wandelt die Bewertungen mit einer Softmax-Funktion in Wahrscheinlichkeiten für das nächste Token um. Eine Decodierregel wählt dann ein Token aus, das Modell fügt es hinzu, und der Vorgang wiederholt sich, bis ein End-Token ausgegeben oder eine Längengrenze erreicht wird. So funktioniert die Textgenerierung:

Stichprobenziehung mit einer Temperatur oder Nucleus-Sampling tauscht einen Teil der Wahrscheinlichkeit gegen mehr Vielfalt ein. Da jedes Token von den bereits geschriebenen abhängt, trifft eine Antwort Token für Token ein. Die Ultralytics-LLM-Schnittstelle reicht stream=True an den Anbieter weiter. So kann eine YOLO26-Pipeline, die ein Modell um eine Beschreibung einer erkannten Szene bittet, jedes Textsegment ausgeben, sobald es eintrifft.

Von N-Grammen zu neuronalen Modellen#

Claude Shannon erstellte mithilfe von N-Gramm-Statistiken Annäherungen englischer Wörter und Buchstaben. Er beschrieb sie 1948 in seiner Arbeit zur Informationstheorie. Ein N-Gramm-Modell schätzt P(nächstes Wort | vorherige n-1 Wörter), indem es zählt, wie häufig Wortfolgen in einem Korpus vorkommen. IBM-Spracherkennungssysteme der 1970er- und 1980er-Jahre stützten sich darauf. Ein Bigramm-Modell mit n = 2 veranschaulicht die Idee in wenigen Zeilen Python:

from collections import Counter

sentences = ["the cat sat on the mat .", "the dog sat on the rug .", "the cat saw the dog ."]
corpus = " ".join(sentences).split()

# Count word pairs to estimate P(next word | previous word)
pairs = Counter(zip(corpus, corpus[1:]))
firsts = Counter(corpus[:-1])

# The model's next-word distribution after "the"
print({nxt: round(n / firsts["the"], 2) for (prev, nxt), n in pairs.items() if prev == "the"})

# Chain rule: a sentence's probability is the product of its next-word probabilities
sentence = ["the", "dog", "sat", "on", "the", "mat"]
p = 1.0
for prev, nxt in zip(sentence, sentence[1:]):
    p *= pairs[(prev, nxt)] / firsts[prev]
print(f"P(dog sat on the mat | the) = {p:.4f}")

Auf „the“ folgen im Modell „cat“ und „dog“ mit einer Wahrscheinlichkeit von jeweils 0,33 sowie „mat“ und „rug“ mit jeweils 0,17. Für „dog sat on the mat“ nach „the“ ergibt sich eine Wahrscheinlichkeit von 0,0278, obwohl dieser Satz im Korpus nicht vorkommt, denn jedes seiner Wortpaare ist dort enthalten. Jedes Wortpaar, das im Korpus fehlt, erhält die Wahrscheinlichkeit null. In der Praxis benötigen N-Gramm-Modelle daher Glättungsverfahren wie Kneser-Ney. Außerdem können sie keinen Kontext berücksichtigen, der über n-1 Wörter hinausgeht.

Das von Yoshua Bengio und Kollegen entwickelte neuronale probabilistische Sprachmodell aus dem Jahr 2003 ersetzte Zählwerte durch erlernte Einbettungen und ein neuronales Netzwerk. Dadurch können ähnliche Wörter statistische Informationen gemeinsam nutzen. Rekurrente neuronale Netzwerke (RNNs) und LSTMs erweiterten den nutzbaren Kontext. Der Transformer, der mithilfe von Self-Attention den gesamten Kontextfenster berücksichtigt, wurde nach 2017 zur Standardarchitektur. GPT-3 zeigte 2020, dass ein Sprachmodell mit 175 Milliarden Parametern anhand von Beispielen in seiner Eingabeaufforderung neue Aufgaben erlernen konnte.

Kausale und maskierte Sprachmodellierung#

Bei der kausalen oder autoregressiven Sprachmodellierung wird jedes Token anhand der links davon stehenden Token vorhergesagt. Sie bildet die Grundlage generativer Modelle. Bei der maskierten Sprachmodellierung werden einige Token verborgen und anhand des Kontexts auf beiden Seiten vorhergesagt. BERT wird mit diesem Verfahren auf 15 % seiner Eingabetoken trainiert. Der beidseitige Kontext macht BERT stark bei Aufgaben zum Textverständnis, etwa Klassifizierung und Erkennung benannter Entitäten, aber es kann keinen Text von links nach rechts verfassen. Sprachmodelle auf Diffusionsbasis erweitern die Maskierung um einen Generator, der in mehreren Schritten viele Positionen parallel ausfüllt.

Training und Bewertung#

Das Training ist selbstüberwachtes Lernen: Der Rohtext liefert seine Labels selbst, und das Modell minimiert die Kreuzentropie-Verlustfunktion zwischen seiner vorhergesagten Verteilung und jedem tatsächlichen nächsten Token. Die Exponentialfunktion des durchschnittlichen Verlusts ergibt die Perplexität, die maßgebliche intrinsische Metrik. Skalierungsgesetze beschreiben, wie der Verlust sinkt, wenn Modelle, Datenmengen und Rechenleistung wachsen. Ein vortrainiertes Basismodell setzt lediglich Text fort. Durch Instruction-Tuning und bestärkendes Lernen auf Grundlage menschlichen Feedbacks (RLHF) wird daraus ein Assistent, der Anweisungen befolgt.

Sprachmodellierung und verwandte Begriffe#

• Sprachmodell und LLM: Ein Sprachmodell ist jedes für diese Aufgabe trainierte Modell, von einer Bigramm-Tabelle bis zu einem Transformer. Ein LLM ist ein Sprachmodell mit Milliarden von Parametern, das mit Billionen von Token trainiert wurde.
• Verarbeitung natürlicher Sprache (NLP): Das gesamte Gebiet der computergestützten Verarbeitung menschlicher Sprache, zu dem die Sprachmodellierung als eine Aufgabe gehört.
• Visuelle autoregressive Modellierung (VAR): Überträgt dieselbe Vorhersage des nächsten Schritts auf Bilder und erzeugt Tokenkarten von groben zu feinen Auflösungsstufen statt von Wörtern.