GPT (Generative Pre-trained Transformer)

GPT (Generative Pre-trained Transformer) ist ein ausschließlich aus einem Decoder bestehendes Transformer-Sprachmodell. Zunächst wird es mit großen Mengen ungelabelter Texte darauf vortrainiert, das nächste Token vorherzusagen; anschließend wird es an Aufgaben angepasst. OpenAI stellte den Ansatz im Juni 2018 mit der Arbeit von Alec Radford und Kollegen vor: Sprachverständnis durch generatives Vortraining verbessern. Der Name beschreibt das Verfahren: ein generatives Textmodell, das vor jedem aufgabenspezifischen Training vortrainiert wird und auf dem Transformer basiert. Die GPT-Reihe wuchs von 117 Millionen Parametern bei GPT-1 auf 175 Milliarden bei GPT-3. ChatGPT, veröffentlicht am 30. November 2022, machte sie zur bekanntesten Familie großer Sprachmodelle (LLMs). „GPT-artig“ bezeichnet auch jedes andere LLM, das auf dieselbe Weise trainiert wurde und nur einen Decoder verwendet, darunter Metas Llama- und Alibabas Qwen-Modelle.

So funktioniert ein GPT-Modell#

Zunächst wird Text in Token zerlegt. GPT-2 führte die bytebasierte Tokenisierung mit einem Vokabular von 50,257 Token ein, das GPT-3 beibehielt. Jedes Token wird zu einer Einbettung mit einem Positionssignal. Ein Stapel identischer Decoderblöcke verfeinert diese Vektoren. In jedem Block kann die maskierte Selbstaufmerksamkeit an jeder Position nur diese Position selbst und die vorangehenden Positionen berücksichtigen. Eine Feedforward-Schicht transformiert jede Position für sich:

Durch die Kausalmaske liefert ein einziger Vorwärtsdurchlauf über eine Trainingssequenz mit 1,024 Token gleichzeitig 1,024 Vorhersagen für das nächste Token. Dadurch lässt sich das Vortraining parallelisieren, obwohl die Generierung sequenziell erfolgt. Während der Inferenz bewertet das Modell das nächste Token, fügt es hinzu und wiederholt den Vorgang. Frühere Berechnungen werden mithilfe eines KV-Caches wiederverwendet. GPT-2 von OpenAI mit 124 Millionen Parametern zeigt den ersten Schritt:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
inputs = tokenizer("The capital of France is", return_tensors="pt")

# One forward pass scores every vocabulary token as the next token
with torch.no_grad():
    logits = model(**inputs).logits[0, -1]
top = logits.softmax(dim=-1).topk(5)
for p, i in zip(top.values, top.indices):
    print(f"{tokenizer.decode(i)!r}: {p:.3f}")

# Generation repeats that step, appending one token at a time
output = model.generate(**inputs, max_new_tokens=8, do_sample=False, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(output[0]))

GPT-2 weist „ the“ eine Wahrscheinlichkeit von 0.085 und „ Paris“ nur 0.032 zu. Bei gieriger Dekodierung entsteht der Text „The capital of France is the capital of the French Republic, and“. Ein vortrainiertes GPT setzt Text so fort, wie es die Trainingsdaten nahelegen. Erst Instruction-Tuning gefolgt von bestärkendem Lernen mit menschlichem Feedback (RLHF) macht daraus einen Assistenten, der die Frage beantwortet.

Von GPT-1 bis GPT-6#

GPT-1 wurde mit 12 Decoderschichten auf mehr als 7,000 unveröffentlichten Büchern vortrainiert und anschließend für jede Aufgabe feinabgestimmt. Damit wurde bei 9 der 12 untersuchten Aufgaben der damalige Stand der Technik verbessert. GPT-2, im Februar 2019 angekündigt, wuchs auf 1.5 Milliarden Parameter an und wurde mit 40 GB Webtext trainiert. Das Modell bewältigte Aufgaben ohne Beispiele. Aus Sorge vor Missbrauch veröffentlichte OpenAI die Gewichte bis November 2019 schrittweise. GPT-3 zeigte im Mai 2020 Few-Shot-Lernen anhand von Beispielen im Prompt – ein Ergebnis, das Skalierungsgesetze vorhergesagt hatten.

InstructGPT und anschließend ChatGPT ergänzten das Training um menschliches Feedback. Im März 2023 akzeptierte GPT-4 Bilder als Eingabe. OpenAIs o-Reihe von Modellen für Schlussfolgerungen, beginnend mit o1 im September 2024, lernte, vor der Antwort längere Gedankengänge zu formulieren. GPT-5, veröffentlicht am 7. August 2025, stellte ein schnelles Modell und ein Schlussfolgerungsmodell hinter einen Router. Zwei Tage zuvor hatte OpenAI gpt-oss-120b und gpt-oss-20b unter der Apache-2.0-Lizenz veröffentlicht – die ersten offenen Sprachmodelle des Unternehmens seit GPT-2. Die GPT-6-Familie erschien im September 2026: GPT-6 Astra am 3. September, GPT-6 Sol und GPT-6 Luna am 22. September sowie GPT-6.1 Sol am 29. September.

GPT in der Computer Vision#

Dasselbe Verfahren mit dem jeweils nächsten Token funktioniert auch bei Bildern. OpenAIs Image GPT trainierte 2020 Modelle in der Größenordnung von GPT-2 darauf, Pixel einzeln vorherzusagen. Visuelle autoregressive Modellierung (VAR) sagt Bilder maßstabsweise vorher, und viele Vision-Language-Modelle (VLMs) kombinieren einen Bildencoder mit einem GPT-artigen Decoder, der die Antwort verfasst. Auch Textencoder übernehmen diesen Aufbau: OpenAIs CLIP kodiert Text mit einem 12-schichtigen Transformer mit 63 Millionen Parametern, der die Architektur von GPT-2 und maskierte Selbstaufmerksamkeit verwendet. Tencent AI Labs YOLO-World, das im Ultralytics-Paket ausgeführt wird, ruft diesen CLIP-Textencoder auf, wenn set_classes(["person", "bus"]) aufgerufen wird. Dabei wird jeder Klassenname in eine Einbettung umgewandelt, die der Detektor mit Bildbereichen abgleicht. So lässt sich die Klassenliste ohne erneutes Training ändern. Auch OpenAIs GPT-Modelle verarbeiten Bilder, und die VLM-Bestenliste misst, wie genau GPT-6.1 Sol und andere Vision-Language-Modelle Objekte in realen Datensätzen erkennen.

GPT im Vergleich zu verwandten Begriffen#

BERT verwendet den Transformer-Encoder ohne Kausalmaske, sodass jedes Token die gesamte Eingabe sieht. Er eignet sich für Klassifizierung und Informationsabruf, generiert aber keinen Text. Ein LLM ist ein beliebiges großes Sprachmodell; GPT bezeichnet sowohl OpenAIs Modellreihe als auch das reine Decoder-Design, das die meisten LLMs gemeinsam haben. Ein Chatbot wie ChatGPT ist eine Anwendung auf Basis von GPT-Modellen, die das Modell um eine Systemanweisung, den Gesprächsverlauf und Werkzeuge ergänzt.