GPT-4

GPT-4 ist das vierte Modell in OpenAIs Reihe GPT (Generative Pre-trained Transformer): ein großes, am 14. März 2023 veröffentlichtes multimodales Modell, das Bilder und Text als Eingabe annimmt und Text erzeugt. In einer simulierten Anwaltsprüfung erzielte es ein Ergebnis, das ungefähr den besten 10 % der Teilnehmenden entsprach. GPT-3.5 hatte ungefähr zu den schlechtesten 10 % gehört. GPT-4 wurde zum Modell hinter ChatGPT Plus und Microsofts Bing Chat. Im technischen Bericht zu GPT-4 wurden Architektur, Modellgröße, Hardware, Rechenaufwand für das Training und Zusammenstellung des Datensatzes aus Wettbewerbs- und Sicherheitsgründen nicht offengelegt. Die Anzahl der GPT-4-Parameter wurde daher nie veröffentlicht.

Fähigkeiten und Benchmarks#

GPT-4 erreichte beim MMLU-Wissens-Benchmark 86.4 %, gegenüber 70.0 % bei GPT-3.5. Als OpenAI MMLU in 26 Sprachen übersetzte, übertraf GPT-4 in 24 davon die englischsprachigen Ergebnisse früherer Modelle. Die erste Version bot ein Kontextfenster mit 8,192 Token; zusätzlich gab es eine Variante mit 32,768 Token, während GPT-3.5 4,096 Token verarbeitete. OpenAI berichtete außerdem, dass sich ein Teil der Leistung von GPT-4 bereits vor Abschluss des Trainings vorhersagen ließ. Dafür wurden Modelle verwendet, die mit höchstens einem Tausendstel des Rechenaufwands von GPT-4 trainiert worden waren – eine Anwendung der Skalierungsgesetze.

Das Modell halluziniert weiterhin. Bei den internen adversariellen Faktenprüfungen von OpenAI schnitt es 19 Prozentpunkte besser ab als GPT-3.5. Seine Vortrainingsdaten endeten jedoch im September 2021, sodass ihm Wissen über spätere Ereignisse fehlte. Auch seine Fähigkeiten waren uneinheitlich: Ein Feldversuch aus dem Jahr 2023 mit 758 Beratern der Boston Consulting Group ergab, dass GPT-4 die Arbeitsqualität bei Aufgaben innerhalb seiner Fähigkeiten verbesserte, bei einer Aufgabe knapp außerhalb dieser Fähigkeiten jedoch die Genauigkeit verringerte. Dieser Effekt wird als gezackte Intelligenz bezeichnet.

Training und Ausrichtung#

GPT-4 wurde darauf vortrainiert, das nächste Token anhand öffentlicher und lizenzierter Daten vorherzusagen, und anschließend mit bestärkendem Lernen auf Grundlage menschlichen Feedbacks (RLHF) feinabgestimmt. OpenAI nahm sich vor der Veröffentlichung sechs Monate Zeit, um das Modell abzustimmen, und zog mehr als 50 Fachleute für adversariales Testen hinzu – eine Form des Red Teamings für KI. Zusätzlich zum üblichen Belohnungsmodell, das anhand menschlicher Präferenzbewertungen trainiert wurde, kamen regelbasierte Belohnungsmodelle zum Einsatz: Zero-Shot-GPT-4-Klassifikatoren, die jede Antwort anhand eines von Menschen verfassten Kriterienkatalogs bewerten und dabei die Ablehnung schädlicher Anfragen sowie Antworten auf bekanntermaßen unbedenkliche Anfragen belohnen.

Im Vergleich zu GPT-3.5 reagierte das Modell 82 % seltener auf Anfragen nach unzulässigen Inhalten und befolgte OpenAIs Richtlinien bei sensiblen Anfragen, etwa zu medizinischer Beratung, 29 % häufiger.

Bildeingabe#

GPT-4 konnte Diagramme, Screenshots, handschriftliche Notizen und Fotos lesen. In der Startdemonstration wurde aus einer handgezeichneten Skizze einer Website funktionierendes HTML. Bildeingaben wurden zuerst über Be My Eyes angeboten, dessen Funktion Be My AI die Umgebung für blinde und sehbehinderte Menschen beschreibt. Im September 2023 kam die Funktion als GPT-4V zu ChatGPT. GPT-4 mit Bildverarbeitung ist ein Vision-Language-Modell (VLM), und offene VLMs wie LLaVA nutzten GPT-4 ausschließlich mit Text, um die Trainingsdialoge für das visuelle Instruction-Tuning zu verfassen.

GPT-4 antwortet mit Text und hat Schwierigkeiten mit Aufgaben, die eine präzise räumliche Lokalisierung erfordern, etwa dem Zeichnen exakter Begrenzungsrahmen. Daher kombinieren Computer-Vision-Pipelines GPT-4 mit einem spezialisierten Modell zur Objekterkennung. Die Ultralytics-LLM-Schnittstelle vereint beide in einem Skript: YOLO26 findet und lokalisiert die Objekte in einem Frame, und das Argument image der Schnittstelle sendet diesen Frame zusammen mit einer Eingabeaufforderung an ein OpenAI-kompatibles Bildverarbeitungsmodell, wenn die Erkennungen eine Beschreibung in Textform erfordern.

Nachfolger und verwandte Modelle#

GPT-3, 2020 veröffentlicht, war ein ausschließlich textbasiertes Modell mit 175 Milliarden Parametern und einem Kontext von 2.048 Token. GPT-4 Turbo, im November 2023 angekündigt, vergrößerte den Kontext auf 128.000 Token und war dabei günstiger. GPT-4o, im Mai 2024 veröffentlicht, verarbeitete Text, Audio und Bilder in einem Netzwerk und antwortete auf Spracheingaben bereits nach 232 Millisekunden. GPT-4.1 brachte im April 2025 einen Kontext von 1 Million Token in die API. Reasoning-Modelle wie o1 verfolgten einen anderen Ansatz: Sie wurden mit bestärkendem Lernen trainiert, vor der Antwort lange Gedankengänge auszugeben. GPT-5 kombinierte im August 2025 schnelle Modelle und Reasoning-Modelle hinter einem Router.

OpenAI ersetzte GPT-4 am 30. April 2025 in ChatGPT durch GPT-4o. Im Zeitplan für die Einstellung des Modells wurde der 23. Oktober 2026 als Abschaltdatum der API für gpt-4 und gpt-4-turbo festgelegt; als empfohlener Ersatz dient gpt-5.6-sol.