Large Language Model (LLM)

Ein großes Sprachmodell (LLM) ist ein neuronales Netz, fast immer ein Transformer, mit Milliarden von Parametern. Es wird mit Billionen von Text-Token trainiert, um das nächste Token in einer Sequenz vorherzusagen. Dieses einzelne Ziel führt, auf große Datenmengen angewandt, zu Modellen, die Fragen beantworten, Dokumente zusammenfassen, übersetzen, Code schreiben und Softwarewerkzeuge aufrufen. GPT von OpenAI, Claude von Anthropic und Gemini von Google sind LLM-Familien, die über APIs angeboten werden. Meta veröffentlicht Llama, Alibaba Qwen, DeepSeek, Mistral und OpenAI gpt-oss mit offenen Gewichten. Die Transformer-Architektur stammt aus dem Artikel Attention Is All You Need von 2017. GPT-3 zeigte 2020, dass ein Modell mit 175 Milliarden Parametern Aufgaben anhand von Beispielen im Prompt lernen kann. ChatGPT machte LLMs im November 2022 einem breiten Publikum zugänglich.

So funktionieren LLMs#

Ein LLM führt zunächst eine Tokenisierung aus, um Text in Token-IDs umzuwandeln, und sucht für jedes Token einen Einbettungsvektor heraus. Die Vektoren durchlaufen einen Stapel identischer Blöcke. Jeder Block kombiniert kausale Selbstaufmerksamkeit, durch die jedes Token Informationen aus den vorhergehenden Token beziehen kann, mit einer Feedforward-Schicht, die jedes Token einzeln transformiert. Der letzte Block erzeugt für jedes Token im Wortschatz eine Softmax-Wahrscheinlichkeit. Das Modell wählt ein Token aus, fügt es an und wiederholt den Vorgang. So funktioniert die Textgenerierung:

Die Größe wird in Parametern gemessen; viele neuere Modelle sind dünnbesetzt. Bei einem Expertenmischungsmodell (MoE) leitet ein Router jedes Token durch einige wenige von vielen Feedforward-Experten. Deshalb verfügt DeepSeek-V3 über 671 Milliarden Parameter, verwendet aber 37 Milliarden pro Token. Die Anzahl der Tokens, die ein Modell gleichzeitig lesen kann – sein Kontextfenster – ist von 2.048 Tokens bei GPT-3 auf eine Million oder mehr bei mehreren aktuellen Modellen angewachsen. Die Verarbeitung solch langer Eingaben setzt einen KV-Cache voraus, der die Attention-Schlüssel und -Werte aller vorherigen Tokens speichert.

So werden LLMs trainiert#

Vortraining ist selbstüberwachtes Lernen: Das Modell sagt jeweils das nächste Token von Webseiten, Büchern und Code voraus, ohne menschliche Labels. Skalierungsgesetze sagen voraus, wie der Verlust mit mehr Parametern, Daten und Rechenleistung sinkt. DeepMinds Chinchilla-Studie ergab, dass rechenoptimal trainierte Modelle etwa 20 Tokens pro Parameter verwenden. Inzwischen werden Modelle mit einem weit höheren Verhältnis trainiert: Meta trainierte Llama 3 mit etwa 15 Billionen Tokens vor. Beim Nachtraining wird aus dem Basismodell ein Assistent. Durch Instruction-Tuning lernt es, Anweisungen zu befolgen. Verstärkungslernen anhand menschlichen Feedbacks (RLHF) oder direkte Präferenzoptimierung richtet seine Antworten an menschlichen Präferenzen aus. Die Ergebnisse von OpenAIs InstructGPT zeigten, dass Labeler ein angepasstes Modell mit 1,3 Milliarden Parametern einem GPT-3-Modell mit 175 Milliarden Parametern vorzogen. Reasoning-Modelle wie OpenAIs o1 und DeepSeek-R1 ergänzen umfangreiches Verstärkungslernen. DeepSeek-R1 nutzt dabei Verstärkungslernen mit überprüfbaren Belohnungen für Mathematik- und Programmieraufgaben mit überprüfbaren Antworten. Dadurch lernen die Modelle, vor der Antwort lange Argumentationsketten auszuformulieren. Anschließend passen Teams ein Modell mit Feinabstimmung, häufig über LoRA, an ihre Domäne an oder lassen die Gewichte unverändert und ergänzen Wissen durch abrufgestützte Generierung (RAG).

Anwendungen#

LLMs bilden die Grundlage für Chatbots und Assistenten, agentische Programmierwerkzeuge, die ganze Repositorien bearbeiten und testen, Such- und Dokumentenfragesysteme sowie KI-Agenten, die mehrstufige Aufgaben über Funktionsaufrufe planen. Ein Bildencoder macht aus einem LLM ein Vision-Language-Modell (VLM), das Fragen zu Fotos, Diagrammen und Videobildern beantwortet. Große LLM-Familien verarbeiten ebenfalls Bilder. Die Ultralytics-VLM-Bestenliste vergleicht, wie genau Modelle wie GPT-6.1 Sol, Claude Opus 5.5 und Gemini 4 Argon Objekte in realen Datensätzen erkennen. Die Ultralytics-LLM-Schnittstelle sendet Text oder Bilder an OpenAI-kompatible Modelle von OpenAI, DeepSeek, Kimi, Z.AI, OpenRouter oder einem lokalen Server. So kann eine YOLO26-Pipeline ein LLM nur dann aufrufen, wenn eine Erkennung erklärt werden muss, etwa um eine Szene zu beschreiben, sobald eine Person auftaucht.

LLM im Vergleich zu verwandten Begriffen#

• Verarbeitung natürlicher Sprache (NLP): Das Gebiet der Informatik, das sich mit menschlicher Sprache befasst. LLMs sind heute der vorherrschende Modelltyp dieses Bereichs.
• Generative KI: Jedes Modell, das neue Inhalte erzeugt, einschließlich Bild-, Audio- und Videogeneratoren.
• Basismodell: Die umfassendere Kategorie großer Modelle, die auf breiten Datenmengen vortrainiert und an viele Aufgaben angepasst werden. Der Begriff wurde 2021 von Forschern aus Stanford geprägt. Dazu gehören sowohl Vision-Basismodelle als auch LLMs.
• Kleines Sprachmodell (SLM): Ein Sprachmodell, das kompakt genug für Smartphones, Laptops oder einen kostengünstigen Betrieb ist und typischerweise einige Milliarden Parameter oder weniger hat.

Einschränkungen#

Große Sprachmodelle erzeugen flüssige Texte, unabhängig davon, ob sie wahr sind. Halluzinationen bleiben daher das größte Risiko bei faktenbasierten Aufgaben. Nach dem Ende der Trainingsdaten kennt ein Modell nichts Neues, sofern es keine Informationen über Abruf oder Werkzeuge erhält. Trainingsdaten übertragen ihre Verzerrungen auf das Modell, und in Webseiten oder Dokumenten versteckte Anweisungen können einen Agenten durch Prompt-Injection kapern. Mit sehr langen Kontexten sinkt außerdem die Genauigkeit – ein Effekt, der Kontextverfall genannt wird. Der Betrieb großer Sprachmodelle benötigt zudem viel Speicher: Ein Modell mit 70 Milliarden Parametern braucht für seine Gewichte etwa 140 GB bei 16 Bit und etwa 35 GB bei 4 Bit. Daher ermöglichen Formate zur Modellquantisierung wie GGUF die Ausführung solcher Modelle auf einer einzelnen Workstation.