Small Language Models (SLMs)
Kleine Sprachmodelle (SLMs) sind Sprachmodelle, die kompakt genug für Smartphones, Laptops und kostengünstiges Bereitstellen sind und üblicherweise weniger als 10 Milliarden Parameter haben.
Ein kleines Sprachmodell (SLM) ist kompakt genug, um auf einem Smartphone, Laptop oder einer einzelnen, mäßig leistungsfähigen GPU zu laufen oder mit geringem Aufwand eine große Zahl von Anfragen zu verarbeiten. Eine feste Grenze gibt es nicht: Forschende von NVIDIA definieren ein SLM als Modell, das auf ein gängiges Endverbrauchergerät passt und schnell genug auf Anfragen einer einzelnen Person reagiert. Im Jahr 2025 zählen sie die meisten Modelle mit weniger als 10 Milliarden Parametern dazu. Microsofts Phi-3-mini, ein Modell mit 3.8 Milliarden Parametern, das im April 2024 veröffentlicht wurde, erreichte 69 % im MMLU-Benchmark – vergleichbar mit GPT-3.5 – und ist klein genug, um auf einem Smartphone zu laufen. Weitere weit verbreitete SLMs sind Googles Gemma-3-Modelle mit 270 Millionen bis 4 Milliarden Parametern, Metas Llama 3.2 1B und 3B, die kleineren Qwen3-Modelle von Alibaba sowie das On-Device-Modell mit ungefähr 3 Milliarden Parametern hinter Apple Intelligence.
So werden SLMs entwickelt#
SLMs verwenden dieselbe Transformer-Architektur wie große Sprachmodelle (LLMs) und gleichen ihre geringere Größe durch gezielte Trainingsentscheidungen aus:
- Datenqualität: Microsoft trainierte Phi-3-mini mit 3.3 Billionen stark gefilterten Tokens aus öffentlich verfügbaren Webtexten und synthetischen Daten. Das Unternehmen führt die Ergebnisse auf diesen Datensatz zurück.
- Übertraining: Laut Skalierungsgesetzen sind ungefähr 20 Tokens pro Parameter nötig, um den Rechenaufwand des Trainings zu minimieren. SLMs werden dagegen mit Hunderten oder Tausenden Tokens pro Parameter trainiert. Dadurch steigt der Rechenaufwand für das Training, während ein kleineres Modell entsteht, dessen Anfragen weniger kosten. Meta trainierte Llama 3 8B mit 15 Billionen Tokens.
- Wissensdestillation: Google trainierte die Gemma-2-Modelle mit 2B und 9B Parametern darauf, die Verteilungen der nächsten Tokens eines größeren Lehrermodells nachzubilden, statt nur das jeweils nächste Token vorherzusagen.
- Modellquantisierung: Die Gewichte eines Modells mit 3.8 Milliarden Parametern benötigen bei 16 Bit etwa 7.6 GB und bei 4 Bit etwa 1.9 GB. Apple komprimiert sein On-Device-Modell mithilfe von quantisierungsbewusstem Training (QAT) auf 2 Bit pro Gewicht. GGUF-Dateien verpacken 4-Bit-Modelle für Laptops.
Wo SLMs eingesetzt werden#
Assistenten auf dem Gerät sind der sichtbarste Anwendungsfall. Apples Foundation Models Framework, das 2025 angekündigt wurde, bietet App-Entwicklern direkten Zugriff auf das On-Device-Modell hinter Apple Intelligence. Smartphone-Chips führen solche Modelle auf ihren neuronalen Verarbeitungseinheiten (NPUs) aus, ohne Texte an einen Server zu senden. Das trägt zum Datenschutz bei. Unternehmen stimmen SLMs mit LoRA auf spezielle Aufgaben wie Klassifizierung, Informationsextraktion und Antworten im Kundendienst ab. Häufig ergänzen sie durch Abruf ergänzte Generierung (RAG) für unternehmensinternes Wissen. Google entwickelte Gemma 3 270M für diese Art der aufgabenspezifischen Abstimmung. 170 Millionen der 270 Millionen Parameter liegen in den Embeddings eines Vokabulars mit 256K Tokens.
KI-Agenten sind ein neuerer Anwendungsfall. In der NVIDIA-Arbeit wird argumentiert, dass die meisten Teilaufgaben von Agenten eng umrissen und wiederkehrend genug für ein SLM sind. Für die übrigen Aufgaben kann ein größeres Modell eingesetzt werden. Das ist eine Form der Modellweiterleitung:
Dieselbe Aufteilung funktioniert bei Bildverarbeitungspipelines auf Hardware für Edge-KI. Die Ultralytics-LLM-Schnittstelle akzeptiert einen base_url für jeden OpenAI-kompatiblen Endpunkt, darunter auch lokale Server wie Ollama. So kann eine YOLO26-Pipeline auf einem Edge-Gerät ein Bild oder ihre Erkennungen an ein SLM auf demselben Gerät senden und einen Textbericht erhalten, ohne die Cloud aufzurufen.
SLMs und verwandte Begriffe#
- Großes Sprachmodell: Dasselbe Modell mit Dutzenden bis Hunderten Milliarden Parametern oder mehr, einem umfangreicheren Wissensbestand und stärkeren mehrstufigen Schlussfolgerungen. Es wird in der Regel auf GPUs in Rechenzentren bereitgestellt.
- Vision-Language-Modell (VLM): Fügt einem Sprachmodell einen Bildencoder hinzu. Kleine VLMs wie Apples FastVLM wenden SLM-Techniken auf das Bildverständnis an. Die VLM-Bestenliste umfasst kleine VLMs wie Gemma 4 E2B und Qwen3.5 2B und misst, wie genau sie Objekte im Vergleich zu deutlich größeren Modellen erkennen.
- TinyML: Maschinelles Lernen auf Mikrocontrollern mit wenigen Kilobyte bis einigen Megabyte Speicher. Selbst ein SLM mit 270 Millionen Parametern würde mit ungefähr 270 MB bei 8-Bit-Gewichten nicht darauf passen.
