YOLO lizenzieren
Zurück zum Ultralytics-Glossar

GGUF

GGUF ist das Dateiformat, in dem llama.cpp die Gewichte, den Tokenizer und die Metadaten eines LLM speichert. Für lokale Hardware werden die Modelle häufig auf 4 bis 8 Bit quantisiert.

GGUF ist ein Binärformat zum Speichern von Modellen, die auf GGML, der C-Tensorbibliothek hinter llama.cpp, und darauf aufbauenden Werkzeugen laufen. Eine GGUF-Datei enthält alles, was zum Ausführen eines großen Sprachmodells (LLM) benötigt wird: Architektur und Hyperparameter, das Tokenizer-Vokabular, die Chatvorlage und die Modellgewichte, die meist durch Modellquantisierung auf 2 bis 8 Bit pro Gewicht komprimiert werden. Das llama.cpp-Projekt führte GGUF im August 2023 als Ersatz für die früheren Formate GGML, GGMF und GGJT ein. GGUF hat sich zur Standardmethode entwickelt, um Modelle mit offenen Gewichten für die lokale Inferenz auf einem Laptop-CPU, einem Mac mit Apple Silicon oder einer handelsüblichen GPU bereitzustellen. Auf Hugging Face gibt es Tausende GGUF-Repositories.

Ein Blick in eine GGUF-Datei#

Die GGUF-Spezifikation legt vier aufeinanderfolgende Bestandteile fest. Ein Header enthält die Magic Bytes GGUF, die Formatversion (derzeit 3) sowie die Anzahl der Tensoren und Metadateneinträge. Darauf folgen typisierte Schlüssel-Wert-Metadaten, etwa general.architecture, llama.context_length, tokenizer.ggml.tokens und tokenizer.chat_template. Diese betten die Tokenisierung und das Eingabeformat des Modells direkt in die Datei ein. Anschließend listet eine Tabelle Name, Form, Datentyp und Offset jedes Tensors auf. Zum Schluss folgen die Tensordaten, standardmäßig auf ein 32-Byte-Alignment aufgefüllt, damit die Laufzeitumgebung die Datei per Memory Mapping einlesen und nahezu sofort laden kann. Lesende greifen über Schlüssel auf Metadaten zu. So lassen sich neue Architekturen und Felder ergänzen, ohne ältere Dateien zu beschädigen.

Jeder Tensor hat einen eigenen Typ, sodass eine Datei verschiedene Genauigkeiten enthalten kann. Das Python-Paket gguf, das im llama.cpp-Repository gepflegt wird, kann das Format schreiben und lesen und implementiert mehrere Quantisierungstypen:

import numpy as np
from gguf import GGMLQuantizationType, GGUFReader, GGUFWriter
from gguf.quants import dequantize, quantize

weights = np.random.default_rng(0).standard_normal((1024, 1024)).astype(np.float32)

# A GGUF file holds metadata key-value pairs plus named tensors, each with its own type
writer = GGUFWriter("tiny.gguf", arch="llama")
writer.add_context_length(4096)
for qtype in [GGMLQuantizationType.F16, GGMLQuantizationType.Q8_0, GGMLQuantizationType.Q4_0]:
    writer.add_tensor(f"weight.{qtype.name}", quantize(weights, qtype), raw_dtype=qtype)
writer.write_header_to_file()
writer.write_kv_data_to_file()
writer.write_tensors_to_file()
writer.close()

# Read the file back: metadata keys, then each tensor's bits per weight and rounding error
reader = GGUFReader("tiny.gguf")
print([name for name in reader.fields if not name.startswith("GGUF.")])
for tensor in reader.tensors:
    error = np.abs(dequantize(tensor.data, tensor.tensor_type).reshape(weights.shape) - weights).mean()
    print(f"{tensor.tensor_type.name}: {8 * tensor.n_bytes / weights.size:.1f} bits per weight, mean error {error:.4f}")

Das Beispiel listet die beiden Metadatenschlüssel general.architecture und llama.context_length auf und meldet dann für F16 16,0 Bit pro Gewicht bei einem mittleren Fehler von 0,0001, für Q8_0 8,5 Bit und 0,0045 sowie für Q4_0 4,5 Bit und 0,0719. Q8_0 und Q4_0 speichern Blöcke mit 32 Gewichten und einer FP16-Skalierung pro Block. Daher kommt das zusätzliche halbe Bit.

Quantisierungstypen#

Die Quantisierungstypen von GGUF gehören zu drei Generationen. Die ursprünglichen Blockformate wie Q4_0 und Q8_0 verwenden eine Skalierung pro 32 Gewichte. K-Quantisierungen wie Q4_K und Q6_K gruppieren Blöcke zu Superblöcken mit 256 Gewichten und quantisierten Skalierungen. Dateinamen wie Q4_K_M kennzeichnen eine Mischung, bei der die empfindlichsten Tensoren eine höhere Genauigkeit behalten. I-Quantisierungen wie IQ2_XXS und IQ4_XS erreichen etwa 2 bis 4 Bit pro Gewicht. Meist werden sie von einer Wichtigkeitsmatrix geleitet, die llama-imatrix anhand von Beispieltext berechnet, damit die einflussreichsten Gewichte die höchste Genauigkeit behalten. Zu den neueren Ergänzungen gehört MXFP4, das 4-Bit-Gleitkommaformat, das OpenAI für die Veröffentlichung von gpt-oss verwendet hat. Die meisten veröffentlichten GGUF-Dateien entstehen über denselben Konvertierungspfad:

GGUF im Vergleich zu anderen Modellformaten#

  • GGML, GGMF und GGJT: Die früheren llama.cpp-Formate speicherten Hyperparameter als nicht typisierte Liste ohne Architekturangabe. Schon das Hinzufügen eines Parameters machte vorhandene Dateien unbrauchbar.
  • Safetensors: Das Format von Hugging Face zum sicheren Speichern unveränderter Tensoren, in der Regel mit voller oder halber Genauigkeit. Konfiguration und Tokenizer liegen in separaten Dateien.
  • ONNX: Speichert zusammen mit den Gewichten auch den vollständigen Berechnungsgraphen, sodass jede ONNX-kompatible Laufzeitumgebung das Modell ohne architekturspezifischen Code ausführen kann.

GGUF-Modelle ausführen#

llama.cpp führt GGUF-Dateien über die Befehlszeile oder als llama-server aus, das eine OpenAI-kompatible API bereitstellt. Beliebig viele Schichten lassen sich auf eine GPU auslagern, während die übrigen auf der CPU laufen. So kann auch ein Modell ausgeführt werden, das größer als der GPU-Speicher ist. Ollama und LM Studio führen GGUF-Modelle über eine Modellbibliothek und eine Chatoberfläche aus. Im Browser zeigt der Hugging Face Hub die Metadaten und Tensorentypen jeder GGUF-Datei an. Bei lokaler Inferenz bleiben Eingaben auf dem Gerät. Das ist wichtig für den Datenschutz und den Offline-Einsatz von Edge-KI. Die Ultralytics-LLM-Schnittstelle kann ein GGUF-Modell aufrufen, das über llama-server oder Ollama mit OpenAI-kompatiblen Chat-Completions-Endpunkten bereitgestellt wird. So kann eine YOLO26-Pipeline ein lokales Modell bitten, ihre Erkennungen zu beschreiben, ohne Daten an eine Cloud-API zu senden. Das Format wird auch außerhalb von Sprachmodellen verwendet: Die benutzerdefinierten Knoten von ComfyUI-GGUF laden quantisierte Diffusionsmodelle wie FLUX.1 aus GGUF-Dateien, sodass sie in den Speicher handelsüblicher GPUs passen.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens