BFloat16 (BF16)

BFloat16, auch Brain-Floating-Point genannt, ist ein 16-Bit-Zahlenformat für Computer, das stark für Anwendungen im Bereich maschinelles Lernen optimiert wurde. Ursprünglich vom Google-Brain-Team entwickelt, bietet es einen spezialisierten Ansatz für die effiziente Verarbeitung riesiger Arrays aus Modellgewichten und Gradienten. Im Gegensatz zum standardmäßigen 32-Bit-Gleitkommaformat (FP32) entfallen beim mathematischen Aufbau von BFloat16 8 Bit auf den Exponenten und 7 Bit auf den Bruchteil (Mantisse). Diese einzigartige Struktur bietet denselben Dynamikbereich wie FP32, jedoch mit geringerer Genauigkeit, und halbiert dadurch effektiv den Speicherbedarf komplexer Architekturen für Deep Learning, ohne die numerische Instabilität, die bei älteren 16-Bit-Formaten häufig auftritt.

BFloat16 im Vergleich zu Float16 (FP16): Die wichtigsten Unterschiede#

Beim Vergleich von Formaten mit halber Genauigkeit ist der Unterschied zwischen BF16 und dem standardmäßigen FP16 (basierend auf dem IEEE-Standard für Gleitkommaarithmetik) für Entwickler im Bereich künstlicher Intelligenz entscheidend.

FP16 verwendet 5 Bit für den Exponenten und 10 Bit für die Mantisse. Diese Struktur verleiht FP16 eine höhere numerische Genauigkeit, jedoch einen deutlich kleineren Dynamikbereich. Daher erfordern Trainingsabläufe mit FP16 häufig komplexe Techniken zur Verlustskalierung, um einen Unterlauf der Gradienten zu verhindern – ein Szenario, bei dem winzige Aktualisierungen der Gradienten zu Nullen werden. Der 8-Bit-Exponent von BFloat16 löst dieses Problem, indem er den Dynamikbereich von FP32 übernimmt. Dadurch können Entwickler BF16 nahtlos in neuronale Netze integrieren, ohne Hyperparameter anzupassen oder den Verlust zu skalieren. Das macht es zum bevorzugten Format für die Stabilisierung des Trainings umfangreicher großer Sprachmodelle (LLMs). Detaillierte numerische Spezifikationen findest du auf der BFloat16-Seite der Wikipedia.

Vorteile für das Training mit Deep Learning#

Aktuelle Studien zu BFloat16 für das Training mit Deep Learning zeigen, dass es den gesamten Trainingsprozess erheblich beschleunigt. Da weniger Speicherbandbreite zum Abrufen und Speichern von Tensoren benötigt wird, können Praktiker mit BFloat16 ihre Batchgrößen verdoppeln oder auf vorhandener Hardware Basismodelle mit mehreren Milliarden Parametern ausführen. Interessanterweise wirkt sich die leicht verringerte Präzision der Mantisse während des Trainings wie eine milde Regularisierung aus, wodurch sich die Fähigkeit eines Modells zur Verallgemeinerung auf unbekannte Daten gelegentlich verbessern kann. BFloat16 bildet derzeit die Grundlage moderner Verfahren mit gemischter Genauigkeit.

Hardwarekompatibilität und Ausführung#

Um die Geschwindigkeitsvorteile von BFloat16 vollständig zu nutzen, ist spezielle Hardwareunterstützung erforderlich. Auf Cloud TPUs erzielt es eine hohe Leistung und wird auf modernen NVIDIA GPUs ab der NVIDIA-Ampere-Architektur nativ beschleunigt – darunter die RTX-30-Serie, A100 und professionelle Workstation-Karten wie die RTX A6000 – bis hin zu den neueren Generationen NVIDIA Hopper und Blackwell.

Mit Frameworks, die PyTorch Automatic Mixed Precision (AMP) unterstützen, können Entwickler torch.autocast verwenden, um unterstützte mathematische Operationen automatisch über spezialisierte BF16-Tensor-Cores auszuführen. Dadurch wird der Durchsatz maximiert und gleichzeitig die Inferenzlatenz minimiert.

KI-Anwendungen in der Praxis#

BFloat16 entwickelt sich in zahlreichen Bereichen rasch zum Industriestandard:

• Generative KI und LLMs: Forschungsorganisationen, die OpenAIs neueste generative Modelle trainieren, sowie Anthropic trainieren hochmoderne Netzwerke mit BFloat16. Außerdem verwenden sie BF16 beim Inferenzbetrieb für den KV-Cache. Dieses Format ist entscheidend, um eine Erschöpfung des Speichers in Cloud-Computing-Umgebungen zu verhindern, wenn Millionen gleichzeitiger Chat-Anfragen verarbeitet werden.
• Computervision mit hoher Auflösung: Bei der Verarbeitung von 4K-Videostreams oder umfangreichen Satellitenbildern sind die VRAM-Grenzen eng. Durch den Einsatz fortschrittlicher Architekturen wie Ultralytics YOLO26 mit BFloat16 können automatisierte Sicherheits- oder Fertigungssysteme eine schnelle Objekterkennung auf hardwarebeschränkten Edge-KI-Systemen wie NVIDIA-Jetson-Geräten erreichen und dabei strenge Genauigkeitsanforderungen einhalten.

BFloat16 mit Ultralytics implementieren#

Das von PyTorch unterstützte Paket ultralytics macht die Ausführung von Modellen mit BFloat16 besonders unkompliziert. Das folgende kurze Beispiel zeigt, wie du ein Modell lädst und innerhalb eines BF16-Autocast-Kontextblocks eine Inferenz ausführst.

import torch
from ultralytics import YOLO

# Initialize the latest Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")

# Verify that the active GPU architecture supports BFloat16
if torch.cuda.is_available() and torch.cuda.is_bf16_supported():
    # Use PyTorch autocast to run inference purely in BFloat16
    with torch.autocast(device_type="cuda", dtype=torch.bfloat16):
        results = model.predict("https://ultralytics.com/images/bus.jpg")

        print("Inference completed successfully using BFloat16 precision.")

Für Teams, die diese Optimierungen mühelos skalieren möchten, verwaltet die Ultralytics Platform Präzisionsformate automatisch über komplexe Cloud-Trainingspipelines hinweg. So erhalten Nutzer die bestmögliche Geschwindigkeit und Genauigkeit, ohne Code für die Hardware auf niedriger Ebene verwalten zu müssen.