BFloat16 (BF16)

BFloat16, o Brain Floating Point, è un formato numerico a 16 bit ottimizzato intensamente per applicazioni di machine learning. Sviluppato originariamente dal team Google Brain, rappresenta un approccio specializzato per gestire in modo efficiente enormi array di pesi del modello e gradienti. A differenza del formato standard in virgola mobile a 32 bit (FP32), le proprietà matematiche di BFloat16 allocano 8 bit per l'esponente e 7 bit per la frazione (mantissa). Questa struttura unica fornisce esattamente lo stesso intervallo dinamico di FP32 ma con una precisione ridotta, dimezzando di fatto i requisiti di memoria di complesse architetture di deep learning senza soffrire dell'instabilità numerica spesso riscontrata nei formati a 16 bit meno recenti.

Link to this sectionBFloat16 vs. Float16 (FP16): Principali differenze#

Quando si confrontano i formati a mezza precisione, la distinzione tra BF16 e il formato standard FP16 (basato sullo standard IEEE per l'aritmetica in virgola mobile) è fondamentale per gli ingegneri AI.

FP16 utilizza 5 bit per l'esponente e 10 bit per la mantissa. Questa struttura conferisce a FP16 una maggiore precisione numerica, ma un intervallo dinamico significativamente più ristretto. Di conseguenza, i flussi di lavoro di addestramento FP16 richiedono spesso complesse tecniche di loss scaling per evitare l'underflow del gradiente, uno scenario in cui piccoli aggiornamenti del gradiente diventano zeri. L'esponente a 8 bit di BFloat16 risolve questo problema eguagliando l'intervallo dinamico di FP32. Ciò significa che puoi integrare facilmente BF16 nelle reti neurali senza regolare gli iperparametri o scalare la loss, rendendolo il formato preferito per stabilizzare l'addestramento di enormi large language models (LLM). Le specifiche numeriche dettagliate possono essere esplorate ulteriormente sulla pagina Wikipedia di BFloat16.

Link to this sectionVantaggi per l'addestramento nel deep learning#

Recenti studi su BFloat16 per l'addestramento nel deep learning evidenziano come acceleri drasticamente l'intero processo di addestramento. Riducendo la larghezza di banda di memoria richiesta per recuperare e memorizzare i tensori, BFloat16 consente ai professionisti di raddoppiare i propri batch sizes o di scalare fino a modelli di base da miliardi di parametri sull'hardware esistente. È interessante notare che la leggera riduzione della precisione della mantissa si comporta come una lieve tecnica di regolarizzazione durante l'addestramento, che può occasionalmente migliorare la capacità di un modello di generalizzare su dati mai visti prima. Attualmente è la spina dorsale dei moderni regimi di mixed precision.

Link to this sectionCompatibilità hardware ed esecuzione#

Per sfruttare appieno i vantaggi di velocità di BFloat16, è necessario un supporto hardware dedicato. Ottiene prestazioni elevate sui Cloud TPU ed è accelerato nativamente sulle moderne GPU NVIDIA a partire dall'architettura NVIDIA Ampere (come la serie RTX 30, A100 e schede workstation professionali come la RTX A6000) fino alle più recenti generazioni NVIDIA Hopper e Blackwell.

Utilizzando framework con PyTorch Automatic Mixed Precision (AMP), puoi sfruttare torch.autocast per instradare automaticamente le operazioni matematiche supportate attraverso i Tensor Core BF16 specializzati. Questo massimizza il throughput riducendo al minimo la latenza di inferenza.

Link to this sectionApplicazioni AI nel Mondo Reale#

BFloat16 sta diventando rapidamente lo standard del settore in numerosi domini:

• Generative AI e LLM: Le organizzazioni di ricerca che addestrano i più recenti modelli generativi di OpenAI o Claude di Anthropic addestrano reti all'avanguardia utilizzando BFloat16. Inoltre, utilizzano BF16 per il caching KV durante l'inferenza. Questo formato è cruciale per prevenire l'esaurimento della memoria in ambienti di cloud computing quando si servono milioni di richieste di chat simultanee.
• Computer Vision ad alta risoluzione: Quando elabori flussi video 4K o grandi immagini satellitari, i limiti di VRAM sono stretti. Distribuendo architetture avanzate come Ultralytics YOLO26 utilizzando BFloat16, i sistemi di sicurezza automatizzati o di produzione possono ottenere un'object detection ad alta velocità su configurazioni edge AI con vincoli hardware, come i dispositivi NVIDIA Jetson, mantenendo al contempo rigorosi requisiti di accuratezza.

Link to this sectionImplementare BFloat16 con Ultralytics#

Il pacchetto ultralytics, basato su PyTorch, rende l'esecuzione dei modelli in BFloat16 estremamente semplice. Di seguito un esempio conciso che mostra come caricare un modello ed eseguire l'inferenza all'interno di un blocco di contesto autocast BF16.

import torch
from ultralytics import YOLO

# Initialize the latest Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")

# Verify that the active GPU architecture supports BFloat16
if torch.cuda.is_available() and torch.cuda.is_bf16_supported():
    # Use PyTorch autocast to run inference purely in BFloat16
    with torch.autocast(device_type="cuda", dtype=torch.bfloat16):
        results = model.predict("https://ultralytics.com/images/bus.jpg")

        print("Inference completed successfully using BFloat16 precision.")

Per i team che desiderano scalare queste ottimizzazioni senza sforzo, la piattaforma Ultralytics gestisce automaticamente i formati di precisione attraverso complesse pipeline di addestramento in cloud, garantendo ai tuoi utenti la migliore velocità e accuratezza possibili senza dover gestire codice hardware a basso livello.