BFloat16 (BF16)

BFloat16, o virgola mobile del cervello, è un formato numerico a 16 bit ottimizzato specificamente per le applicazioni di machine learning. Sviluppato originariamente dal team Google Brain, rappresenta un approccio specializzato alla gestione efficiente di enormi array di pesi del modello e gradienti. A differenza del formato standard in virgola mobile a 32 bit (FP32), le proprietà matematiche di BFloat16 allocano 8 bit all'esponente e 7 bit alla frazione (mantissa). Questa struttura unica offre esattamente lo stesso intervallo dinamico di FP32, ma con una precisione ridotta, dimezzando di fatto i requisiti di memoria delle complesse architetture di deep learning senza incorrere nell'instabilità numerica spesso riscontrata nei precedenti formati a 16 bit.

BFloat16 vs. Float16 (FP16): differenze principali#

Nel confrontare i formati a precisione dimezzata, la distinzione tra BF16 e il formato FP16 standard (basato sullo standard IEEE per l'aritmetica in virgola mobile) è fondamentale per gli ingegneri dell'AI.

FP16 utilizza 5 bit per l'esponente e 10 bit per la mantissa. Questa struttura offre a FP16 una maggiore precisione numerica, ma un intervallo dinamico significativamente più ristretto. Di conseguenza, i flussi di lavoro di addestramento con FP16 richiedono spesso complesse tecniche di ridimensionamento della loss per prevenire l'underflow dei gradienti, uno scenario in cui piccoli aggiornamenti dei gradienti diventano zeri. L'esponente a 8 bit di BFloat16 risolve questo problema eguagliando l'intervallo dinamico di FP32. Ciò significa che gli sviluppatori possono integrare BF16 nelle reti neurali senza modificare gli iperparametri né ridimensionare la loss, rendendolo il formato preferito per stabilizzare l'addestramento di enormi modelli linguistici di grandi dimensioni (LLMs). Le specifiche numeriche dettagliate possono essere consultate nella pagina di BFloat16 su Wikipedia.

Vantaggi per l'addestramento nel deep learning#

Studi recenti sull'uso di BFloat16 nell'addestramento di modelli di deep learning evidenziano come questo formato acceleri drasticamente il processo di addestramento complessivo. Riducendo la larghezza di banda di memoria necessaria per recuperare e memorizzare i tensori, BFloat16 consente ai professionisti di raddoppiare le dimensioni dei batch o di aumentare la scala fino a modelli fondamentali con miliardi di parametri sull'hardware esistente. È interessante notare che la lieve riduzione della precisione della mantissa si comporta come una blanda tecnica di regolarizzazione durante l'addestramento, migliorando talvolta la capacità di un modello di generalizzare a dati non osservati. Attualmente rappresenta la base dei moderni regimi di precisione mista.

Compatibilità hardware ed esecuzione#

Per sfruttare appieno i vantaggi in termini di velocità di BFloat16, è necessario un supporto hardware dedicato. Offre prestazioni elevate sulle Cloud TPU ed è accelerato nativamente sulle moderne GPU NVIDIA a partire dall'architettura NVIDIA Ampere (come le schede della serie RTX 30, A100 e le schede per workstation professionali come RTX A6000), fino alle generazioni più recenti NVIDIA Hopper e Blackwell.

Utilizzando framework con PyTorch Automatic Mixed Precision (AMP), gli sviluppatori possono utilizzare torch.autocast per instradare automaticamente le operazioni matematiche supportate attraverso Tensor Core BF16 specializzati. Ciò massimizza il throughput riducendo al minimo la latenza di inferenza.

Applicazioni dell'AI nel mondo reale#

BFloat16 sta rapidamente diventando lo standard del settore in numerosi ambiti:

• AI generativa e LLMs: le organizzazioni di ricerca che addestrano gli ultimi modelli generativi di OpenAI o Claude di Anthropic addestrano reti all'avanguardia utilizzando BFloat16. Inoltre, utilizzano BF16 per il caching KV durante l'inferenza. Questo formato è fondamentale per prevenire l'esaurimento della memoria negli ambienti di cloud computing durante la gestione di milioni di richieste di chat simultanee.
• Computer vision ad alta risoluzione: durante l'elaborazione di flussi video 4K o di immagini satellitari di grandi dimensioni, i limiti della VRAM sono stringenti. Implementando architetture avanzate come Ultralytics YOLO26 con BFloat16, i sistemi automatizzati di sicurezza o manifatturieri possono ottenere il rilevamento ad alta velocità degli oggetti su configurazioni di edge AI con risorse hardware limitate, come i dispositivi NVIDIA Jetson, mantenendo al contempo rigorosi requisiti di accuratezza.

Implementazione di BFloat16 con Ultralytics#

Il pacchetto ultralytics, basato su PyTorch, rende eccezionalmente semplice eseguire modelli in BFloat16. Di seguito è riportato un esempio conciso che mostra come caricare un modello ed eseguire l'inferenza all'interno di un blocco di contesto autocast BF16.

import torch
from ultralytics import YOLO

# Initialize the latest Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")

# Verify that the active GPU architecture supports BFloat16
if torch.cuda.is_available() and torch.cuda.is_bf16_supported():
    # Use PyTorch autocast to run inference purely in BFloat16
    with torch.autocast(device_type="cuda", dtype=torch.bfloat16):
        results = model.predict("https://ultralytics.com/images/bus.jpg")

        print("Inference completed successfully using BFloat16 precision.")

Per i team che desiderano applicare queste ottimizzazioni su larga scala senza difficoltà, la Ultralytics Platform gestisce automaticamente i formati di precisione nei complessi flussi di lavoro di addestramento sul cloud, garantendo agli utenti la migliore velocità e accuratezza possibili senza dover gestire codice hardware di basso livello.