BFloat16 (BF16)

BFloat16, ou Brain Floating Point, é um formato numérico computacional de 16 bits altamente otimizado para aplicações de aprendizagem automática. Desenvolvido originalmente pela equipa Google Brain, representa uma abordagem especializada para lidar de forma eficiente com enormes matrizes de pesos de modelos e gradientes. Ao contrário do formato padrão de vírgula flutuante de 32 bits (FP32), as propriedades matemáticas do BFloat16 alocam 8 bits para o expoente e 7 bits para a fração (mantissa). Esta estrutura única proporciona exatamente o mesmo intervalo dinâmico que o FP32, mas com menor precisão, reduzindo para metade os requisitos de memória de arquiteturas complexas de aprendizagem profunda sem sofrer da instabilidade numérica frequentemente observada em formatos antigos de 16 bits.

BFloat16 vs. Float16 (FP16): principais diferenças#

Ao comparar formatos de meia precisão, a distinção entre BF16 e o FP16 padrão (baseado na Norma IEEE para Aritmética de Ponto Flutuante) é fundamental para engenheiros de IA.

O FP16 utiliza 5 bits para o expoente e 10 bits para a mantissa. Esta estrutura proporciona ao FP16 maior precisão numérica, mas um intervalo dinâmico significativamente mais estreito. Consequentemente, os fluxos de trabalho de treino com FP16 exigem frequentemente técnicas complexas de escalonamento da perda para evitar o subfluxo dos gradientes — uma situação em que pequenas atualizações dos gradientes se tornam zeros. O expoente de 8 bits do BFloat16 resolve este problema ao corresponder ao intervalo dinâmico do FP32. Isto significa que os programadores podem integrar o BF16 de forma simples em redes neuronais sem ajustar hiperparâmetros nem escalar a perda, tornando-o o formato preferido para estabilizar o treino de modelos de linguagem de grande escala (LLMs). As especificações numéricas detalhadas podem ser consultadas na página do BFloat16 na Wikipédia.

Vantagens para o treino de aprendizagem profunda#

Estudos recentes sobre o BFloat16 no treino de aprendizagem profunda destacam como este acelera drasticamente o processo de treino geral. Ao reduzir a largura de banda de memória necessária para obter e armazenar tensores, o BFloat16 permite aos profissionais duplicar os seus tamanhos de lote ou aumentar a escala para modelos fundacionais com milhares de milhões de parâmetros no hardware existente. Curiosamente, a ligeira redução na precisão da mantissa funciona como uma técnica ligeira de regularização durante o treino, o que pode ocasionalmente melhorar a capacidade de um modelo para generalizar para dados não observados. Atualmente, é a base dos regimes modernos de precisão mista.

Compatibilidade de hardware e execução#

Para tirar pleno partido dos benefícios de velocidade do BFloat16, é necessário suporte de hardware dedicado. O BFloat16 alcança elevado desempenho em Cloud TPUs e é acelerado nativamente em GPUs NVIDIA modernas a partir da arquitetura NVIDIA Ampere (como as RTX da série 30, a A100 e placas profissionais para estações de trabalho, como a RTX A6000), passando pelas gerações mais recentes NVIDIA Hopper e Blackwell.

Ao utilizar frameworks com PyTorch Automatic Mixed Precision (AMP), os programadores podem utilizar torch.autocast para encaminhar automaticamente as operações matemáticas suportadas através de Tensor Cores BF16 especializados. Isto maximiza o débito e minimiza simultaneamente a latência de inferência.

Aplicações de IA no mundo real#

O BFloat16 está rapidamente a tornar-se o padrão da indústria em vários domínios:

• IA generativa e LLMs: as organizações de investigação que treinam os modelos generativos mais recentes da OpenAI ou o Claude da Anthropic treinam redes de última geração utilizando BFloat16. Além disso, utilizam BF16 para o armazenamento em cache de KV durante a inferência. Este formato é crucial para evitar o esgotamento da memória em ambientes de computação na cloud ao servir milhões de pedidos de chat simultâneos.
• Visão computacional de alta resolução: ao processar fluxos de vídeo 4K ou imagens de satélite de grandes dimensões, os limites de VRAM são apertados. Ao implementar arquiteturas avançadas como o Ultralytics YOLO26 utilizando BFloat16, os sistemas automatizados de segurança ou fabrico podem alcançar deteção de objetos de alta velocidade em configurações de IA de edge com hardware limitado, como dispositivos NVIDIA Jetson, preservando simultaneamente requisitos rigorosos de precisão.

Implementação do BFloat16 com Ultralytics#

O pacote ultralytics, baseado em PyTorch, torna excecionalmente simples executar modelos em BFloat16. Segue-se um exemplo conciso que demonstra como carregar um modelo e executar inferência dentro de um bloco de contexto autocast BF16.

import torch
from ultralytics import YOLO

# Initialize the latest Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")

# Verify that the active GPU architecture supports BFloat16
if torch.cuda.is_available() and torch.cuda.is_bf16_supported():
    # Use PyTorch autocast to run inference purely in BFloat16
    with torch.autocast(device_type="cuda", dtype=torch.bfloat16):
        results = model.predict("https://ultralytics.com/images/bus.jpg")

        print("Inference completed successfully using BFloat16 precision.")

Para as equipas que pretendem expandir estas otimizações sem esforço, a Ultralytics Platform gere automaticamente os formatos de precisão em pipelines de treino na cloud complexos, garantindo que os utilizadores obtêm a melhor velocidade e precisão possíveis sem terem de gerir código de hardware de baixo nível.