FP8

FP8, ou ponto flutuante de 8 bits, é um formato numérico de baixa precisão que armazena cada valor em oito bits. Os sistemas de IA usam FP8 para reduzir o tráfego de memória e acelerar multiplicações de matrizes, convoluções e outras operações dispendiosas em hardware compatível. Em comparação com FP16 ou FP32, representa menos valores distintos, pelo que os fluxos de trabalho FP8 bem-sucedidos combinam computação rápida de baixa precisão com escalonamento e operações seletivas de maior precisão para preservar a qualidade do modelo.

Como o FP8 Representa Números#

Um valor de ponto flutuante contém um sinal, um expoente que controla o intervalo e uma mantissa que controla o detalhe. O FP8 surge normalmente em dois formatos documentados pelos tipos de dados de ponto flutuante do PyTorch:

• E4M3: Um bit de sinal, quatro bits de expoente e três bits de mantissa. Oferece mais detalhe numérico, mas um intervalo mais estreito.
• E5M2: Um bit de sinal, cinco bits de expoente e dois bits de mantissa. Abrange um intervalo mais amplo, mas arredonda os valores de forma mais agressiva.

O E4M3 é frequentemente adequado para pesos e ativações, enquanto o E5M2 pode acomodar melhor gradientes com intervalos de valores amplos. As variantes exatas diferem entre plataformas, como mostrado na documentação de ponto flutuante de baixa precisão da AMD, pelo que um modelo FP8 não é automaticamente portável entre todos os aceleradores e runtimes.

Como oito bits não conseguem representar todo o intervalo e detalhe originais de um tensor, as frameworks normalmente multiplicam os valores por um fator de escala antes da conversão. O guia introdutório sobre escalonamento FP8 da NVIDIA descreve estratégias como o escalonamento atrasado, que calcula escalas futuras a partir dos valores máximos observados anteriormente. O escalonamento limita o overflow, o underflow e a saturação sem exigir que todas as operações sejam executadas com maior precisão.

FP8 vs Formatos Relacionados#

O FP8 ocupa uma posição intermédia entre os tipos de dados de IA comuns:

• FP16 ou precisão média: Usa o dobro de bits, oferecendo maior detalhe numérico e, em geral, um treino mais simples. O FP8 pode reduzir ainda mais o armazenamento e a largura de banda, mas exige um escalonamento mais cuidadoso.
• BF16: Mantém um intervalo amplo de expoentes, fornecendo menos detalhe fracionário do que o FP16. É frequentemente utilizado como complemento de maior precisão no treino com FP8.
• INT8: Representa números inteiros em vez de valores de ponto flutuante. A quantização de modelos INT8 depende normalmente de escalas para mapear valores reais para níveis inteiros fixos, enquanto o FP8 mantém um expoente para um espaçamento naturalmente não uniforme.
• FP4: Usa apenas quatro bits e pode proporcionar maior compressão, mas o seu intervalo e a sua granularidade extremamente limitados normalmente dificultam a preservação da precisão.

O FP8 faz frequentemente parte de um fluxo de trabalho de precisão mista, em vez de ser o tipo de dados de todos os tensores. A acumulação, a normalização, o estado do otimizador ou as camadas sensíveis podem permanecer em BF16, FP16 ou FP32. Além disso, a precisão numérica é diferente da métrica de avaliação da precisão, que mede quantas previsões positivas do modelo estão corretas.

Aplicações no mundo real#

Duas aplicações práticas ilustram por que razão o FP8 é importante:

1. Treino de modelos de grande dimensão: O treino de Transformer executa repetidamente grandes multiplicações de matrizes. Uma framework compatível com FP8 pode converter pesos e ativações elegíveis para FP8, mantendo uma precisão superior onde a estabilidade o exige. Isto reduz a necessidade de largura de banda e pode aumentar o débito do treino. O fluxo de trabalho de treino quantizado do TorchAO inclui opções de escalonamento ao nível do tensor e ao nível da linha, que permitem trocar a velocidade máxima por um melhor tratamento dos valores discrepantes.

2. Inferência de visão de alto débito: Um centro de dados pode executar deteção de objetos em centenas de fluxos de vídeo de retalho, tráfego ou produção industrial. Os kernels compatíveis com FP8 podem reduzir o tempo e a memória utilizados pelas camadas elegíveis do modelo, diminuindo potencialmente a latência da inferência e aumentando a capacidade de fluxos simultâneos. O guia de tipos quantizados do TensorRT explica como as operações explícitas de quantização e desquantização descrevem a execução FP8.

Riscos Numéricos e Suporte de Hardware#

Um escalonamento inadequado pode fazer com que valores grandes saturem e valores pequenos sejam arredondados para zero. Os valores discrepantes são especialmente problemáticos quando uma única escala abrange todo um tensor. Estes efeitos podem alterar as pontuações de confiança, desestabilizar o treino ou reduzir a precisão da deteção, pelo que os programadores devem validar o modelo convertido em relação à sua baseline de maior precisão.

O suporte nativo de hardware é igualmente importante. A arquitetura NVIDIA Hopper introduziu a aceleração FP8 Tensor Core, enquanto a GPU NVIDIA A100 mais antiga suporta FP16, BF16 e INT8, mas não computação FP8 nativa. Por isso, a matriz de suporte de hardware do TensorRT deve ser consultada antes de selecionar uma precisão de implementação.

Trabalhar com FP8 na Prática#

Este pequeno exemplo em PyTorch demonstra a conversão E4M3 e o erro de arredondamento produzido quando os valores FP8 são restaurados para FP32:

import torch

values = torch.tensor([0.1, 1.0, 3.14, 100.0], dtype=torch.float32)

# Convert to E4M3 FP8, then restore the values for comparison.
fp8_values = values.to(torch.float8_e4m3fn)
restored = fp8_values.to(torch.float32)
absolute_error = (restored - values).abs()

print(torch.stack((values, restored, absolute_error), dim=1))

O fluxo de trabalho documentado de exportação para TensorRT da Ultralytics fornece opções FP16 e INT8 calibrado para Ultralytics YOLO, em vez de uma exportação FP8 com um único argumento. Por isso, a implementação FP8 exige uma cadeia de ferramentas de conversão compatível a jusante. Independentemente da precisão selecionada, utiliza o modo de benchmark da Ultralytics na GPU de destino para comparar a latência, o débito, a utilização de memória e a precisão da tarefa antes da implementação em produção.