FP8

FP8, o coma flotante de 8 bits, es un formato numérico de baja precisión que almacena cada valor en ocho bits. Los sistemas de IA utilizan FP8 para reducir el tráfico de memoria y acelerar las multiplicaciones de matrices, las convoluciones y otras operaciones costosas en hardware compatible. En comparación con FP16 o FP32, representa menos valores distintos, por lo que los flujos de trabajo eficaces con FP8 combinan el cálculo rápido de baja precisión con el escalado y operaciones selectivas de mayor precisión para conservar la calidad del modelo.

Cómo representa los números FP8#

Un valor de coma flotante contiene un signo, un exponente que controla el rango y una mantisa que controla el detalle. FP8 suele aparecer en dos formatos documentados por los tipos de datos de coma flotante de PyTorch:

• E4M3: Un bit de signo, cuatro bits de exponente y tres bits de mantisa. Proporciona más detalle numérico, pero un rango más estrecho.
• E5M2: Un bit de signo, cinco bits de exponente y dos bits de mantisa. Abarca un rango más amplio, pero redondea los valores de forma más agresiva.

E4M3 suele ser adecuado para pesos y activaciones, mientras que E5M2 puede adaptarse mejor a gradientes con rangos de valores amplios. Las variantes exactas difieren según la plataforma, como se muestra en la documentación de AMD sobre coma flotante de baja precisión, por lo que un modelo FP8 no es automáticamente portable entre todos los aceleradores y entornos de ejecución.

Dado que ocho bits no pueden representar todo el rango y el detalle originales de un tensor, los frameworks suelen multiplicar los valores por un factor de escala antes de la conversión. La guía introductoria sobre el escalado de FP8 de NVIDIA describe estrategias como el escalado diferido, que obtiene las escalas futuras a partir de los valores máximos observados anteriormente. El escalado limita el desbordamiento, el subdesbordamiento y la saturación sin exigir que todas las operaciones se ejecuten con mayor precisión.

FP8 frente a formatos relacionados#

FP8 ocupa una posición intermedia entre los tipos de datos habituales de la IA:

• FP16 o precisión media: Utiliza el doble de bits, lo que ofrece un mayor detalle numérico y, por lo general, un entrenamiento más sencillo. FP8 puede reducir aún más el almacenamiento y el ancho de banda, pero requiere un escalado más cuidadoso.
• BF16: Mantiene un rango amplio de exponentes, aunque proporciona menos detalle fraccionario que FP16. Suele utilizarse como complemento de mayor precisión en el entrenamiento con FP8.
• INT8: Representa enteros en lugar de valores de coma flotante. La cuantización de modelos INT8 normalmente depende de escalas para asignar valores reales a niveles enteros fijos, mientras que FP8 conserva un exponente para lograr un espaciado no uniforme de forma natural.
• FP4: Utiliza solo cuatro bits y puede proporcionar una mayor compresión, pero su rango y granularidad extremadamente limitados suelen dificultar más la conservación de la precisión.

FP8 suele formar parte de un flujo de trabajo de precisión mixta, en lugar de ser el tipo de datos de todos los tensores. La acumulación, la normalización, el estado del optimizador o las capas sensibles pueden mantenerse en BF16, FP16 o FP32. Además, la precisión numérica es diferente de la métrica de evaluación de la precisión, que mide cuántas predicciones positivas del modelo son correctas.

Aplicaciones en el mundo real#

Dos aplicaciones prácticas muestran por qué FP8 es importante:

1. Entrenamiento de modelos grandes: El entrenamiento de Transformer realiza repetidamente grandes multiplicaciones de matrices. Un framework compatible con FP8 puede convertir los pesos y las activaciones aptos a FP8, manteniendo una mayor precisión cuando la estabilidad lo requiere. Esto reduce la demanda de ancho de banda y puede aumentar el rendimiento del entrenamiento. El flujo de trabajo de entrenamiento cuantizado de TorchAO incluye opciones de escalado por tensor y por fila que permiten elegir entre la máxima velocidad y un mejor tratamiento de los valores atípicos.

2. Inferencia de visión de alto rendimiento: Un centro de datos puede ejecutar detección de objetos en cientos de flujos de vídeo de comercios, tráfico o fabricación. Los kernels compatibles con FP8 pueden reducir el tiempo y la memoria utilizados por las capas aptas del modelo, lo que podría disminuir la latencia de inferencia y aumentar la capacidad de flujos simultáneos. La guía de tipos cuantizados de TensorRT explica cómo las operaciones explícitas de cuantización y descuantización describen la ejecución con FP8.

Riesgos numéricos y compatibilidad de hardware#

Un escalado deficiente puede hacer que los valores grandes se saturen y que los valores pequeños se redondeen a cero. Los valores atípicos son especialmente problemáticos cuando una única escala cubre todo un tensor. Estos efectos pueden desplazar las puntuaciones de confianza, desestabilizar el entrenamiento o reducir la precisión de detección, por lo que los desarrolladores deben validar el modelo convertido frente a su referencia de mayor precisión.

La compatibilidad nativa del hardware es igual de importante. La arquitectura Hopper de NVIDIA introdujo la aceleración FP8 de Tensor Core, mientras que la antigua GPU NVIDIA A100 admite FP16, BF16 e INT8, pero no el cálculo FP8 nativo. Por tanto, debes consultar la matriz de compatibilidad de hardware de TensorRT antes de seleccionar la precisión de despliegue.

Trabajar con FP8 en la práctica#

Este pequeño ejemplo de PyTorch muestra la conversión a E4M3 y el error de redondeo que se produce al restaurar los valores FP8 a FP32:

import torch

values = torch.tensor([0.1, 1.0, 3.14, 100.0], dtype=torch.float32)

# Convert to E4M3 FP8, then restore the values for comparison.
fp8_values = values.to(torch.float8_e4m3fn)
restored = fp8_values.to(torch.float32)
absolute_error = (restored - values).abs()

print(torch.stack((values, restored, absolute_error), dim=1))

El flujo de trabajo documentado de exportación a TensorRT de Ultralytics proporciona opciones FP16 e INT8 calibrado para Ultralytics YOLO, en lugar de una exportación FP8 con un solo argumento. Por tanto, el despliegue con FP8 requiere una cadena de herramientas de conversión posterior compatible. Sea cual sea la precisión seleccionada, utiliza el modo de benchmark de Ultralytics en la GPU de destino para comparar la latencia, el rendimiento, el uso de memoria y la precisión de la tarea antes del despliegue en producción.