FP8

FP8, o coma flotante de 8 bits, es un formato numérico de baja precisión que almacena cada valor en ocho bits. Los sistemas de IA usan FP8 para reducir el tráfico de memoria y acelerar las multiplicaciones de matrices, las convoluciones y otras operaciones costosas en hardware compatible. En comparación con FP16 o FP32, representa menos valores distintos, por lo que los flujos de trabajo de FP8 exitosos combinan un cálculo rápido de baja precisión con escalado y operaciones selectivas de mayor precisión para preservar la calidad del modelo.

Link to this sectionCómo representa FP8 los números#

Un valor de coma flotante contiene un signo, un exponente que controla el rango y una mantisa que controla el detalle. FP8 aparece comúnmente en dos formatos documentados por los tipos de datos de coma flotante de PyTorch:

• E4M3: Un bit de signo, cuatro bits de exponente y tres bits de mantisa. Proporciona más detalle numérico pero un rango más estrecho.
• E5M2: Un bit de signo, cinco bits de exponente y dos bits de mantisa. Cubre un rango más amplio pero redondea los valores de forma más agresiva.

E4M3 suele ser adecuado para pesos y activaciones, mientras que E5M2 puede adaptarse mejor a gradientes con rangos de valores amplios. Las variantes exactas difieren entre plataformas, como se muestra en la documentación de coma flotante de baja precisión de AMD, por lo que un modelo FP8 no es automáticamente portable entre todos los aceleradores y runtimes.

Debido a que ocho bits no pueden representar todo el rango y detalle original de un tensor, los frameworks suelen multiplicar los valores por un factor de escala antes de la conversión. La guía de introducción al escalado FP8 de NVIDIA describe estrategias como el escalado retrasado, que deriva futuras escalas a partir de los valores máximos observados previamente. El escalado limita el desbordamiento (overflow), el subdesbordamiento (underflow) y la saturación sin requerir que cada operación se ejecute en mayor precisión.

Link to this sectionFP8 frente a formatos relacionados#

FP8 ocupa un punto intermedio entre los tipos de datos de IA comunes:

• FP16 o precisión media: Utiliza el doble de bits, lo que ofrece mayor detalle numérico y un entrenamiento generalmente más sencillo. FP8 puede reducir aún más el almacenamiento y el ancho de banda, pero requiere un escalado más cuidadoso.
• BF16: Mantiene un rango de exponentes amplio a la vez que proporciona menos detalle fraccionario que FP16. A menudo se utiliza como el acompañante de mayor precisión en el entrenamiento con FP8.
• INT8: Representa enteros en lugar de valores de coma flotante. La cuantización de modelos en INT8 normalmente se basa en escalas para mapear valores reales en niveles enteros fijos, mientras que FP8 retiene un exponente para un espaciado naturalmente no uniforme.
• FP4: Utiliza solo cuatro bits y puede proporcionar una mayor compresión, pero su rango y granularidad extremadamente limitados suelen dificultar la preservación de la precisión.

FP8 forma parte frecuentemente de un flujo de trabajo de precisión mixta en lugar de ser el tipo de datos para cada tensor. La acumulación, la normalización, el estado del optimizador o las capas sensibles pueden permanecer en BF16, FP16 o FP32. Asimismo, la precisión numérica es diferente de la métrica de evaluación de precisión, que mide cuántas predicciones positivas del modelo son correctas.

Link to this sectionAplicaciones en el mundo real#

Dos aplicaciones prácticas ilustran por qué FP8 importa:

1. Entrenamiento de modelos grandes: El entrenamiento de Transformer realiza repetidamente grandes multiplicaciones de matrices. Un framework compatible con FP8 puede convertir los pesos y activaciones aptos a FP8 mientras retiene una mayor precisión donde la estabilidad lo requiera. Esto reduce la demanda de ancho de banda y puede aumentar el rendimiento del entrenamiento. El flujo de trabajo de entrenamiento cuantizado de TorchAO incluye opciones de escalado por tensor y por fila que equilibran la velocidad máxima frente a una mejor gestión de los valores atípicos.

2. Inferencia de visión de alto rendimiento: Un centro de datos puede ejecutar la detección de objetos en cientos de transmisiones de vídeo de comercios, tráfico o fabricación. Los núcleos compatibles con FP8 pueden reducir el tiempo y la memoria utilizados por las capas de modelo elegibles, lo que potencialmente disminuye la latencia de inferencia y aumenta la capacidad de transmisiones concurrentes. La guía de tipos cuantizados de TensorRT explica cómo las operaciones explícitas de cuantización y des-cuantización describen la ejecución en FP8.

Link to this sectionRiesgos numéricos y compatibilidad de hardware#

Un mal escalado puede hacer que los valores grandes se saturen y los valores pequeños se redondeen a cero. Los valores atípicos son especialmente problemáticos cuando una sola escala cubre un tensor completo. Estos efectos pueden alterar las puntuaciones de confianza, desestabilizar el entrenamiento o reducir la precisión de la detección, por lo que los desarrolladores deben validar el modelo convertido frente a su línea base de mayor precisión.

La compatibilidad nativa con hardware es igualmente importante. La arquitectura NVIDIA Hopper introdujo la aceleración FP8 Tensor Core, mientras que la antigua GPU NVIDIA A100 admite FP16, BF16 e INT8, pero no el cálculo nativo en FP8. Por lo tanto, se debe comprobar la matriz de compatibilidad de hardware de TensorRT antes de seleccionar una precisión de despliegue.

Link to this sectionTrabajar con FP8 en la práctica#

Este pequeño ejemplo de PyTorch demuestra la conversión a E4M3 y el error de redondeo producido cuando los valores FP8 se restauran a FP32:

import torch

values = torch.tensor([0.1, 1.0, 3.14, 100.0], dtype=torch.float32)

# Convert to E4M3 FP8, then restore the values for comparison.
fp8_values = values.to(torch.float8_e4m3fn)
restored = fp8_values.to(torch.float32)
absolute_error = (restored - values).abs()

print(torch.stack((values, restored, absolute_error), dim=1))

El flujo de trabajo de exportación a TensorRT de Ultralytics documentado proporciona opciones FP16 e INT8 calibrado para Ultralytics YOLO en lugar de una exportación a FP8 de un solo argumento. Por lo tanto, el despliegue en FP8 requiere una cadena de herramientas de conversión de flujo descendente compatible. Independientemente de la precisión que se seleccione, usa el modo de benchmark de Ultralytics en la GPU de destino para comparar la latencia, el rendimiento, el uso de memoria y la precisión de la tarea antes del despliegue en producción.