FP4

FP4 es una familia de formatos de punto flotante de 4 bits utilizados para comprimir y acelerar modelos de IA mediante model quantization. Normalmente representa cada valor con un bit de signo, dos bits de exponente y un bit de mantisa, denominado E2M1. En comparación con FP16, FP4 puede reducir enormemente el tráfico de memoria y el almacenamiento, ayudando a las GPUs compatibles a procesar modelos grandes más rápido. El NVFP4 low-precision format de NVIDIA es una implementación destacada diseñada para hardware de generación Blackwell. (developer.nvidia.com)

Link to this sectionCómo funciona FP4#

Con solo 16 patrones de bits posibles, FP4 simple no puede representar con precisión el amplio rango de valores encontrados en las redes neuronales. Por lo tanto, las implementaciones modernas dividen los tensores en bloques pequeños y almacenan una escala compartida para cada bloque. El NVFP4 quantization scheme de NVIDIA, por ejemplo, utiliza bloques de 16 valores E2M1, mientras que la especificación abierta OCP Microscaling Formats specification define MXFP4 con metadatos de microescalado.

Durante el cálculo, un inference engine cuantiza valores de mayor precisión, realiza operaciones matriciales compatibles en FP4 y devuelve los resultados en una precisión mayor cuando es necesario. El soporte de inferencia actual de TorchAO NVFP4 inference support utiliza cuantización dinámica de activación y doble escalado para pesos y activaciones. (docs.nvidia.com)

Link to this sectionFP4 en comparación con formatos relacionados#

• FP16 or half precision: Ofrece un rango numérico mucho más amplio y, por lo general, es más fácil de implementar, pero utiliza cuatro veces más bits por valor.
• FP8: Suele ofrecer mejor precisión y estabilidad de entrenamiento que FP4, aunque requiere aproximadamente el doble de almacenamiento.
• BF16: Comúnmente utilizado para el entrenamiento porque su amplio rango de exponentes reduce el riesgo de desbordamiento. El estudio de 2025 FP4 All the Way study mostró que un entrenamiento en FP4 escalado cuidadosamente puede aproximarse al rendimiento de BF16.
• INT4: Utiliza niveles enteros en lugar de exponentes de punto flotante. FP4 puede representar valores a través de diferentes magnitudes de forma más natural, mientras que INT4 puede funcionar bien para la compresión exclusiva de pesos.
• NVFP4 versus MXFP4: NVFP4 utiliza bloques más pequeños y escalas de mayor precisión, lo que normalmente mejora la precisión a un coste modesto en metadatos.

FP4 también puede referirse a un AMD FP4 processor socket no relacionado. En IA, FP4 significa aritmética de punto flotante de cuatro bits, no el paquete de CPU para portátiles más antiguo.

Link to this sectionAplicaciones en el mundo real#

1. Inferencia de imágenes generativas: NVIDIA demostró la FP4 image generation on RTX 50 Series GPUs, reduciendo el uso de memoria y acelerando las cargas de trabajo de difusión utilizadas en generative AI.

2. Entrenamiento y servicio de modelos grandes: Los sistemas Blackwell han utilizado NVFP4 in MLPerf training para mejorar el rendimiento de grandes modelos de lenguaje. FP4 puede beneficiar de manera similar a futuros sistemas de computer vision limitados por memoria que requieren real-time inference. (developer.nvidia.com)

Link to this sectionUso efectivo de FP4#

A partir de julio de 2026, las operaciones matriciales FP4 aceleradas por hardware requieren GPUs NVIDIA Blackwell o más nuevas; la H100 se basa en Hopper y no proporciona aceleración nativa FP4. Debes confirmar la compatibilidad mediante la TensorRT hardware support matrix, validar la precisión después de la conversión y considerar el quantization-aware training utilizando el TorchAO QAT workflow cuando la cuantización post-entrenamiento cause una degradación excesiva. (docs.nvidia.com)

Ultralytics actualmente proporciona exportación FP16 e INT8 lista para producción para YOLO26. Este flujo de trabajo comparable crea un motor TensorRT optimizado:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
engine = model.export(format="engine", quantize=16)
results = YOLO(engine).predict("https://ultralytics.com/images/bus.jpg")

La Ultralytics TensorRT integration explica las opciones de precisión admitidas, mientras que el YOLO benchmark mode ayuda a comparar la precisión y la latencia. Para implementaciones experimentales de FP4, sigue las TensorRT-RTX precision best practices y técnicas específicas de formato como Micro-Rotated GPTQ, ya que FP4 no es automáticamente más preciso o rápido que un flujo de trabajo INT4 o FP8 bien optimizado.