Media precisión

¿Qué es la semiprecisión?

Los números en coma flotante se utilizan para representar números reales en los ordenadores, aproximándolos dentro de un número fijo de bits. La norma IEEE 754 define formatos comunes, como FP16 y FP32. Un número FP16 utiliza 1 bit para el signo, 5 bits para el exponente (que determina el rango) y 10 bits para el significando o mantisa (que determina la precisión). En comparación, FP32 utiliza 1 bit de signo, 8 bits de exponente y 23 bits de significando. Esta reducción de bits significa que FP16 tiene un rango numérico significativamente menor y una precisión más baja que FP32. Para una visión general de cómo funcionan estos formatos, consulta los fundamentos de la aritmética en coma flotante.

Ventajas de la semiprecisión

Utilizar FP16 ofrece varias ventajas en los flujos de trabajo de aprendizaje profundo:

• Uso reducido de memoria: Los pesos del modelo, las activaciones y los gradientes almacenados en FP16 requieren la mitad de memoria que en FP32. Esto permite modelos más grandes, lotes de mayor tamaño o el despliegue en dispositivos con memoria limitada.
• Cálculos más rápidos: El hardware moderno, como las GPUsNVIDIA con Tensor Cores y procesadores especializados como las TPUsGoogle , pueden realizar operaciones FP16 mucho más rápido que operaciones FP32.
• Mayor rendimiento y menor latencia: La combinación de unos requisitos de ancho de banda de memoria reducidos y unos cálculos más rápidos da lugar a un mayor rendimiento durante el entrenamiento y a una menor latencia de inferencia, lo que permite la inferencia en tiempo real para aplicaciones exigentes.

Posibles inconvenientes

Aunque es beneficioso, utilizar exclusivamente FP16 a veces puede dar lugar a problemas:

• Rango numérico reducido: El menor rango de exponentes hace que los números FP16 sean más susceptibles al desbordamiento (volverse demasiado grandes) o al desbordamiento por defecto (volverse demasiado pequeños, a menudo cero).
• Menor precisión: El número reducido de bits significantes implica una menor precisión, que a veces puede afectar a la precisión final de los modelos sensibles si no se gestiona con cuidado.
• Problemas con el gradiente: Durante el entrenamiento, los valores de gradiente pequeños pueden desbordarse por debajo de cero en FP16, dificultando el aprendizaje. Esto puede agravar problemas como la desaparición de gradientes.

Media precisión frente a conceptos afines

Es importante distinguir el FP16 de otros formatos y técnicas numéricas:

• Precisión única (FP32): El formato por defecto en muchos marcos de aprendizaje automático (ML) como PyTorch y TensorFlow. Ofrece un buen equilibrio entre alcance y precisión para la mayoría de las tareas, pero consume más recursos que FP16.
• Doble precisión (FP64): Proporciona una precisión muy alta, pero requiere el doble de memoria y recursos de cálculo que FP32. Se utiliza principalmente en computación científica, rara vez en aprendizaje profundo.
• Precisión mixta: Es la forma más común de utilizar FP16 en el aprendizaje profundo. Implica utilizar estratégicamente tanto FP16 como FP32 durante el entrenamiento o la inferencia. Normalmente, las operaciones de cálculo intensivo, como las convoluciones y las multiplicaciones de matrices, se realizan en FP16 para aumentar la velocidad, mientras que las operaciones críticas, como las actualizaciones de pesos o ciertas reducciones, se mantienen en FP32 para mantener la estabilidad numérica y la precisión. Técnicas como el escalado de pérdidas ayudan a mitigar los problemas de subdesbordamiento. Consulta el documento original Mixed-Precision Training o las guías de PyTorch AMP y TensorFlow Mixed Precision. Los modelos Ultralytics suelen aprovechar la precisión mixta; consulta los consejos para el entrenamiento de modelos.
• BFloat16 (BF16): Otro formato de 16 bits, desarrollado principalmente por Google. Utiliza 8 bits de exponente (igual que FP32, lo que proporciona una amplia gama) pero sólo 7 bits de significando (menor precisión que FP16). Es especialmente útil para entrenar grandes modelos lingüísticos (LLM). Más información sobre BFloat16.
• Cuantización del modelo: Técnicas que reducen aún más la precisión del modelo, a menudo a enteros de 8 bits (INT8) o menos. Esto proporciona la máxima eficiencia para el despliegue en dispositivos de borde, pero normalmente requiere una calibración cuidadosa o un Entrenamiento Consciente de la Cuantización (QAT) para mantener la precisión. Ver introducción a la cuantización en PyTorch.

Aplicaciones y ejemplos

La semiprecisión, principalmente mediante técnicas de precisión mixta, se utiliza mucho:

1. Aceleración del entrenamiento de modelos: El entrenamiento de grandes modelos de aprendizaje profundo, como los de clasificación de imágenes o procesamiento del lenguaje natural (PLN), puede acelerarse significativamente utilizando la precisión mixta, reduciendo el tiempo y los costes de entrenamiento. Plataformas como Ultralytics HUB utilizan a menudo estas optimizaciones.
2. Optimización de la Inferencia de Detección de Objetos: Modelos como Ultralytics YOLO11 pueden exportarse (utilizando las herramientas descritas en la documentación del modo de exportación) a formatos como ONNX o TensorRT con precisión FP16 para una inferencia más rápida. Esto es crucial para las aplicaciones que necesitan un rendimiento en tiempo real, como los vehículos autónomos o los sistemas de videovigilancia en directo.
3. Despliegue en dispositivos con recursos limitados: La reducida huella de memoria y coste computacional de los modelos FP16 los hacen adecuados para su despliegue en plataformas de computación de borde como NVIDIA Jetson o dispositivos móviles que utilizan marcos como TensorFlow Lite o Core ML.
4. Entrenamiento de grandes modelos lingüísticos (LLM): El enorme tamaño de modelos como el GPT-3 y las arquitecturas más recientes hace necesario el uso de formatos de 16 bits (FP16 o BF16) para que los modelos quepan en la memoria y se pueda completar el entrenamiento en plazos razonables.

En resumen, la media precisión (FP16) es una herramienta vital en el conjunto de herramientas de optimización del aprendizaje profundo, ya que permite un cálculo más rápido y un menor uso de memoria. Aunque tiene limitaciones en cuanto al alcance y la precisión, éstas suelen gestionarse eficazmente utilizando técnicas de precisión mixta, lo que la hace indispensable para entrenar grandes modelos y desplegar aplicaciones de IA eficientes.