Quantization-Aware Training (QAT)

Quantization-Aware Training (QAT) es una técnica especializada que se utiliza durante la fase de entrenamiento de los modelos de aprendizaje automático para prepararlos para entornos de menor precisión. En los flujos de trabajo estándar de deep learning, los modelos suelen funcionar utilizando números de coma flotante de 32 bits de alta precisión (FP32). Aunque esta precisión ofrece una exactitud excelente, puede resultar costosa desde el punto de vista computacional y exigir mucha memoria, especialmente en dispositivos perimetrales. QAT simula los efectos de la cuantización —reduciendo la precisión a formatos como enteros de 8 bits (INT8)— mientras el modelo aún se está entrenando. Al introducir estos errores de cuantización durante el proceso de aprendizaje, el modelo aprende a adaptar sus pesos y a recuperar eficazmente la precisión que de otro modo podría perderse durante la conversión posterior al entrenamiento.

Por qué es importante QAT para el despliegue en el borde (Edge)#

Desplegar computer vision models en dispositivos con recursos limitados a menudo requiere un equilibrio entre velocidad y rendimiento. Los métodos de cuantización estándar, conocidos como Post-Training Quantization (PTQ), aplican la reducción de precisión solo después de que el modelo esté completamente entrenado. Aunque la PTQ es rápida, a veces puede degradar la exactitud de los modelos sensibles porque los pesos de la neural network se alteran significativamente sin posibilidad de ajustarse.

QAT resuelve esto permitiendo que el modelo "practique" a ser cuantizado. Durante el paso hacia adelante del entrenamiento, los pesos y las activaciones se simulan como valores de baja precisión. Esto permite que el proceso de gradient descent actualice los parámetros del modelo de una manera que minimiza la pérdida específicamente para el estado cuantizado. El resultado es un modelo robusto que mantiene una gran exactitud incluso cuando se despliega en hardware como microcontrollers o procesadores móviles.

Diferenciación entre QAT y la cuantificación post-entrenamiento (PTQ)#

Es útil distinguir QAT de la model quantization, concretamente de la Post-Training Quantization (PTQ):

• Cuantificación post-entrenamiento (PTQ): El modelo se entrena normalmente en FP32. Una vez completado el entrenamiento, los pesos se convierten a INT8. Esto es más rápido y no requiere reentrenamiento, pero puede resultar en una mayor pérdida de precisión en arquitecturas complejas.
• Quantization-Aware Training (QAT): El proceso de cuantización se emula durante la etapa de ajuste fino (fine-tuning). El modelo ajusta sus parámetros internos para adaptarse al ruido introducido por la menor precisión, lo que normalmente produce una mejor accuracy que la PTQ.

Aplicaciones en el mundo real#

QAT es esencial para industrias donde la inferencia en tiempo real en hardware de borde es crítica.

• Autonomous Drones: En AI drone operations, la duración de la batería y la potencia de procesamiento a bordo están sumamente limitadas. Los drones que utilizan modelos optimizados mediante QAT pueden detectar obstáculos o rastrear objetos con gran exactitud mientras utilizan aceleradores INT8, lo que amplía significativamente los tiempos de vuelo en comparación con los modelos FP32.
• Smart Retail Cameras: Los supermercados utilizan computer vision in retail para supervisar el inventario de las estanterías o gestionar las líneas de caja. Estos sistemas suelen funcionar en pasarelas perimetrales de bajo consumo. QAT garantiza que los modelos de object detection que se ejecutan en estos dispositivos mantengan la exactitud necesaria para distinguir entre productos similares sin requerir una conectividad en la nube costosa.

Implementación de QAT con Ultralytics#

La Ultralytics Platform y el ecosistema YOLO admiten la exportación de modelos a formatos cuantizados. Aunque QAT es un procedimiento de entrenamiento complejo, los marcos modernos facilitan la preparación de modelos para la inferencia cuantizada.

A continuación se muestra un ejemplo de cómo podrías exportar un modelo YOLO26 entrenado a un formato TFLite cuantizado en INT8, el cual utiliza los principios de la cuantización para un despliegue perimetral eficiente.

from ultralytics import YOLO

# Load a trained YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TFLite format with INT8 quantization
# This prepares the model for efficient execution on edge devices
model.export(format="tflite", int8=True)

Integración con ecosistemas de borde (Edge)#

Los modelos optimizados mediante técnicas de cuantización están diseñados para ejecutarse en motores de inferencia especializados. Los modelos entrenados con QAT se despliegan frecuentemente utilizando ONNX Runtime para la compatibilidad multiplataforma o OpenVINO para la optimización en hardware de Intel. Esto garantiza que, tanto si el objetivo es una Raspberry Pi como una Edge TPU dedicada, el modelo funcione con la máxima eficiencia y velocidad posibles.

Conceptos clave relacionados con QAT#

Para entender completamente QAT, ayuda estar familiarizado con varios conceptos relacionados de aprendizaje automático:

• Precision: Hace referencia al nivel de detalle utilizado para representar números. La Half-precision (FP16) y el INT8 son objetivos comunes para la cuantización.
• Calibration: El proceso de determinar el rango de valores de activación dinámicos (mín/máx) para mapear eficazmente números de coma flotante a enteros. Este es un paso crucial en el deploying quantized YOLO models.
• Inference Latency: Uno de los principales beneficios de QAT es la reducción de la inference latency, lo que permite una toma de decisiones más rápida en sistemas en tiempo real.
• Fine-Tuning: QAT se realiza a menudo como un paso de fine-tuning en un modelo preentrenado en lugar de entrenar desde cero, lo que ahorra recursos computacionales.

Al integrar Quantization-Aware Training en el flujo de trabajo de MLOps, los desarrolladores pueden acortar la distancia entre los modelos de investigación de gran exactitud y las aplicaciones de IA perimetral altamente eficientes y listas para producción.