Quantization-Aware Training (QAT)

Quantization-Aware Training (QAT) — это специализированный метод, используемый на этапе обучения моделей машинного обучения для подготовки их к работе в средах с более низкой точностью. В стандартных процессах deep learning модели обычно используют высокоточные 32-битные числа с плавающей запятой (FP32). Хотя такая точность обеспечивает отличные результаты, она может быть ресурсоемкой и требовать много памяти, особенно на периферийных устройствах. QAT имитирует эффекты квантования — снижение точности до таких форматов, как 8-битные целые числа (INT8) — прямо во время обучения модели. Внедряя эти ошибки квантования в процессе обучения, модель учится адаптировать свои веса и эффективно восстанавливать точность, которая в противном случае могла бы быть потеряна при посттренировочном преобразовании.

Почему QAT важен для развертывания на периферийных устройствах#

Развертывание computer vision models на устройствах с ограниченными ресурсами часто требует поиска баланса между скоростью и производительностью. Стандартные методы квантования, известные как посттренировочное квантование (PTQ), применяют уменьшение точности только после того, как модель полностью обучена. Хотя PTQ работает быстро, оно иногда может снижать точность чувствительных моделей, поскольку веса neural network существенно изменяются без возможности последующей подгонки.

QAT решает эту проблему, позволяя модели «практиковаться» в квантовании. Во время прямого прохода при обучении веса и активации симулируются как значения с низкой точностью. Это позволяет процессу gradient descent обновлять параметры модели так, чтобы минимизировать потери конкретно для квантованного состояния. Результатом является надежная модель, которая сохраняет высокую точность даже при развертывании на таком оборудовании, как microcontrollers или мобильные процессоры.

Отличие QAT от Post-Training Quantization (PTQ)#

Полезно отличать QAT от model quantization, а именно от посттренировочного квантования (PTQ):

• Post-Training Quantization (PTQ): Модель обучается стандартным образом в FP32. После завершения обучения веса конвертируются в INT8. Это быстрее и не требует дообучения, но может привести к более значительной потере точности для сложных архитектур.
• Quantization-Aware Training (QAT): Процесс квантования эмулируется на этапе дообучения. Модель подстраивает свои внутренние параметры под шум, вносимый пониженной точностью, что обычно дает лучшие результаты по accuracy, чем PTQ.

Реальные приложения#

QAT критически важен для отраслей, где требуется выполнение вывода в режиме реального времени на периферийном оборудовании.

• Автономные дроны: В AI drone operations время автономной работы и вычислительная мощность на борту крайне ограничены. Дроны, использующие модели, оптимизированные с помощью QAT, могут обнаруживать препятствия или отслеживать объекты с высокой точностью, задействуя ускорители INT8, что значительно увеличивает время полета по сравнению с моделями FP32.
• Умные камеры в ритейле: Супермаркеты используют computer vision in retail для контроля запасов на полках или управления очередями на кассах. Эти системы часто работают на маломощных периферийных шлюзах. QAT гарантирует, что модели object detection, запущенные на таких устройствах, сохранят точность, необходимую для различения похожих товаров, без необходимости дорогостоящего подключения к облаку.

Реализация QAT с Ultralytics#

Ultralytics Platform и экосистема YOLO поддерживают экспорт моделей в квантованные форматы. Хотя QAT — это сложная процедура обучения, современные фреймворки облегчают подготовку моделей к квантованному выводу.

Ниже приведен пример того, как ты можешь экспортировать обученную модель YOLO26 в квантованный формат INT8 TFLite, который использует принципы квантования для эффективного развертывания на периферийных устройствах.

from ultralytics import YOLO

# Load a trained YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TFLite format with INT8 quantization
# This prepares the model for efficient execution on edge devices
model.export(format="tflite", int8=True)

Интеграция с периферийными экосистемами#

Модели, оптимизированные с помощью методов квантования, предназначены для работы на специализированных движках вывода. Модели, обученные с помощью QAT, часто развертываются с использованием ONNX Runtime для кроссплатформенной совместимости или OpenVINO для оптимизации на оборудовании Intel. Это гарантирует, что независимо от того, является ли целевым устройством Raspberry Pi или выделенный Edge TPU, модель будет работать с максимальной эффективностью и скоростью.

Основные понятия, связанные с QAT#

Чтобы полностью понять QAT, полезно ознакомиться с несколькими связанными концепциями машинного обучения:

• Precision: Уровень детализации, используемый для представления чисел. Half-precision (FP16) и INT8 являются распространенными целями для квантования.
• Calibration: Процесс определения диапазона динамических значений активации (мин./макс.) для эффективного маппинга чисел с плавающей запятой в целые числа. Это важнейший шаг в deploying quantized YOLO models.
• Inference Latency: Одно из главных преимуществ QAT заключается в снижении inference latency, что позволяет принимать решения быстрее в системах реального времени.
• Fine-Tuning: QAT часто выполняется как шаг fine-tuning для уже обученной модели, а не как обучение с нуля, что экономит вычислительные ресурсы.

Интегрируя Quantization-Aware Training в пайплайн MLOps, ты можешь сократить разрыв между исследовательскими моделями высокой точности и высокоэффективными готовыми к продакшену приложениями периферийного ИИ.