Quantization-Aware Training (QAT)

Quantization-Aware Training (QAT)은 머신 러닝 모델의 학습 단계에서 저정밀도 환경에 대비하도록 준비시키는 특수 기법입니다. 표준 deep learning 워크플로에서 모델은 일반적으로 고정밀 32비트 부동소수점(FP32)을 사용하여 작동합니다. 이 정밀도는 뛰어난 정확도를 제공하지만, 특히 엣지 디바이스에서 연산 비용이 많이 들고 메모리를 많이 소모할 수 있습니다. QAT는 모델이 여전히 학습 중인 상태에서 8비트 정수(INT8)와 같은 형식으로 정밀도를 낮추는 양자화의 영향을 시뮬레이션합니다. 학습 과정에서 이러한 양자화 오차를 도입함으로써 모델은 가중치를 조정하는 법을 배우고, 사후 학습 변환 과정에서 손실될 수 있는 정확도를 효과적으로 복구합니다.

엣지 배포에 QAT가 중요한 이유#

computer vision models을 리소스가 제한된 디바이스에 배포할 때는 속도와 성능 간의 균형이 필요한 경우가 많습니다. PTQ(Post-Training Quantization)로 알려진 표준 양자화 방법은 모델이 완전히 학습된 후에만 정밀도 저년을 적용합니다. PTQ는 빠르지만, 조정할 기회 없이 neural network 가중치가 크게 변경되기 때문에 민감한 모델의 정확도를 저하시킬 수 있습니다.

QAT는 모델이 양자화되는 과정을 '연습'할 수 있게 함으로써 이 문제를 해결합니다. 학습의 순방향 패스(forward pass) 동안 가중치와 활성화 값은 저정밀도 값으로 시뮬레이션됩니다. 이를 통해 gradient descent 프로세스는 양자화된 상태에 맞춰 손실을 최소화하는 방식으로 모델 매개변수를 업데이트할 수 있습니다. 그 결과 microcontrollers나 모바일 프로세서 같은 하드웨어에 배포할 때도 높은 정확도를 유지하는 견고한 모델이 탄생합니다.

QAT와 훈련 후 양자화(PTQ)의 차이점#

QAT를 model quantization, 특히 사후 학습 양자화(PTQ)와 구분하는 것은 유익합니다:

• 훈련 후 양자화(PTQ): 모델은 FP32로 정상적으로 훈련됩니다. 훈련이 완료된 후 가중치는 INT8로 변환됩니다. 이 방법은 더 빠르고 재훈련이 필요하지 않지만 복잡한 아키텍처의 경우 정확도 손실이 더 클 수 있습니다.
• Quantization-Aware Training (QAT): 파인튜닝 단계에서 양자화 프로세스가 에뮬레이션됩니다. 모델은 저정밀도로 인해 발생하는 노이즈를 수용하도록 내부 매개변수를 조정하며, 일반적으로 PTQ보다 더 나은 accuracy를 산출합니다.

실제 애플리케이션 사례#

QAT는 엣지 하드웨어에서 실시간 추론이 필수적인 산업에서 매우 중요합니다.

• 자율 주행 드론: AI drone operations에서는 배터리 수명과 온보드 연산 능력이 심각하게 제한됩니다. QAT를 통해 최적화된 모델을 사용하는 드론은 INT8 가속기를 사용하면서 높은 정밀도로 장애물을 감지하거나 객체를 추적할 수 있어, FP32 모델에 비해 비행 시간을 크게 연장할 수 있습니다.
• 스마트 리테일 카메라: 슈퍼마켓에서는 computer vision in retail을 사용하여 매장 진열대 재고를 모니터링하거나 결제 라인을 관리합니다. 이러한 시스템은 종종 저전력 엣지 게이트웨이에서 실행됩니다. QAT는 이러한 디바이스에서 실행되는 object detection 모델이 고비용의 클라우드 연결 없이도 유사한 제품을 구별하는 데 필요한 정확도를 유지하도록 보장합니다.

Ultralytics를 사용한 QAT 구현#

Ultralytics Platform과 YOLO 생태계는 모델을 양자화된 형식으로 내보내는 것을 지원합니다. QAT는 복잡한 학습 절차이지만, 최신 프레임워크는 양자화된 추론을 위한 모델 준비를 용이하게 합니다.

다음은 효율적인 엣지 배포를 위해 양자화 원리를 활용하는 INT8 양자화된 TFLite 형식으로 학습된 YOLO26 모델을 내보내는 방법의 예시입니다.

from ultralytics import YOLO

# Load a trained YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TFLite format with INT8 quantization
# This prepares the model for efficient execution on edge devices
model.export(format="tflite", int8=True)

엣지 생태계와의 통합#

양자화 기법을 통해 최적화된 모델은 특수화된 추론 엔진에서 실행되도록 설계되었습니다. QAT로 학습된 모델은 크로스 플랫폼 호환성을 위해 ONNX Runtime을 사용하거나 인텔 하드웨어에서 최적화하기 위해 OpenVINO를 사용하여 자주 배포됩니다. 이를 통해 타겟이 Raspberry Pi이든 전용 Edge TPU이든 상관없이 모델이 가장 높은 효율성과 속도로 작동하도록 보장합니다.

QAT 관련 핵심 개념#

QAT를 완전히 이해하려면 몇 가지 관련된 머신 러닝 개념을 숙지하는 것이 도움이 됩니다:

• 정밀도: 숫자를 표현하는 데 사용되는 세부 수준을 나타냅니다. Half-precision(FP16)과 INT8은 양자화의 일반적인 타겟입니다.
• 보정(Calibration): 부동소수점 숫자를 정수에 효과적으로 매핑하기 위해 동적 활성화 값의 범위(최소값/최대값)를 결정하는 프로세스입니다. 이는 deploying quantized YOLO models에서 매우 중요한 단계입니다.
• 추론 지연 시간: QAT의 주요 이점 중 하나는 inference latency를 줄여 실시간 시스템에서 더 빠른 의사 결정을 내릴 수 있도록 하는 것입니다.
• 파인튜닝: QAT는 처음부터 학습하는 대신 사전 학습된 모델에 대한 fine-tuning 단계로 수행되는 경우가 많아 연산 리소스를 절약할 수 있습니다.

Quantization-Aware Training을 MLOps 파이프라인에 통합함으로써 개발자는 고정밀 연구용 모델과 고효율 프로덕션 준비 완료 엣지 AI 애플리케이션 사이의 간극을 메울 수 있습니다.