Quantization-Aware Training (QAT)

양자화 인식 훈련(QAT)은 머신 러닝 모델의 훈련 단계에서 사용되는 특수 기법으로, 모델을 저정밀도 환경에 대비시키기 위해 사용됩니다. 일반적인 딥러닝 워크플로우에서 모델은 일반적으로 고정밀 32비트 부동 소수점(FP32) 숫자를 사용하여 작동합니다. 이러한 정밀도는 뛰어난 정확도를 제공하지만, 특히 엣지 디바이스에서는 계산 비용이 많이 들고 메모리를 많이 소비할 수 있습니다. QAT는 모델이 아직 훈련 중일 때 8비트 정수(INT8)와 같은 형식으로 정밀도를 줄이는 양자화의 효과를 시뮬레이션합니다. 훈련 과정 중에 이러한 양자화 오류를 도입함으로써, 모델은 가중치를 조정하는 법을 배우고 훈련 후 변환 과정에서 손실될 수 있는 정확도를 효과적으로 복구합니다.

Link to this section엣지 배포에 QAT가 중요한 이유#

자원이 제한된 디바이스에 컴퓨터 비전 모델을 배포하려면 종종 속도와 성능 사이의 균형이 필요합니다. 훈련 후 양자화(PTQ)라고 알려진 표준 양자화 방법은 모델 훈련이 완전히 완료된 후에만 정밀도 감소를 적용합니다. PTQ는 빠르지만, 신경망 가중치가 조정될 기회 없이 크게 변경되기 때문에 때때로 민감한 모델의 정확도를 저하시킬 수 있습니다.

QAT는 모델이 양자화되는 것을 "연습"하게 함으로써 이 문제를 해결합니다. 훈련의 순전파(forward pass) 중에 가중치와 활성화 함수는 저정밀도 값으로 시뮬레이션됩니다. 이를 통해 경사 하강법 과정에서 양자화된 상태에 대해 손실을 최소화하는 방식으로 모델 파라미터를 업데이트할 수 있습니다. 그 결과 마이크로컨트롤러나 모바일 프로세서와 같은 하드웨어에 배포될 때도 높은 정확도를 유지하는 강력한 모델이 만들어집니다.

Link to this sectionQAT와 훈련 후 양자화(PTQ)의 차이점#

QAT와 모델 양자화, 특히 훈련 후 양자화(PTQ)를 구분하는 것이 도움이 됩니다:

• 훈련 후 양자화(PTQ): 모델은 FP32로 정상적으로 훈련됩니다. 훈련이 완료된 후 가중치는 INT8로 변환됩니다. 이 방법은 더 빠르고 재훈련이 필요하지 않지만 복잡한 아키텍처의 경우 정확도 손실이 더 클 수 있습니다.
• 양자화 인식 훈련(QAT): 양자화 과정이 미세 조정(fine-tuning) 단계에서 에뮬레이션됩니다. 모델은 낮은 정밀도로 인해 발생하는 노이즈를 수용하도록 내부 파라미터를 조정하며, 일반적으로 PTQ보다 더 나은 정확도를 제공합니다.

Link to this section실제 애플리케이션 사례#

QAT는 엣지 하드웨어에서 실시간 추론이 필수적인 산업에서 매우 중요합니다.

• 자율 주행 드론: AI 드론 운영에서는 배터리 수명과 온보드 처리 능력이 매우 제한적입니다. QAT를 통해 최적화된 모델을 사용하는 드론은 INT8 가속기를 사용하면서도 높은 정밀도로 장애물을 감지하거나 객체를 추적할 수 있으며, FP32 모델에 비해 비행 시간을 크게 연장할 수 있습니다.
• 스마트 소매점 카메라: 슈퍼마켓은 매대 재고를 모니터링하거나 계산 대기열을 관리하기 위해 소매업에서의 컴퓨터 비전을 사용합니다. 이러한 시스템은 종종 저전력 엣지 게이트웨이에서 실행됩니다. QAT는 이 디바이스에서 실행되는 객체 감지 모델이 값비싼 클라우드 연결 없이도 유사한 제품을 구별하는 데 필요한 정확도를 유지하도록 보장합니다.

Link to this sectionUltralytics를 사용한 QAT 구현#

Ultralytics Platform과 YOLO 생태계는 모델을 양자화된 형식으로 내보내는 것을 지원합니다. QAT는 복잡한 훈련 절차이지만, 최신 프레임워크는 양자화된 추론을 위한 모델 준비를 용이하게 합니다.

아래는 훈련된 YOLO26 모델을 효율적인 엣지 배포를 위해 양자화 원리를 활용하는 INT8 양자화 TFLite 형식으로 내보내는 방법에 대한 예시입니다.

from ultralytics import YOLO

# Load a trained YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TFLite format with INT8 quantization
# This prepares the model for efficient execution on edge devices
model.export(format="tflite", int8=True)

Link to this section엣지 생태계와의 통합#

양자화 기법을 통해 최적화된 모델은 특수 추론 엔진에서 실행되도록 설계되었습니다. QAT로 훈련된 모델은 플랫폼 간 호환성을 위해 ONNX Runtime을 사용하거나, Intel 하드웨어에서의 최적화를 위해 OpenVINO를 사용하여 자주 배포됩니다. 이를 통해 대상이 Raspberry Pi이든 전용 Edge TPU이든 상관없이 모델이 가능한 최고의 효율성과 속도로 작동하도록 보장합니다.

Link to this sectionQAT 관련 핵심 개념#

QAT를 완전히 이해하려면 몇 가지 관련된 머신 러닝 개념을 숙지하는 것이 도움이 됩니다:

• 정밀도(Precision): 숫자를 표현하는 데 사용되는 세부 수준을 의미합니다. 반정밀도 (FP16)와 INT8은 양자화의 일반적인 대상입니다.
• 보정(Calibration): 부동 소수점 숫자를 정수로 효과적으로 매핑하기 위해 동적 활성화 값(최소/최대)의 범위를 결정하는 과정입니다. 이는 양자화된 YOLO 모델 배포에서 중요한 단계입니다.
• 추론 지연 시간(Inference Latency): QAT의 주요 이점 중 하나는 추론 지연 시간을 줄여 실시간 시스템에서 더 빠른 의사 결정을 가능하게 하는 것입니다.
• 미세 조정(Fine-Tuning): QAT는 종종 처음부터 훈련하는 대신 사전 훈련된 모델에 대한 미세 조정 단계로 수행되어 계산 자원을 절약합니다.

양자화 인식 훈련을 MLOps 파이프라인에 통합함으로써, 개발자는 고정밀 연구 모델과 매우 효율적이고 프로덕션 준비가 완료된 엣지 AI 애플리케이션 사이의 간극을 좁힐 수 있습니다.