지식 증류

지식 증류(Knowledge Distillation)는 모델 최적화 및 머신 러닝(ML)의 압축 기술로, 더 작고 간결한 "학생" 모델이 더 크고 복잡한 "교사" 모델의 성능을 재현하도록 학습됩니다. 핵심 아이디어는 강력하지만 다루기 힘든 교사 모델에서 더 작고 효율적인 학생 모델로 "지식"을 전달하는 것입니다. 이를 통해 성능 저하 없이 에지 장치 또는 휴대폰과 같이 리소스가 제한된 환경에서 매우 정확한 모델을 배포할 수 있습니다. 이 프로세스는 대규모의 최첨단 연구 모델과 실제 모델 배포 간의 간극을 좁힙니다.

지식 증류 작동 방식

일반적으로 대규모 신경망 또는 모델 앙상블인 교사 모델은 먼저 대규모 데이터 세트에서 높은 정확도를 달성하도록 학습됩니다. 증류 과정에서 학생 모델은 교사의 출력을 모방하려고 시도하여 학습합니다. 학습 데이터의 실제 레이블에서만 학습하는 대신 학생은 각 예측에 대한 교사의 전체 확률 분포(종종 "소프트 레이블"이라고 함)에 대해서도 학습합니다. 이러한 소프트 레이블은 교사 모델이 "생각"하고 일반화하는 방식을 보여주기 때문에 "하드 레이블"(정답)보다 더 풍부한 정보를 제공합니다. 예를 들어 교사 모델은 고양이 이미지를 "고양이"로 90%의 신뢰도로 예측할 수 있지만 "개"(5%) 및 "여우"(2%)에도 작은 확률을 할당할 수 있습니다. 이러한 미묘한 정보는 학생 모델이 하드 레이블만으로 학습했을 때보다 더 효과적으로 학습하는 데 도움이 되며 종종 더 나은 일반화로 이어집니다. 이 기술은 효율적인 모델을 만들기 위한 딥 러닝 툴킷의 핵심 부분입니다.

실제 애플리케이션

지식 증류는 강력한 AI에 접근할 수 있도록 다양한 영역에서 널리 사용됩니다.

1. 자연어 처리(NLP): BERT와 같은 대규모 언어 모델(LLM)은 매우 강력하지만 많은 애플리케이션에 비해 너무 큽니다. DistilBERT는 BERT의 증류 버전의 유명한 예입니다. BERT 성능의 97% 이상을 유지하면서 40% 더 작고 60% 더 빠르므로 소비자 장치에서 감정 분석 및 질문 응답과 같은 작업에 적합합니다.
2. 엣지 장치에서의 컴퓨터 비전: 컴퓨터 비전에서 이미지 분류 또는 객체 탐지를 위한 크고 정확도가 높은 모델은 더 작은 모델로 압축될 수 있습니다. 이를 통해 스마트 보안 카메라를 위한 실시간 사람 감지와 같은 복잡한 비전 작업을 Raspberry Pi와 같이 계산 능력이 제한된 하드웨어에서 직접 실행하여 속도와 데이터 개인 정보 보호를 향상시킬 수 있습니다. YOLO11과 같은 Ultralytics YOLO 모델은 더 큰 모델의 지식이 더 작고 배포 가능한 버전의 학습에 영향을 줄 수 있는 이러한 워크플로의 일부가 될 수 있습니다.

지식 증류 vs. 기타 최적화 기술

지식 증류는 다른 모델 최적화 기술과 관련이 있지만 구별됩니다. 차이점을 이해하는 것은 프로젝트에 적합한 접근 방식을 선택하는 데 중요하며, Ultralytics HUB와 같은 플랫폼을 통해 관리하고 배포할 수 있습니다.

• 모델 가지치기(Pruning): 이 기술은 이미 학습된 네트워크에서 불필요하거나 중요도가 낮은 연결(가중치)을 제거하여 크기를 줄이는 것을 포함합니다. 이와는 대조적으로, 증류(Distillation)는 교사 모델을 모방하기 위해 완전히 새로운 더 작은 네트워크를 처음부터 학습시킵니다.
• 모델 양자화(Quantization): 양자화는 모델 가중치의 수치 정밀도를 줄입니다(예: 32비트 float에서 8비트 정수로). 이는 모델을 축소하고 호환되는 하드웨어에서 계산 속도를 높일 수 있습니다. 이는 기존 모델의 표현을 변경하는 반면, 증류(Distillation)는 새로운 모델을 생성합니다. 양자화는 종종 증류 또는 가지치기와 함께 사용되며, 모델은 ONNX와 같은 형식으로 내보내거나 TensorRT와 같은 엔진으로 최적화할 수 있습니다.
• 전이 학습: 이는 사전 학습된 모델의 일부(일반적으로 특징 추출 백본)를 재사용한 다음 더 작고 새로운 데이터 세트에서 미세 조정하는 것을 포함합니다. 목표는 기존 모델을 새로운 작업에 적용하는 것입니다. 반면에 증류는 교사의 예측 행동을 완전히 다른 아키텍처를 가질 수 있는 학생 모델로 전달하는 것을 목표로 합니다.