Knowledge Distillation

지식 증류가 대규모 교사 모델의 지능을 소형 학생 모델로 전달하는 방법을 알아봅니다. 빠르고 효율적인 엣지 배포를 위해 Ultralytics YOLO26을 최적화합니다.

지식 증류는 머신 러닝에서 사용되는 정교한 기법으로, "학생"이라고 불리는 소형 신경망을 "교사"라고 불리는 더 크고 복잡한 네트워크의 동작과 성능을 재현하도록 학습시킵니다. 이 과정의 주요 목표는 모델 최적화이며, 이를 통해 개발자는 대규모 아키텍처의 예측 기능을 리소스가 제한된 하드웨어에 배포하기 적합한 경량 모델로 이전할 수 있습니다. 학생 모델은 교사의 예측에 인코딩된 풍부한 정보를 포착함으로써 원시 데이터만 사용해 학습했을 때보다 훨씬 높은 정확도를 달성하는 경우가 많으며, 이를 통해 높은 성능과 효율성 간의 격차를 효과적으로 줄일 수 있습니다.

지식 전달의 메커니즘#

기존 지도 학습에서는 이미지가 명확하게 분류되는 "하드 라벨"을 학습 데이터에서 사용해 모델을 학습합니다(예: "개" 100%, "고양이" 0%). 그러나 사전 학습된 교사 모델은 소프트맥스 함수를 통해 모든 클래스에 확률을 할당하는 출력을 생성합니다. 이러한 확률 분포를 "소프트 라벨" 또는 "다크 지식"이라고 합니다.

예를 들어 교사 모델이 늑대 이미지를 분석하면 늑대 90%, 개 9%, 고양이 1%로 예측할 수 있습니다. 이 분포는 늑대가 개와 시각적 특징을 공유한다는 사실을 보여주지만, 하드 라벨에서는 이러한 맥락을 무시합니다. 증류 과정에서 학생은 손실 함수, 예를 들어 쿨백-라이블러 발산을 최소화하여 자신의 예측을 교사의 소프트 라벨에 맞춥니다. Geoffrey Hinton의 연구를 통해 널리 알려진 이 방법은 학생 모델의 일반화 성능을 높이고 소규모 데이터셋에서의 과적합을 줄이는 데 도움을 줍니다.

실제 적용 사례#

지식 증류는 컴퓨팅 리소스가 부족하지만 높은 성능이 필수적인 산업에서 매우 중요합니다.

엣지 AI 및 모바일 비전: 스마트폰이나 IoT 장치에서 복잡한 객체 감지 작업을 실행하려면 추론 지연 시간이 짧은 모델이 필요합니다. 엔지니어는 대규모 네트워크를 YOLO26과 같은 모바일 친화적 아키텍처로 증류합니다(특히 nano 또는 small 변형). 이를 통해 얼굴 인식이나 증강 현실 필터와 같은 실시간 애플리케이션을 배터리 수명을 크게 소모하지 않고 원활하게 실행할 수 있습니다.
자연어 처리 (NLP): 최신 대규모 언어 모델 (LLMs)을 운영하려면 막대한 GPU 클러스터가 필요합니다. 증류를 사용하면 개발자는 이러한 모델의 핵심 언어 모델링 기능을 유지하면서 더 작고 빠른 버전을 만들 수 있습니다. 따라서 일반 소비자용 하드웨어나 더 단순한 클라우드 인스턴스에 반응성이 높은 챗봇과 가상 어시스턴트를 배포할 수 있습니다.

학생 모델 구현하기#

실제 워크플로에서는 먼저 학생 역할을 수행할 경량 아키텍처를 선택합니다. Ultralytics Platform을 사용하여 이러한 효율적인 모델의 데이터셋을 관리하고 학습 실험을 추적할 수 있습니다. 다음은 엣지 배포 및 학생 네트워크 역할에 적합한 소형 YOLO26 모델을 초기화하는 예제입니다:

from ultralytics import YOLO

# Load a lightweight YOLO26 nano model (acts as the student)
# The 'n' suffix denotes the nano version, optimized for speed
student_model = YOLO("yolo26n.pt")

# Train the model on a dataset
# In a custom distillation loop, the loss would be influenced by a teacher model
results = student_model.train(data="coco8.yaml", epochs=5, imgsz=640)