레이블 스무딩

레이블 스무딩(Label Smoothing)은 특히 분류 작업에서 머신 러닝 모델 학습 중에 사용되는 정규화 기술입니다. 모델이 올바른 클래스에 확률 1.0을 완전히 할당하지 못하도록 하여 모델 과신 문제를 해결합니다. "하드" 레이블(올바른 클래스가 1이고 다른 모든 클래스가 0인 경우)을 사용하는 대신 레이블 스무딩은 확률 질량의 작은 부분을 다른 클래스에 분산시키는 "소프트" 레이블을 만듭니다. 이는 모델이 예측에 대해 덜 확신하도록 장려하여 더 나은 일반화와 보이지 않는 데이터에 대한 성능 향상으로 이어질 수 있습니다. 이 기술은 고성능 모델에서 특히 사용되었으며 레이블 스무딩은 언제 도움이 됩니까?(When Does Label Smoothing Help?)와 같은 논문에 자세히 설명되어 있습니다.

Label Smoothing 작동 방식

일반적인 지도 학습 분류 문제에서 학습 데이터는 입력과 해당 정답 레이블로 구성됩니다. 예를 들어, 이미지 분류 작업에서 고양이 이미지는 [고양이, 개, 새] 클래스에 대해 원-핫 인코딩된 벡터로 표현된 '고양이' 레이블을 갖습니다. 손실 함수를 계산할 때 모델의 예측이 이 하드 타겟에서 얼마나 멀리 떨어져 있는지에 따라 모델에 불이익이 주어집니다.

레이블 스무딩은 이 대상을 수정합니다. 올바른 클래스에 대한 대상 확률을 약간 줄이고(예: 0.9) 나머지 작은 확률(이 경우 0.1)을 잘못된 클래스에 고르게 분산시킵니다. 따라서 새로운 "소프트" 대상은 [0.9, 0.05, 0.05]와 같이 보일 수 있습니다. 이 작은 변경은 최종 신경망의 로짓 레이어가 한 클래스에 대해 매우 큰 값을 생성하는 것을 막아 과적합을 방지하는 데 도움이 됩니다. 이 프로세스는 Ultralytics HUB와 같은 플랫폼을 사용하여 모델 학습 중에 관리할 수 있습니다.

레이블 스무딩의 이점

레이블 스무딩의 주요 장점은 모델 보정(calibration)을 향상시킨다는 것입니다. 보정이 잘 된 모델의 예측된 신뢰도 점수는 정확성의 실제 확률을 보다 정확하게 반영합니다. 이는 의료 영상 분석과 같이 모델의 확실성을 이해하는 것이 중요한 애플리케이션에 매우 중요합니다. 과신을 방지함으로써 새로운 데이터에 대한 모델의 일반화 능력도 향상시키는데, 이는 모든 머신 러닝 프로젝트의 핵심 목표입니다. 이는 종종 정확도의 약간의 향상으로 이어집니다. 더 나은 일반화는 실시간 추론 및 최종 모델 배포를 위한 보다 강력한 모델로 이어집니다.

실제 애플리케이션

레이블 스무딩은 다양한 최첨단 모델에 적용되는 간단하면서도 효과적인 기술입니다.

1. 대규모 이미지 분류: Ultralytics YOLO와 같이 이미지 분류 작업을 위해 ImageNet과 같은 대규모 데이터 세트에서 훈련된 모델은 종종 Label Smoothing을 사용합니다. 이러한 데이터 세트에는 때때로 데이터 라벨링 프로세스에서 발생하는 노이즈가 있거나 잘못된 라벨이 포함될 수 있습니다. Label Smoothing은 모델이 이러한 라벨 노이즈에 더 강력하게 대처하도록 하여 잠재적으로 잘못된 라벨에 대해 지나치게 확신하는 것을 방지합니다. 다양한 프로젝트용 분류 데이터 세트를 탐색할 수 있습니다.
2. 자연어 처리(NLP): 기계 번역과 같은 작업에서는 단일 구문에 대해 여러 개의 유효한 번역이 있을 수 있습니다. Transformer와 같은 모델에서 사용되는 레이블 스무딩은 모델이 어휘에서 단일 올바른 단어에 1.0의 확률을 할당하는 것을 막아 다른 단어도 적합할 수 있음을 인정합니다. 이 개념은 최신 NLP의 기본이며 Stanford NLP Group과 같은 기관의 리소스에서 논의됩니다.

레이블 스무딩 vs. 관련 개념

Label Smoothing을 다른 정규화 기술과 구별하는 것이 중요합니다.

• Hard Labels: 이는 모델이 절대적인 확실성(올바른 클래스에 대해 100%)으로 훈련되는 표준 접근 방식입니다. Label Smoothing은 이에 대한 직접적인 대안입니다.
• 데이터 증강: 이는 기존 데이터에 변환을 적용하여 새로운 학습 예제를 생성하는 또 다른 정규화 기술입니다. 데이터 세트 다양성을 높이는 반면, 레이블 스무딩은 대상 값 자체를 수정합니다. Ultralytics 문서 내에서 YOLO 데이터 증강에 대한 가이드를 찾을 수 있습니다.
• 드롭아웃: 이 방법은 각 학습 단계에서 뉴런의 일부를 무작위로 비활성화하여 복잡한 공동 적응을 방지합니다. 레이블 스무딩이 손실 계산을 수정하는 반면, 이는 학습 중에 모델 아키텍처를 수정합니다. 드롭아웃에 대한 자세한 내용은 GeeksforGeeks의 해당 주제에 대한 기사에서 확인할 수 있습니다.
• 지식 증류(Knowledge Distillation): 이 기술에서는 더 큰 사전 훈련된 "교사" 모델에서 생성된 소프트 레이블을 사용하여 더 작은 "학생" 모델을 훈련합니다. 소프트 레이블도 사용하지만 이러한 레이블의 소스는 레이블 스무딩에서와 같이 Ground Truth 레이블에 적용되는 간단한 휴리스틱이 아니라 다른 모델의 예측입니다. 원본 신경망에서 지식 증류(Distilling the Knowledge in a Neural Network) 논문은 이 개념에 대한 기본적인 이해를 제공합니다.