Label Smoothing

레이블 스무딩(Label smoothing)은 머신러닝에서 모델 일반화 성능을 향상시키고 과적합(overfitting)을 방지하는 데 널리 사용되는 규제(regularization) 기법입니다. neural networks을 훈련할 때 목표는 일반적으로 예측값과 정답 간의 오차를 최소화하는 것입니다. 그러나 모델이 예측에 너무 확신을 갖게 되어 단일 클래스에 거의 100%의 확률을 부여하면, 강건한 패턴을 학습하는 대신 training data의 특정 노이즈를 암기하기 시작하는 경우가 많습니다. overfitting으로 알려진 이 현상은 새롭고 보지 못한 데이터에 대한 성능을 저하시킵니다. 레이블 스무딩은 모델이 절대적인 확신을 가지고 예측하지 않도록 유도함으로써 이 문제를 해결하며, 기본적으로 네트워크에 항상 약간의 오차 여유가 존재함을 알려줍니다.

Soft Target의 메커니즘#

레이블 스무딩이 작동하는 방식을 이해하려면 표준 "하드(hard)" 타겟과 대조해 보는 것이 도움이 됩니다. 전통적인 supervised learning에서는 분류 레이블이 일반적으로 one-hot encoding을 통해 표현됩니다. 예를 들어 고양이와 강아지를 구별하는 작업에서 "강아지" 이미지의 타겟 벡터는 [0, 1]가 됩니다. 이를 완벽하게 맞추기 위해 모델은 logits으로 알려진 내부 점수를 무한대로 끌어올리며, 이는 불안정한 그래디언트와 적응력 저하로 이어질 수 있습니다.

레이블 스무딩은 이러한 엄격한 1과 0을 "소프트(soft)" 타겟으로 대체합니다. 타겟 확률이 1.0인 것 대신, 정답 클래스에는 0.9이 할당될 수 있으며, 나머지 확률 질량(0.1)은 오답 클래스에 균등하게 분배됩니다. 이러한 미묘한 변화는 cross-entropy와 같은 loss function의 목적 함수를 수정하여 activation function(보통 Softmax)이 포화(saturate)되는 것을 방지합니다. 그 결과 모델은 피처 공간에서 더 밀집된 클래스 클러스터를 학습하고 더 나은 model calibration을 생성하게 되며, 이는 예측된 확률이 정확할 진정한 가능성을 더 정확하게 반영함을 의미합니다.

실제 애플리케이션 사례#

이 기법은 데이터의 모호성이 내재되어 있거나 데이터셋에 라벨링 오류가 발생하기 쉬운 분야에서 특히 중요합니다.

• 의학적 진단: AI in healthcare 분야에서 임상 데이터는 결코 흑백논리로 나뉘지 않습니다. 예를 들어 medical image analysis에서 스캔 영상은 질병을 강하게 암시하지만 확정적이지는 않은 특징을 보일 수 있습니다. 하드 레이블로 훈련하면 모델은 이러한 불확실성을 무시하게 됩니다. 레이블 스무딩을 적용하면 모델이 일정 수준의 회의론을 유지하게 되며, 이는 과신이 오진으로 이어질 수 있는 의사결정 지원 시스템에서 매우 중요합니다.
• 대규모 이미지 분류: ImageNet과 같은 대규모 공개 데이터셋에는 레이블이 잘못 지정되었거나 여러 유효한 객체가 포함된 이미지가 있는 경우가 많습니다. 모델이 100%의 confidence로 이러한 노이즈가 있는 예제에 맞추려고 하면 잘못된 연관성을 학습하게 됩니다. 레이블 스무딩은 레이블 노이즈에 대한 완충 장치 역할을 하여 몇 안 되는 잘못된 데이터 포인트가 최종 model weights을 크게 왜곡하지 않도록 보장합니다.

Ultralytics를 사용하여 Label Smoothing 구현하기#

현대 딥러닝 프레임워크는 이 기법의 적용을 단순화합니다. ultralytics 패키지를 사용하면 image classification 또는 탐지 작업의 훈련 파이프라인에 레이블 스무딩을 쉽게 통합할 수 있습니다. 이는 YOLO26과 같은 최첨단 모델에서 추가적인 성능을어내기 위해 자주 수행됩니다.

다음 예시는 label smoothing을 활성화하여 분류 모델을 학습하는 방법을 보여줍니다:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

관련 개념과의 비교#

언제 사용할지 이해하기 위해 레이블 스무딩을 다른 regularization 전략과 구분해 보는 것이 유용합니다.

• vs. 드롭아웃(Dropout): dropout layer은 훈련 중에 뉴런을 무작위로 비활성화하여 네트워크가 중복 표현을 학습하도록 강제합니다. 둘 다 과적합을 방지하지만, 드롭아웃은 네트워크 아키텍처를 동적으로 수정하는 반면 레이블 스무딩은 최적화 타겟(레이블 자체)을 수정합니다.
• vs. 지식 증류(Knowledge Distillation): 두 기법 모두 소프트 타겟을 사용하여 훈련하는 것을 포함합니다. 그러나 knowledge distillation에서 소프트 타겟은 "교사" 모델에서 오며 학습된 정보(예: "이것은 10% 정도 고양이처럼 보입니다")를 포함합니다. 대조적으로 레이블 스무딩은 수학적으로 도출된 "정보가 없는" 소프트 타겟(예: "다른 모든 클래스에 동일하게 10% 확률을 부여합니다")을 사용합니다.
• vs. 데이터 증강(Data Augmentation): data augmentation 전략은 입력 데이터(회전, 자르기, 색상 변경)를 변경하여 다양성을 높입니다. 레이블 스무딩은 출력 기대값을 변경합니다. Ultralytics Platform의 포괄적인 훈련 워크플로우는 최대의 정확도를 달성하기 위해 종종 증강, 드롭아웃, 레이블 스무딩을 결합합니다.

최종 레이어에서 vanishing gradient 문제를 완화하고 모델이 더 강건한 피처를 학습하도록 유도함으로써, 레이블 스무딩은 현대 deep learning 아키텍처에서 핵심적인 요소로 남아 있습니다.