Label Smoothing

Label smoothing은 머신러닝에서 모델의 일반화 성능을 향상하고 과적합(overfitting)을 방지하기 위해 널리 사용되는 정규화 기법입니다. neural networks를 학습할 때, 일반적으로 예측값과 정답(ground truth) 사이의 오차를 최소화하는 것을 목표로 합니다. 하지만 모델이 예측에 너무 확신을 갖게 되어 특정 클래스에 거의 100%에 가까운 확률을 할당하게 되면, 견고한 패턴을 학습하기보다는 training data의 특정 노이즈를 암기하기 시작하는 경우가 많습니다. overfitting이라고 알려진 이 현상은 새롭고 본 적 없는 데이터에 대한 성능을 저하시킵니다. Label smoothing은 모델이 절대적인 확신을 가지고 예측하지 못하도록 억제함으로써, 네트워크에 항상 오차를 위한 작은 여지가 있다는 점을 효과적으로 전달합니다.

Link to this sectionSoft Target의 메커니즘#

Label smoothing이 어떻게 작동하는지 이해하려면 표준적인 "hard" 타겟과 비교하는 것이 도움이 됩니다. 전통적인 supervised learning에서 분류 라벨은 보통 one-hot encoding을 통해 표현됩니다. 예를 들어, 고양이와 개를 구분하는 작업에서 "개" 이미지의 타겟 벡터는 [0, 1]이 됩니다. 이를 완벽하게 맞추기 위해 모델은 logits라고 알려진 내부 점수를 무한대로 밀어붙이게 되며, 이는 불안정한 그래디언트와 적응력 저하를 초래할 수 있습니다.

Label smoothing replaces these rigid 1s and 0s with "soft" targets. Instead of a target probability of 1.0, the correct class might be assigned 0.9, while the remaining probability mass (0.1) is distributed uniformly across the incorrect classes. This subtle shift modifies the objective of the loss function, such as cross-entropy, preventing the activation function (usually Softmax) from saturating. The result is a model that learns tighter clusters of classes in the feature space and produces better model calibration, meaning the predicted probabilities more accurately reflect the true likelihood of correctness.

Link to this section실제 애플리케이션 사례#

이 기법은 데이터의 모호성이 내재되어 있거나 데이터셋에 라벨링 오류가 발생하기 쉬운 분야에서 특히 중요합니다.

• 의료 진단: AI in healthcare 분야에서 임상 데이터는 흑백논리로 구분하기 어려운 경우가 많습니다. 예를 들어, medical image analysis에서 스캔 결과는 질병을 강력하게 시사하지만 확정적이지 않을 수 있습니다. Hard 라벨로 학습하면 모델은 이러한 불확실성을 무시하도록 강요받습니다. Label smoothing을 적용하면 모델은 어느 정도의 회의론을 유지하게 되는데, 이는 과도한 자신감이 오진으로 이어질 수 있는 의사 결정 지원 시스템에서 매우 중요합니다.
• 대규모 이미지 분류: ImageNet과 같은 방대한 공개 데이터셋에는 라벨이 잘못되었거나 여러 개의 유효한 객체가 포함된 이미지가 종종 존재합니다. 모델이 이러한 노이즈가 많은 예제를 100% confidence로 맞추려 하면 잘못된 연관성을 학습하게 됩니다. Label smoothing은 라벨 노이즈에 대한 완충 장치 역할을 하여, 소수의 잘못된 데이터 포인트가 최종 model weights를 크게 왜곡하지 않도록 보장합니다.

Link to this sectionUltralytics를 사용하여 Label Smoothing 구현하기#

현대적인 딥러닝 프레임워크는 이 기법의 적용을 간소화합니다. ultralytics 패키지를 사용하면 image classification 또는 탐지 작업을 위한 학습 파이프라인에 label smoothing을 쉽게 통합할 수 있습니다. 이는 종종 YOLO26과 같은 최신 모델에서 성능을 극대화하기 위해 수행됩니다.

다음 예시는 label smoothing을 활성화하여 분류 모델을 학습하는 방법을 보여줍니다:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Link to this section관련 개념과의 비교#

언제 label smoothing을 사용할지 이해하기 위해서는 다른 regularization 전략과 구분하는 것이 도움이 됩니다.

• Dropout과의 비교: dropout layer는 학습 중에 뉴런을 무작위로 비활성화하여 네트워크가 중복된 표현을 학습하도록 강제합니다. 두 기법 모두 과적합을 방지하지만, dropout은 네트워크 아키텍처를 동적으로 수정하는 반면, label smoothing은 최적화 타겟(라벨 자체)을 수정합니다.
• 지식 증류(Knowledge Distillation)와의 비교: 두 기법 모두 soft 타겟을 사용하여 학습합니다. 그러나 knowledge distillation에서 soft 타겟은 "티처" 모델로부터 오며 학습된 정보(예: "이것은 10% 정도 고양이처럼 보인다")를 포함합니다. 반면, label smoothing은 수학적으로 유도된 "정보가 없는" soft 타겟(예: "나머지 모든 클래스에 10%의 확률을 동일하게 부여하라")을 사용합니다.
• 데이터 증강(Data Augmentation)과의 비교: data augmentation을 위한 전략은 입력 데이터(회전, 자르기, 색상 변경)를 변경하여 다양성을 높입니다. Label smoothing은 출력 기대치를 변경합니다. Ultralytics Platform에서의 종합적인 학습 워크플로우는 종종 증강, dropout, 그리고 label smoothing을 결합하여 최대 정확도를 달성합니다.

최종 계층에서 vanishing gradient 문제를 완화하고 모델이 더 견고한 피처를 학습하도록 장려함으로써, label smoothing은 현대적인 deep learning 아키텍처에서 여전히 핵심 요소로 남아 있습니다.