레이블 스무딩

라벨 스무딩은 기계 학습에서 모델의 일반화 능력을 향상시키고 과적합을 방지하기 위해 널리 사용되는 정규화 기법입니다. 신경망을 훈련할 때 목표는 일반적으로 예측값과 실제 값 사이의 오차를 최소화하는 것입니다. 그러나 모델이 예측에 지나치게 확신을 가지게 되면— 단일 클래스에 거의 100% 확률을 할당하는 경우— 견고한 패턴을 학습하기보다 훈련 데이터의 특정 잡음을 암기하기 시작합니다. 이러한 현상은 과적합으로 알려져 있으며, 새로운 미확인 예시에 대한 성능을 저하시킵니다. 레이블 스무딩은 모델이 절대적인 확신으로 예측하는 것을 억제함으로써 이 문제를 해결합니다. 본질적으로 네트워크에 항상 작은 오차의 여지가 있음을 알려주는 것입니다.

연약 표적의 메커니즘

라벨 스무딩의 작동 방식을 이해하려면 표준 "하드" 타겟과 대비해 보는 것이 도움이 됩니다. 전통적인 지도 학습분류 라벨은 일반적으로 다음을 통해 표현됩니다 원핫 인코딩예를 들어, 고양이와 개를 구분하는 작업에서 "개" 이미지의 목표 벡터는 다음과 같을 것이다. [0, 1]이를 완벽하게 맞추기 위해 모델은 내부 점수인 로짓무한대로 향하는, 이는 불안정한 기울기와 적응 불능으로 이어질 수 있다.

라벨 스무딩은 이러한 경직된 1과 0을 "부드러운" 목표값으로 대체합니다. 목표 확률이 1.0, 올바른 클래스가 할당될 수 있습니다 0.9, 나머지 확률 질량 (0.1)는 잘못된 클래스들 사이에 균일하게 분배됩니다. 이 미묘한 변화는 목표 함수의 손실 함수예를 들어 교차 엔트로피, 방지하는 활성화 함수 (보통 Softmax포화되는 것을 방지합니다. 그 결과 모델은 특징 공간에서 더 밀집된 클래스 클러스터를 학습하고 더 나은 모델 보정예측된 확률이 정확성을 가질 진정한 가능성을 더 정확하게 반영한다는 의미입니다.

실제 애플리케이션

이 기법은 데이터 모호성이 내재되어 있거나 데이터 세트가 라벨링 오류에 취약한 분야에서 특히 중요합니다.

• 의료 진단: 의료 분야 인공지능에서 임상 데이터는 거의 흑백이 아닙니다. 예를 들어 의료 영상 분석에서 스캔 결과는 특정 질환을 강력히 시사하지만 확정적이지 않은 특징을 보일 수 있습니다. 확정적인 라벨로 훈련하면 모델이 이러한 불확실성을 무시하도록 강요합니다. 라벨 스무딩을 적용함으로써 모델은 어느 정도의 회의론을 유지하게 되는데, 이는 과신으로 오진으로 이어질 수 있는 의사 결정 지원 시스템에 매우 중요합니다.
• 대규모 이미지 분류: ImageNet 에는 종종 잘못 라벨링된 이미지나 여러 개의 유효한 객체가 포함된 이미지가 포함됩니다. 모델이 이러한 노이즈가 있는 예시를 100% 확신으로 맞추려 하면, 잘못된 연관성을 학습하게 됩니다. 라벨 스무딩은 라벨 노이즈에 대한 완충 역할을 하여, 소수의 불량 데이터 포인트가 최종 모델 가중치를 크게 왜곡하지 않도록 보장합니다.

Ultralytics 라벨 평활화 구현하기

현대 딥러닝 프레임워크는 이 기법의 적용을 단순화합니다. 사용함으로써 ultralytics 패키지를 사용하면 라벨 스무딩을 훈련 파이프라인에 쉽게 통합할 수 있습니다. 이미지 분류 또는 탐지 작업. 이는 종종 최첨단 모델들로부터 추가 성능을 끌어내기 위해 수행됩니다. YOLO26.

다음 예제는 레이블 스무딩을 활성화한 상태에서 분류 모델을 훈련하는 방법을 보여줍니다:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

관련 개념과의 비교

라벨 스무딩을 다른 정규화 전략과 구분하여 언제 사용해야 하는지 이해하는 것이 도움이 됩니다.

• vs. 드롭아웃: 드롭아웃 레이어는 훈련 중 뉴런을 무작위로 비활성화하여 네트워크가 중복 표현을 학습하도록 강제합니다. 둘 다 과적합을 방지하지만, 드롭아웃은 네트워크 구조를 동적으로 수정하는 반면 라벨 스무딩은 최적화 대상(라벨 자체)을 수정합니다.
• vs. 지식 증류: 두 기법 모두 소프트 타겟을 기반으로 훈련합니다. 그러나 지식 증류에서는 소프트 타겟이 "교사" 모델에서 유래하며 학습된 정보를 포함합니다(예: "이것은 고양이처럼 10% 보인다"). 반면 레이블 스무딩은 수학적으로 도출된 "정보가 없는" 소프트 타겟을 사용합니다(예: "다른 모든 클래스에 동등하게 10% 확률을 부여").
• vs. 데이터 증강: 데이터 증강 전략은 입력 데이터(회전, 자르기, 색상 변경)를 변형하여 다양성을 높입니다. 라벨 스무딩은 출력 기대값을 변경합니다. Ultralytics 포괄적인 훈련 워크플로는 최대 정확도를 달성하기 위해 증강, 드롭아웃, 라벨 스무딩을 종종 결합합니다.

라벨 스무딩은 최종 레이어에서 소실되는 기울기 문제를 완화하고 모델이 보다 견고한 특징을 학습하도록 유도함으로써 현대 딥러닝 아키텍처의 핵심 기법으로 자리매김하고 있다.