라벨 스무딩

라벨 평활화 작동 방식

올바른 클래스에는 엄격한 1을 사용하고 그렇지 않은 클래스에는 0을 사용하는 대신(원핫 인코딩), 라벨 평활화는 이러한 목표 확률을 조정합니다. 예를 들어 다음과 같은 경우 K 클래스 및 평활화 계수 alpha로 설정하면 올바른 클래스에 대한 목표 확률은 다음과 같습니다. 1 - alpha로 설정하면 각 잘못된 클래스에 대한 확률은 다음과 같습니다. alpha / (K-1). 이 작은 조정은 대상 레이블 자체가 절대적인 확실성을 표현하지 않기 때문에 훈련 중에 단일 클래스에 매우 높은 확률(1에 가까운)을 할당하는 경우 모델에 불이익을 준다는 의미입니다. 이 기법은 특히 고급 이미지 분류 모델을 훈련할 때 "컴퓨터 비전을 위한 인셉션 아키텍처 다시 생각하기" 종이.

라벨 스무딩의 이점

라벨 평활화를 구현하면 몇 가지 이점을 얻을 수 있습니다:

• 일반화 개선: 모델이 학습 데이터의 정확한 패턴에 너무 특화되는 것을 방지함으로써( 과적합 감소), 보이지 않는 새로운 데이터에서 더 나은 성능을 발휘하는 경우가 많습니다. 일반화는 ML의 핵심 목표입니다.
• 더 나은 모델 보정: 라벨 평활화로 학습된 모델은 예측이 정확할 실제 가능성을 더 잘 반영하는 확률 점수를 생성하는 경향이 있습니다. 즉, 80%의 예측 신뢰도는 80%의 실제 정확도와 일치할 가능성이 더 높습니다. 신뢰할 수 있는 AI 시스템을 구축하려면 모델 보정을 이해하는 것이 중요합니다.
• 과신 감소: 불확실성이 존재하는 실제 애플리케이션에서 문제가 될 수 있는 예측에 거의 절대적인 확실성을 부여하는 모델의 문제를 직접적으로 해결합니다. 과신은 잘못된 의사 결정으로 이어질 수 있습니다.
• 정규화 효과: 드롭아웃이나 가중치 감쇠와 같은 기법과 유사한 정규화의 한 형태로, 라벨에 노이즈를 추가하여 학습된 모델 가중치의 복잡성을 제한하는 역할을 합니다.

애플리케이션 및 예시

라벨 평활화는 다양한 영역의 분류 시나리오에 널리 적용됩니다:

1. 이미지 분류: 이미지넷 데이터 세트에 대한 훈련과 같은 대규모 이미지 분류 작업에서 라벨 평활화는 모델이 더 잘 일반화되고 검증 세트에서 더 높은 정확도를 달성하는 데 도움이 됩니다. 비전 트랜스포머(ViT) 와 같은 모델은 종종 훈련 중에 이 기법의 이점을 활용합니다. 분류 모델은 Ultralytics HUB와 같은 도구를 사용하여 훈련할 수 있습니다.
2. 자연어 처리(NLP): 기계 번역이나 텍스트 분류와 같이 Transformers와 같은 모델이 사용되는 작업에서 라벨 평활화는 특히 언어에 내재된 모호성을 고려할 때 모델이 특정 단어 예측이나 분류에 대해 지나치게 확신하는 것을 방지하여 성능을 향상시킬 수 있습니다.
3. 음성 인식: NLP와 마찬가지로 음성 인식 모델도 학습 데이터 내에서 발음의 변화와 잠재적인 전사 부정확성을 처리하기 위해 레이블 평활화의 이점을 활용할 수 있습니다.

모든 아키텍처에 대해 항상 명시적으로 자세히 설명되어 있는 것은 아니지만, 라벨 평활화와 같은 기술은 종종 최신 모델의 표준 학습 레시피에 포함되며, 잠재적으로 다음과 같은 객체 감지 모델을 포함할 수 있습니다. Ultralytics YOLO 와 같은 객체 탐지 모델에 포함되기도 하지만, 그 영향은 특정 작업과 데이터 세트에 따라 달라질 수 있습니다.

관련 개념

• 원핫 인코딩: 레이블 평활화로 인해 수정이 발생하는 범주형 레이블을 표현하는 표준 방법입니다. 원핫 인코딩은 실제 클래스에는 1을 할당하고 그 외에는 0을 할당합니다.
• 지식 증류: 이 기법도 소프트 타깃을 사용하지만 목표는 다릅니다. 지식 증류는 미리 학습된 더 큰 '교사' 모델의 확률 출력을 소프트 레이블로 사용하여 더 작은 '학생' 모델을 학습시켜 학습된 지식을 전달합니다. 라벨 평활화는 표준 훈련 중에 적용되는 자체 포함된 정규화 기법입니다.
• 손실 함수: 라벨 평활화는 일반적으로 교차 엔트로피와 같은 손실 함수와 함께 사용되며, 손실이 계산되는 대상 분포를 수정합니다.
• 정규화: 모델 일반화를 개선하고 과적합을 방지하기 위한 광범위한 정규화 기법의 범주에 속합니다. 다른 예로는 드롭아웃과 L1/L2 정규화가 있습니다.

고려 사항

라벨 평활화는 유용하지만 신중하게 적용해야 합니다. 평활화 계수(알파)는 조정이 필요한 하이퍼파라미터로, 값이 너무 작으면 효과가 거의 없을 수 있고, 너무 크면 레이블의 정보가 너무 적어 학습에 방해가 될 수 있습니다. 모델 보정에 미치는 영향은 긍정적인 경우가 많지만 특정 애플리케이션에 맞게 평가해야 하며, 경우에 따라 사후 보정 방법이 필요할 수도 있습니다. 다음과 같은 최신 딥 러닝 프레임워크에서 자주 사용되는 간단하면서도 효과적인 도구입니다. PyTorch 및 TensorFlow.