레이블 스무딩

라벨 평활화는 머신 러닝 모델을 학습하는 동안 사용되는 정규화 기법으로 신경망이 예측에 지나치게 자신감을 갖는 것을 방지하기 위해 사용되는 정규화 기법입니다. 이 방법은 대상 레이블을 약간 수정함으로써 모델이 덜 극단적인 확률 분포를 생성하도록 유도하여 궁극적으로 더 나은 일반화와 일반화 및 보이지 않는 데이터에 대한 성능 향상으로 이어집니다. 이 방법은 다음과 같은 일반적인 문제를 효과적으로 완화합니다. 과적합, 즉 모델이 학습 데이터를 학습하는 대신 훈련 데이터를 학습하는 대신 실제 시나리오에서 정확한 예측에 필요한 패턴을 학습하는 대신 모델이 학습 데이터를 암기하는 일반적인 문제를 효과적으로 완화합니다.

라벨 스무딩의 메커니즘

다음과 같은 표준 지도 학습 작업에서는 이미지 분류와 같은 표준 지도 학습 작업에서 모델은 일반적으로 "하드" 타깃을 사용하여 학습됩니다. 이러한 타깃은 원핫 인코딩된 벡터로, 올바른 클래스에는 1.0(100%)의 확률이 할당되고 모든 잘못된 클래스에는 0.0이 할당됩니다. 이는 직관적으로 보이지만, 손실 함수인 손실 함수(종종교차 엔트로피 손실)가 로짓 계층의 로짓 레이어의 출력을 무한대로 끌어올려 정확히 1.0을 달성합니다. 이러한 동작은 모델이 틀렸을 때에도 지나치게 자신감 넘치는 결과를 초래하고 새로운 입력에 적응하는 능력이 저하됩니다.

라벨 평활화는 이러한 하드 타깃을 "소프트" 타깃으로 대체합니다. 이 기술은 실측값에 1.0을 할당하는 대신 실측값에 1.0을 할당하는 대신, 이 기술은 0.9와 같이 약간 낮은 값을 할당합니다. 나머지 확률 질량(예: 0.1)은 잘못된 클래스 전체에 균일하게 분포됩니다. 이 미묘한 변화는 일반적으로 활성화 함수, 일반적으로 소프트맥스가 포화되는 것을 방지합니다. 더 깊은 이론적 이해를 위해 연구 논문"컴퓨터 비전을 위한 인셉션 아키텍처의 재검토"는 이 메커니즘이 어떻게 훈련을 안정화시키는지에 대한 기초적인 통찰력을 제공합니다.

Ultralytics 라벨 평활화 구현하기

최신 컴퓨터 비전 프레임워크를 사용하면 이 기술을 쉽게 적용할 수 있습니다. 사용 시 Ultralytics YOLO11 모델을 사용할 때, 학습 인수 내에서 직접 라벨 평활화( 를 활성화할 수 있습니다. 이 기능은 특히 다음과 같은 경우에 유용합니다. 데이터 세트에 모호성이 포함될 수 있는 분류 작업에 특히 유용합니다.

다음 예는 라벨 평활화가 적용된 모델을 훈련하는 방법을 보여줍니다:

from ultralytics import YOLO

# Load the YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Train on a dataset with label smoothing set to 0.1
# This distributes 10% of the probability mass to incorrect classes
model.train(data="mnist", epochs=5, label_smoothing=0.1)

모델 보정 및 견고성의 이점

라벨 평활화의 주요 이점 중 하나는 다음과 같은 개선입니다. 모델 보정. 잘 보정된 모델 은 본질적으로 실제 정확도를 반영하는 예측 확률을 생성합니다. 예를 들어, 모델이 모델이 70%의 신뢰도로 클래스를 예측한다면, 이는 70%의 확률로 정답을 맞혀야 합니다. 하드 레이블을 사용하면 보정되지 않은 모델이 실제 불확실성에 관계없이 99%의 신뢰도로 예측하는 경우가 많습니다. 99%의 신뢰도로 예측하는 보정되지 않은 모델로 이어집니다.

또한 라벨 평활화는 노이즈가 많은 데이터에 대한 견고성을 높입니다. 다음과 같은 대규모 데이터 세트에서 ImageNet과 같은 대규모 데이터 세트에서는 일부 레이블이 부정확하거나 모호할 수 있습니다. 으로 모델을 정확히 1.0으로 수렴하도록 강제하지 않음으로써, 네트워크는 때때로 잘못 레이블이 지정된 신경망이 잘못된 패턴을 잘못된 패턴을 깊이 학습하는 것을 방지합니다.

실제 애플리케이션

이 정규화 전략은 다양한 영역에서 널리 채택되고 있습니다. 인공 지능의 다양한 영역에서 신뢰성을 높이기 위해

• 의료 이미지 분석: In 의료 AI 솔루션에는 불확실성이 내재되어 있습니다. 스캔 결과 종양의 특징이 확실하지 않을 수 있습니다. 라벨 평활화는 의료 이미지 분석 모델이 위험할 정도로 확신에 찬 오탐 예측을 피할 수 있도록 도와주며, 이분법적 확신이 아닌 미묘한 확률로 점수를 제공하여 영상의학 전문의에게 도움을 줍니다.
• 자연어 처리(NLP): 다음과 같은 작업에서 기계 번역과 같은 작업에서는 여러 단어가 하나의 소스 단어에 대해 유효한 번역으로 사용될 수 있습니다. 레이블 평활화는 이러한 모호성을 인식하여 모델이 유효한 동의어에 0의 확률을 할당하는 것을 방지함으로써 이러한 모호성을 인정합니다. 트랜스포머 및 대규모 언어 모델에서 중요한 개념입니다.

관련 개념과의 비교

라벨 평활화를 모델 성능을 개선하는 데 사용되는 다른 기법과 구별하는 것이 도움이 됩니다.

• 데이터 증강 비교: 반면 데이터 증강은 입력 데이터를 수정하여 (예: 이미지 회전 또는 뒤집기)를 수정하여 다양성을 높이는 반면, 라벨 평활화는 대상 라벨을 수정합니다. 두 가지 를 동시에 사용하여 다음과 같은 강력한 모델을 훈련할 수 있습니다. 높은 정확도와 효율성을 목표로 하는 YOLO26과 같은 강력한 모델을 훈련하는 데 두 가지를 동시에 사용할 수 있습니다.
• 대 지식 증류: In 지식 증류에서 학생 모델 은 교사 모델의 "소프트" 예측을 통해 학습합니다. 소프트 타깃이 균일하고 휴리스틱한 라벨 평활화와 달리 균일하고 휴리스틱한 라벨 평활화와 달리, 증류는 학습된 확률을 사용하여 클래스 간의 관계에 대한 정보를 포함합니다. (예: '개'는 '자동차'보다는 '고양이'와 더 비슷함).
• 대 탈락: 드롭아웃 레이어는 드롭아웃 레이어는 훈련 중에 뉴런을 무작위로 비활성화하여 훈련 중에 뉴런을 무작위로 비활성화합니다. 이는 네트워크 아키텍처를 동적으로 변경하는 반면, 레이블 평활화는 최적화 목표를 최적화 목표를 변경합니다. 드롭아웃에 대한 자세한 내용은 다음에서 확인할 수 있습니다. 머신 러닝 연구 저널 논문에서 확인할 수 있습니다.

학습 파이프라인에 라벨 평활화를 통합하면 성공적인 학습을 위해 필수적인 모델 적응력과 성공적인 모델 배포를 위해 필수적인 프로덕션 환경에서의 모델 배포 프로덕션 환경에서 모델을 성공적으로 배포하는 데 필수적입니다.