Label Smoothing

Сглаживание меток — это метод регуляризации, широко используемый в машинном обучении для улучшения обобщающей способности модели и предотвращения переобучения. При обучении нейронных сетей цель обычно состоит в минимизации ошибки между прогнозами и истинными значениями. Однако, если модель становится слишком самоуверенной в своих прогнозах — присваивая почти 100% вероятность одному классу, — она часто начинает запоминать специфический шум в обучающих данных, вместо того чтобы изучать устойчивые закономерности. Это явление, известное как переобучение, ухудшает производительность на новых, ранее не встречавшихся примерах. Сглаживание меток решает эту проблему, препятствуя предсказанию модели с абсолютной уверенностью, по сути, сообщая сети, что всегда существует небольшой запас для ошибки.

Link to this sectionМеханика мягких целевых значений#

Чтобы понять, как работает сглаживание меток, полезно противопоставить его стандартным «жестким» целевым значениям. В традиционном обучении с учителем метки классификации обычно представляются с помощью one-hot кодирования. Например, в задаче классификации между кошками и собаками изображение «собаки» будет иметь целевой вектор [0, 1]. Чтобы идеально соответствовать этому, модель подталкивает свои внутренние оценки, известные как логиты, к бесконечности, что может привести к нестабильным градиентам и неспособности к адаптации.

Сглаживание меток заменяет эти жесткие 1 и 0 на «мягкие» целевые значения. Вместо целевой вероятности 1.0 правильному классу может быть присвоено 0.9, а оставшаяся часть вероятности (0.1) распределяется равномерно между неправильными классами. Этот тонкий сдвиг меняет цель функции потерь, такой как кросс-энтропия, предотвращая насыщение функции активации (обычно Softmax). Результатом является модель, которая формирует более плотные кластеры в пространстве признаков и обеспечивает лучшую калибровку модели, что означает, что предсказанные вероятности более точно отражают истинную вероятность правильности.

Link to this sectionРеальные приложения#

Этот метод особенно важен в областях, где неоднозначность данных является естественной или наборы данных склонны к ошибкам разметки.

• Медицинская диагностика: В области ИИ в здравоохранении клинические данные редко бывают однозначными. Например, при анализе медицинских изображений на скане могут быть видны признаки, которые в значительной степени указывают на заболевание, но не являются окончательными. Обучение с использованием жестких меток заставляет модель игнорировать эту неопределенность. Применяя сглаживание меток, модель сохраняет некоторую степень скептицизма, что жизненно важно для систем поддержки принятия решений, где самоуверенность может привести к ошибочному диагнозу.
• Масштабная классификация изображений: Огромные общедоступные наборы данных, такие как ImageNet, часто содержат неверно размеченные изображения или изображения, содержащие несколько правильных объектов. Если модель пытается подогнать эти зашумленные примеры со 100% уверенностью, она выучивает неверные ассоциации. Сглаживание меток действует как буфер против шума в метках, гарантируя, что несколько плохих точек данных не приведут к резкому искажению финальных весов модели.

Link to this sectionРеализация сглаживания меток с помощью Ultralytics#

Современные фреймворки глубокого обучения упрощают применение этого метода. Используя пакет ultralytics, ты можешь легко интегрировать сглаживание меток в свой конвейер обучения для задач классификации изображений или детекции. Это часто делается для того, чтобы выжать дополнительную производительность из современных моделей, таких как YOLO26.

В следующем примере показано, как обучить модель классификации с включенным сглаживанием меток:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Link to this sectionСравнение со смежными концепциями#

Полезно отличать сглаживание меток от других стратегий регуляризации, чтобы понимать, когда его использовать.

• vs. Dropout: Слой Dropout случайно отключает нейроны во время обучения, чтобы заставить сеть изучать избыточные представления. Хотя оба метода предотвращают переобучение, Dropout динамически изменяет архитектуру сети, тогда как сглаживание меток модифицирует целевую функцию оптимизации (сами метки).
• vs. Дистилляция знаний: Оба метода включают обучение на мягких целевых значениях. Однако при дистилляции знаний мягкие цели поступают от модели-«учителя» и содержат выученную информацию (например, «это на 10% похоже на кошку»). Напротив, сглаживание меток использует «неинформативные» мягкие цели, полученные математическим путем (например, «присвоить 10% вероятности всем остальным классам поровну»).
• vs. Аугментация данных: Стратегии аугментации данных меняют входные данные (поворот, обрезка, изменение цвета) для увеличения разнообразия. Сглаживание меток меняет ожидания от выходных данных. Комплексные рабочие процессы обучения на платформе Ultralytics часто комбинируют аугментацию, Dropout и сглаживание меток для достижения максимальной точности.

Смягчая проблему исчезающего градиента в последних слоях и поощряя модель изучать более устойчивые признаки, сглаживание меток остается основным инструментом в современных архитектурах глубокого обучения.