Сглаживание меток

Сглаживание меток - это метод регуляризации, используемый во время обучения моделей машинного обучения, чтобы предотвратить Нейронная сеть не становится слишком уверенной в своих прогнозах. Слегка изменяя целевые метки, этот метод стимулирует модель к созданию менее экстремальных распределений вероятностей, что в конечном итоге приводит к лучшему обобщению и улучшению производительности при работе с неизвестными данными. Он эффективно снижает распространенную проблему чрезмерной подгонки, когда модель запоминает обучающие данные, а не изучает основные закономерностей, необходимых для точного прогнозирования в реальных условиях.

Механика сглаживания этикеток

В стандартных задачах контролируемого обучения, таких как классификация изображений, модели обычно обучаются на "жестких" целях. Эти цели представляют собой одноточечно закодированные векторы, где правильному классу присваивается вероятность 1.0 (100%), а всем неправильным классам - 0.0. Хотя это кажется интуитивно понятным, это вынуждает использовать функция потерь - чаще всегоCross-Entropy Loss - заставляет выходы слоя логита до бесконечности, чтобы чтобы получить ровно 1,0. Такое поведение приводит к тому, что модель чрезмерно уверена в себе, даже если она ошибается, и снижает ее способность адаптироваться к новым входным данным.

Сглаживание меток заменяет эти жесткие цели на "мягкие". Вместо того чтобы присваивать 1,0 базовому значению истине, техника присваивает немного меньшее значение, например 0,9. Оставшаяся масса вероятности (например, 0,1) равномерно распределяется между неправильными классами. Этот тонкий сдвиг предотвращает активационной функции, обычно Softmax, от насыщения. Для более глубокого теоретического Более глубокое теоретическое понимание того, как этот механизм стабилизирует обучение, можно найти в научной статье"Переосмысление архитектуры зарождения для компьютерного зрения".

Реализация сглаживания меток с помощью Ultralytics

Современные системы компьютерного зрения позволяют легко применять эту технику. При использовании моделиUltralytics YOLO11 , вы можете включить сглаживание меток непосредственно в аргументах обучения. Это особенно полезно для задачах классификации, где наборы данных могут содержать неоднозначность.

В следующем примере показано, как обучить модель с применением сглаживания меток:

from ultralytics import YOLO

# Load the YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Train on a dataset with label smoothing set to 0.1
# This distributes 10% of the probability mass to incorrect classes
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Преимущества калибровки и надежности модели

Одним из главных преимуществ сглаживания меток является улучшение калибровки модели. Хорошо откалиброванная модель дает предсказанные вероятности, которые в основном отражают истинную вероятность правильности. Например, если модель предсказывает класс с уверенностью 70 %, она должна быть правильной в 70 % случаев. Жесткие метки часто приводят к некалиброванным моделям, которые предсказывают с уверенностью 99 %, независимо от фактической неопределенности.

Кроме того, сглаживание меток повышает устойчивость к зашумленных данных. В таких массивных наборах данных, как ImageNetнекоторые метки могут быть неверными или неоднозначными. Благодаря не заставляя модель сходиться точно к 1,0, сеть становится более снисходительной к случайным неправильно помеченным примеры, не позволяя нейронной сети глубокого усвоения ошибочных моделей.

Применение в реальном мире

Эта стратегия регуляризации широко применяется в различных областях искусственного интеллекта. искусственного интеллекта для повышения надежности.

• Анализ медицинских изображений: На сайте ИИ-решения в здравоохранении несут в себе неопределенность неизбежна. Сканирование может показать признаки опухоли, которые не являются окончательными. Сглаживание меток помогает моделям анализа медицинских изображений избежать опасно уверенных ложноположительных прогнозов, помогая рентгенологам предоставлять более тонкие оценки вероятности, а не бинарные уверенности. а не бинарную уверенность.
• Обработка естественного языка (NLP): в таких задачах, как машинный перевод, несколько слов часто могут могут служить правильным переводом для одного исходного слова. Сглаживание меток учитывает эту неоднозначность, не позволяя модели модель не присваивает нулевую вероятность правильным синонимам - концепция, имеющая решающее значение в Трансформаторы и Большие языковые модели.

Сравнение со смежными понятиями

Полезно отличать сглаживание меток от других методов, используемых для улучшения работы модели.

• В сравнении с расширением данных: В то время как расширение данных изменяет входные данные (например, поворот или переворот изображений) для увеличения разнообразия, сглаживание меток изменяет целевые метки. Оба могут использоваться одновременно для обучения надежных моделей, таких как YOLO26, которая стремится к высокой точности и эффективности.
• Против дистилляции знаний: На сайте дистилляции знаний, модель ученика учится на "мягких" предсказаниях модели учителя. В отличие от сглаживания меток, где мягкие цели являются однородны и эвристичны, дистилляция использует выученные вероятности, которые содержат информацию о взаимосвязях между классами (например, "собака" больше похожа на "кошку", чем на "автомобиль").
• Против отсева: Слой Выпадающий слой случайным образом деактивирует нейроны во время чтобы предотвратить совместную адаптацию. Это динамически изменяет архитектуру сети, в то время как сглаживание меток изменяет цель оптимизации. Более подробную информацию об отсеивании можно найти в этой статье Journal of Machine Learning Research.

Интегрируя сглаживание меток в процесс обучения, вы обеспечиваете адаптивность и калибровки, что очень важно для успешного развертывания моделей в производственных что важно для успешного развертывания моделей в производственных средах.