Сглаживание меток

Label Smoothing (сглаживание меток) — это метод регуляризации, используемый во время обучения моделей машинного обучения, особенно в задачах классификации. Он решает проблему излишней самоуверенности модели, не позволяя модели присваивать полной вероятности 1.0 правильному классу. Вместо использования «жестких» меток (где правильный класс равен 1, а все остальные — 0), Label Smoothing создает «мягкие» метки, распределяя небольшую часть вероятностной массы по другим классам. Это побуждает модель быть менее уверенной в своих прогнозах, что может привести к лучшему обобщению и улучшению производительности на невидимых данных. Этот метод был заметно использован в высокопроизводительных моделях и подробно описан в таких статьях, как Когда помогает сглаживание меток?.

Как работает сглаживание меток

В типичной задаче классификации обучения с учителем обучающие данные состоят из входных данных и соответствующих им правильных меток. Например, в задаче классификации изображений изображение кошки будет иметь метку «кошка», представленную в виде вектора с одним активным элементом, например, для классов [кошка, собака, птица]. При вычислении функции потерь модель штрафуется в зависимости от того, насколько ее прогноз отличается от этой жесткой цели.

Label Smoothing изменяет эту цель. Он немного уменьшает целевую вероятность для правильного класса (например, до 0,9) и равномерно распределяет оставшуюся небольшую вероятность (0,1 в этом случае) между неправильными классами. Таким образом, новая «мягкая» цель может выглядеть как [0,9, 0,05, 0,05]. Это небольшое изменение препятствует тому, чтобы последний логит-слой нейронной сети производил чрезвычайно большие значения для одного класса, что помогает предотвратить переобучение. Этим процессом можно управлять во время обучения модели с использованием таких платформ, как Ultralytics HUB.

Преимущества сглаживания меток (Label Smoothing)

Основное преимущество сглаживания меток заключается в том, что оно улучшает калибровку модели. Прогнозируемые оценки достоверности хорошо откалиброванной модели более точно отражают истинную вероятность правильности. Это имеет решающее значение для приложений, где важно понимать уверенность модели, например, в анализе медицинских изображений. Предотвращая излишнюю самоуверенность, оно также улучшает способность модели к обобщению на новые данные, что является ключевой целью любого проекта машинного обучения. Это часто приводит к небольшому повышению точности. Лучшее обобщение приводит к созданию более надежных моделей для вывода в реальном времени и окончательного развертывания модели.

Применение в реальном мире

Label Smoothing — это простой, но эффективный метод, применяемый в различных современных моделях.

1. Классификация изображений в большом масштабе: Модели, такие как Ultralytics YOLO, обученные для задач классификации изображений на массивных наборах данных, таких как ImageNet, часто используют сглаживание меток (Label Smoothing). Эти наборы данных иногда могут содержать шумные или неправильные метки из процесса разметки данных. Сглаживание меток делает модель более устойчивой к этому шуму меток, предотвращая ее чрезмерную уверенность в потенциально неправильных метках. Вы можете изучить различные наборы данных классификации для своих проектов.
2. Обработка естественного языка (NLP): В таких задачах, как машинный перевод, для одной фразы может быть несколько допустимых переводов. Сглаживание меток, используемое в таких моделях, как Transformer, препятствует присвоению моделью вероятности 1.0 одному правильному слову в словаре, признавая, что другие слова также могут быть подходящими. Эта концепция является основополагающей в современной NLP и обсуждается в ресурсах таких учреждений, как Stanford NLP Group.

Label Smoothing в сравнении со смежными концепциями

Важно отличать сглаживание меток от других методов регуляризации.

• Hard Labels (жесткие метки): Это стандартный подход, при котором модель обучается с абсолютной уверенностью (100% для правильного класса). Сглаживание меток является прямой альтернативой этому.
• Data Augmentation / Аугментация данных: Это еще один метод регуляризации, который создает новые примеры для обучения, применяя преобразования к существующим данным. Он увеличивает разнообразие набора данных, в то время как Label Smoothing изменяет сами целевые значения. Вы можете найти руководства по аугментации данных YOLO в документации Ultralytics.
• Dropout: Этот метод случайным образом отключает часть нейронов на каждом этапе обучения, чтобы предотвратить сложные коадаптации. Он изменяет архитектуру модели во время обучения, тогда как Label Smoothing изменяет расчет потерь. Более подробную информацию о dropout можно найти в статье GeeksforGeeks на эту тему.
• Дистилляция знаний: В этом методе меньшая модель-"ученик" обучается с использованием "мягких" меток, созданных большей, предварительно обученной моделью-"учителем". Хотя он также использует "мягкие" метки, источником этих меток являются прогнозы другой модели, а не простая эвристика, применяемая к истинным меткам, как в Label Smoothing. Оригинальная статья Distilling the Knowledge in a Neural Network обеспечивает фундаментальное понимание этой концепции.