Softmax

Softmax - это математическая функция, которая преобразует вектор необработанных реальных оценок, часто называемых логитами, в вектор вероятностей. В контексте машинного обучения (ML) Softmax используется в основном как функция активации в выходном слое нейронной сети. Ее ключевая роль заключается в преобразовании итоговых оценок сети в значимое распределение вероятностей по нескольким взаимоисключающим классам. Полученные вероятности в сумме равны единице, что позволяет легко интерпретировать их как уверенность модели в каждом возможном исходе.

Принцип работы Softmax

Представьте себе нейронную сеть, пытающуюся решить, к какой категории относится изображение. Последний слой сети выдает набор сырых баллов для каждой категории. Более высокий балл говорит о том, что модель больше склоняется к этой категории, но эти баллы не стандартизированы, и работать с ними напрямую может быть сложно.

Функция Softmax берет эти оценки и выполняет два основных действия:

1. К каждому баллу применяется экспоненциальная функция. Это делает все значения положительными и преувеличивает разницу между ними - более высокие баллы становятся пропорционально больше.
2. Он нормализует эти экспоненциальные оценки, разделив каждую из них на их сумму. Этот шаг уменьшает значения так, чтобы в сумме они составляли 1,0, создавая распределение вероятностей.

Итоговым результатом является список вероятностей, где каждое значение представляет собой предсказанную моделью вероятность того, что входные данные относятся к определенному классу. Класс с наибольшей вероятностью выбирается в качестве окончательного прогноза.

Приложения в искусственном интеллекте и машинном обучении

Softmax является основой любой модели глубокого обучения, выполняющей многоклассовую классификацию. Его способность обеспечивать четкий вероятностный результат делает его неоценимым в различных областях.

• Image Classification: This is the most common use case. A Convolutional Neural Network (CNN) trained on a dataset like ImageNet will use Softmax in its final layer. For an image of a pet, the model might output probabilities like {Dog: 0.9, Cat: 0.08, Rabbit: 0.02}, clearly indicating its prediction. Models like Ultralytics YOLO use this for classification tasks.
• Обработка естественного языка (NLP): в языковом моделировании Softmax используется для предсказания следующего слова в последовательности. Такая модель, как Transformer, вычисляет оценку для каждого слова в своем словарном запасе и использует Softmax для преобразования этих оценок в вероятности. Это основной компонент больших языковых моделей (LLM), который используется в различных приложениях - от машинного перевода до генерации текста.
• Анализ медицинских изображений: При анализе медицинских снимков для классификации различных типов тканей или выявления патологий (например, доброкачественных, злокачественных или здоровых) модель с помощью Softmax присваивает каждому диагнозу определенную вероятность, помогая врачам принимать более обоснованные решения.
• Обучение с подкреплением: В обучении с подкреплением на основе политики Softmax может быть использован для преобразования выученных значений различных действий в политику, которая представляет собой распределение вероятностей возможных действий агента.

Softmax в сравнении с другими функциями активации

Важно отличать Softmax от других распространенных функций активации, поскольку они служат разным целям.

• Сигмоид: Функция Sigmoid также выводит значения между 0 и 1, но она используется для бинарной классификации (один класс против другого) или для многоклассовой классификации, когда входные данные могут принадлежать сразу нескольким классам. Например, фильм может быть классифицирован как "комедия" и "боевик". В отличие от этого, Softmax используется для многоклассовой классификации, когда классы являются взаимоисключающими - написанная от руки цифра должна быть 7 или 8, но не обе.
• ReLU (Rectified Linear Unit): ReLU и его разновидности, такие как Leaky ReLU и SiLU, используются в скрытых слоях нейронной сети. Их основная задача - внести нелинейность, позволяющую модели изучать сложные закономерности в данных. Они не вырабатывают вероятности и не используются в качестве выходных функций для классификации.
• Tanh (гиперболический тангенс): Tanh сжимает значения до диапазона от -1 до 1. Как и ReLU, он используется в скрытых слоях, особенно в старых архитектурах рекуррентных нейронных сетей (RNN). Он не подходит для получения вероятностных результатов в задачах классификации.

Практические соображения

Несмотря на свою мощь, Softmax может быть чувствителен к очень большим входным оценкам, что иногда приводит к численной нестабильности (переполнению или недополнению). Чтобы решить эту проблему, современные фреймворки глубокого обучения, такие как PyTorch и TensorFlow, реализуют численно стабильные версии Softmax за кулисами.

При обучении модели Softmax почти всегда используется в паре со специальной функцией потерь, называемой Cross-Entropy Loss (или Log Loss). Эта комбинация очень эффективна для обучения многоклассовых классификаторов. Понимание поведения Softmax имеет решающее значение для эффективного обучения и интерпретации моделей, которые можно управлять и отслеживать с помощью таких платформ, как Ultralytics HUB, для оптимизации экспериментов и развертывания.