Softmax

Softmax — это математическая функция, играющая ключевую роль в области искусственного интеллекта и выступающая завершающим этапом во многих алгоритмах классификации. Она преобразует вектор исходных чисел, часто называемых логитами, в вектор вероятностей. Такое преобразование гарантирует, что все выходные значения будут положительными, а их сумма будет в точности равна единице, что фактически создает корректное распределение вероятностей. Благодаря этому свойству Softmax является стандартной функцией активации, используемой в выходном слое нейронных сетей, предназначенных для многоклассовой классификации, где системе необходимо выбрать одну категорию из более чем двух взаимоисключающих вариантов.

Link to this sectionМеханика работы Softmax#

В типичном рабочем процессе глубокого обучения (DL) слои сети выполняют сложные матричные умножения и сложения. Выходные данные финального слоя перед активацией представляют собой исходные оценки, называемые логитами. Эти значения могут варьироваться от отрицательной до положительной бесконечности, что затрудняет их прямую интерпретацию как уровней уверенности.

Softmax решает эту задачу с помощью двух основных операций:

1. Возведение в степень: Функция вычисляет экспоненту каждого входного числа. Этот шаг гарантирует, что все значения будут неотрицательными (так как $e^x$ всегда положительно), и штрафует значения, которые значительно ниже максимального, при этом выделяя наибольшие оценки.

2. Нормализация: Функция суммирует эти экспоненциальные значения и делит каждую отдельную экспоненту на эту общую сумму. Этот процесс нормализации масштабирует числа таким образом, что они представляют части целого, позволяя тебе интерпретировать их как процентные показатели уверенности.

Link to this sectionРеальные приложения#

Способность выводить четкие вероятности делает Softmax незаменимым в различных отраслях и задачах машинного обучения (ML).

• Классификация изображений: В компьютерном зрении модели используют Softmax для категоризации изображений. Например, когда модель классификации Ultralytics YOLO26 анализирует фотографию, она может выдать оценки для таких классов, как «Золотистый ретривер», «Немецкая овчарка» и «Пудель». Softmax преобразует эти оценки в вероятности (например, 0.85, 0.10, 0.05), указывая на высокую уверенность в том, что на изображении запечатлен золотистый ретривер. Это крайне важно для приложений, начиная от автоматической организации фотографий и заканчивая постановкой медицинских диагнозов в ИИ в здравоохранении.
• Обработка естественного языка (NLP): Softmax является движущей силой генерации текста в больших языковых моделях (LLM). Когда модель, подобная Transformer, генерирует предложение, она предсказывает следующее слово (токен), вычисляя оценку для каждого слова в своем словаре. Softmax превращает эти оценки в вероятности, позволяя модели выбирать наиболее вероятное следующее слово, что обеспечивает плавный машинный перевод и работу разговорного ИИ.
• Обучение с подкреплением: Агенты в обучении с подкреплением часто используют Softmax для выбора действий. Вместо того чтобы всегда выбирать действие с самым высоким значением, агент может использовать вероятности для изучения различных стратегий, балансируя между исследованием и эксплуатацией в таких средах, как управление роботами или игры.

Link to this sectionПример кода на Python#

Следующий пример демонстрирует, как загрузить предварительно обученную модель классификации YOLO26 и получить доступ к показателям вероятности, сгенерированным через Softmax.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on a sample image
results = model("https://ultralytics.com/images/bus.jpg")

# The model applies Softmax internally. Access the top prediction:
# The 'probs' attribute contains the probability distribution.
top_prob = results[0].probs.top1conf.item()
top_class = results[0].names[results[0].probs.top1]

print(f"Predicted Class: {top_class}")
print(f"Confidence (Softmax Output): {top_prob:.4f}")

Link to this sectionОтличие Softmax от смежных понятий#

While Softmax is dominant in multi-class scenarios, it is important to distinguish it from other mathematical functions used in model training and architecture design:

• Sigmoid: Функция Sigmoid также масштабирует значения в диапазоне от 0 до 1, но она обрабатывает каждый выход независимо. Это делает Sigmoid идеальной для бинарной классификации (да/нет) или многометочной классификации, где классы не являются взаимоисключающими (например, изображение может содержать одновременно и «Человека», и «Рюкзак»). Softmax же вынуждает вероятности суммироваться в единицу, заставляя классы конкурировать друг с другом.
• ReLU (Rectified Linear Unit): ReLU в основном используется в скрытых слоях сети для внесения нелинейности. В отличие от Softmax, ReLU не ограничивает выходные данные определенным диапазоном (она просто выводит ноль для отрицательных входных данных и само входное значение для положительных) и не создает распределение вероятностей.
• Argmax: В то время как Softmax предоставляет вероятности для всех классов, функция Argmax часто используется вместе с ней для выбора единственного индекса с наибольшей вероятностью. Softmax обеспечивает «мягкую» уверенность, а Argmax выдает «жесткое» окончательное решение.

Link to this sectionРасширенная интеграция#

В современных пайплайнах машинного обучения Softmax часто вычисляется неявно внутри функций потерь. Например, Cross-Entropy Loss объединяет Softmax и отрицательное логарифмическое правдоподобие в один математический шаг для повышения численной стабильности во время обучения. Такие платформы, как Ultralytics Platform, обрабатывают эти сложности автоматически, позволяя тебе обучать надежные модели, не реализуя эти математические операции вручную.