Sigmoid

Функция Sigmoid — фундаментальный математический компонент, широко применяемый в машинном обучении (ML) и глубоком обучении (DL). Ее часто называют «сжимающей функцией»: она принимает любое вещественное число и отображает его в диапазон от 0 до 1. Благодаря характерной S-образной кривой функция отлично подходит для преобразования исходных выходных значений модели в интерпретируемые вероятности. В нейронной сети (NN) Sigmoid выступает в роли функции активации, добавляя нелинейность, которая позволяет моделям изучать сложные закономерности, выходящие за рамки простых линейных зависимостей. Хотя в глубоких скрытых слоях ее в основном заменили другими функциями, для выходных слоев задач бинарной классификации она по-прежнему остается стандартным выбором.

Как работает Sigmoid в AI#

По сути, функция Sigmoid преобразует входные данные, часто называемые логитами, в нормализованный диапазон. Это преобразование крайне важно для задач, в которых нужно предсказать вероятность события. Ограничивая выходные значения диапазоном от 0 до 1, функция формирует понятную оценку вероятности.

• Логистическая регрессия: В традиционном статистическом моделировании Sigmoid лежит в основе логистической регрессии. Она позволяет специалистам по данным оценивать вероятность бинарного исхода, например того, что клиент перестанет пользоваться услугой или останется с компанией.
• Бинарная классификация: В нейронных сетях, которые различают два класса (например, «кошка» и «собака»), на последнем слое часто используется активация Sigmoid. Если выходное значение превышает порог (обычно 0.5), модель предсказывает положительный класс.
• Многометочная классификация: В отличие от задач мультиклассовой классификации, где классы взаимоисключающие, при многометочной классификации изображение или текст могут одновременно относиться к нескольким категориям. Здесь Sigmoid применяется независимо к каждому выходному узлу, позволяя модели обнаруживать на одной сцене и «автомобиль», и «человека».

Основные различия с другими функциями активации#

Хотя раньше Sigmoid использовали по умолчанию во всех слоях, исследователи обнаружили ее ограничения, например проблему затухания градиента: градиенты становятся слишком малыми, чтобы эффективно обновлять веса в глубоких сетях. Поэтому для скрытых слоев стали применять альтернативы.

• Sigmoid и ReLU (выпрямленная линейная единица): ReLU вычисляется быстрее и помогает избежать затухания градиентов: она возвращает входное значение, если оно положительное, и ноль в противном случае. ReLU и ее плавные варианты, например SiLU, которую использует YOLO26, предпочитают использовать в скрытых слоях современных архитектур, тогда как Sigmoid оставляют для выходного слоя в отдельных задачах.
• Sigmoid в сравнении с Softmax: Обе функции отображают выходные значения в диапазон от 0 до 1, но решают разные задачи. Sigmoid обрабатывает каждый выход независимо, поэтому подходит для бинарной и многометочной классификации. Softmax нормирует выходные значения так, чтобы их сумма равнялась 1, формируя распределение вероятностей для мультиклассовой классификации, где правильным может быть только один класс.

Примеры применения в реальных условиях#

Функция Sigmoid применяется в самых разных отраслях, где требуется оценивать вероятности.

1. Медицинская диагностика: В моделях AI для анализа медицинских изображений часто используются выходные значения Sigmoid, чтобы предсказывать вероятность наличия заболевания на рентгеновском снимке или снимке MRI. Например, модель может выдать 0.85, что указывает на 85%-ную вероятность опухоли и помогает врачам обнаружить ее на ранней стадии.

2. Обнаружение спама: Системы фильтрации электронной почты используют модели обработки естественного языка (NLP) с классификаторами Sigmoid, чтобы определить, является ли входящее сообщение спамом. Модель анализирует ключевые слова и метаданные, а затем выдает оценку, по которой определяется, попадет письмо во входящие или в папку нежелательной почты.

Практическая реализация#

Посмотри, как Sigmoid преобразует данные, используя PyTorch — популярную библиотеку для создания моделей глубокого обучения. Этот простой пример демонстрирует эффект «сжатия» для ряда входных значений.

import torch
import torch.nn as nn

# Create a Sigmoid layer
sigmoid = nn.Sigmoid()

# Define input data (logits) ranging from negative to positive
input_data = torch.tensor([-5.0, -1.0, 0.0, 1.0, 5.0])

# Apply Sigmoid to squash values between 0 and 1
output = sigmoid(input_data)

print(f"Input: {input_data}")
print(f"Output: {output}")
# Output values near 0 for negative inputs, 0.5 for 0, and near 1 for positive inputs

Если ты хочешь обучать модели с использованием этих концепций, не работая с низкоуровневым кодом, платформа Ultralytics предлагает удобный интерфейс для управления наборами данных и обучения современных моделей, таких как YOLO26. Автоматически обрабатывая сложные архитектурные детали, платформа позволяет сосредоточиться на сборе качественных обучающих данных для конкретных задач компьютерного зрения.