Сигмоида

Сигмоидная функция (Sigmoid) — это популярная функция активации, используемая в машинном обучении (ML) и глубоком обучении (DL). Это математическая функция, которая создает характерную S-образную, или сигмоидальную, кривую. Ее основная цель — взять любое действительное число и «сжать» его в диапазон от 0 до 1. Этот результат часто интерпретируется как вероятность, что делает сигмоидную функцию особенно полезной в моделях, где цель состоит в прогнозировании вероятности исхода. Внося нелинейность в нейронную сеть (NN), она позволяет модели изучать сложные закономерности из данных, что было бы невозможно с простыми линейными преобразованиями.

Роль и применение

Способность сигмоидной функции отображать входные данные в вероятностно-подобный выход делает ее краеугольным камнем для определенных типов задач. Хотя она стала менее распространенной в скрытых слоях современных глубоких нейронных сетей, она остается стандартным выбором для выходного слоя в определенных сценариях.

Ключевые приложения

• Бинарная классификация: В задачах бинарной классификации цель состоит в том, чтобы разделить входные данные на один из двух классов (например, спам или не спам, болезнь присутствует или отсутствует). Сигмоидная функция на выходном слое предоставляет одно значение от 0 до 1, представляющее вероятность того, что входные данные принадлежат к положительному классу. Например, модель анализа медицинских изображений может использовать сигмоиду для вывода вероятности 0,9, указывающей на 90% вероятность того, что опухоль является злокачественной.
• Многозначная классификация: В отличие от многоклассовой классификации, где входные данные принадлежат только к одному классу, многозначные задачи позволяют связывать входные данные с несколькими метками одновременно. Например, модель обнаружения объектов, такая как Ultralytics YOLO, может анализировать изображение и одновременно идентифицировать "автомобиль", "пешехода" и "светофор". В этом случае функция Sigmoid применяется к каждому выходному нейрону независимо, давая вероятность для каждой возможной метки. Вы можете узнать больше об эволюции обнаружения объектов.
• Механизмы стробирования в RNN: Сигмоидные функции являются ключевым компонентом механизмов стробирования в рекуррентных нейронных сетях (RNN), таких как Long Short-Term Memory (LSTM) и Gated Recurrent Units (GRU). Эти вентили используют сигмоиду для управления потоком информации, решая, какие данные сохранять или отбрасывать на каждом шаге. Этот механизм имеет решающее значение для изучения долгосрочных зависимостей в последовательных данных, как объясняется в этой подробной статье в блоге, посвященной пониманию LSTM.

Сравнение с другими функциями активации

Важно отличать сигмоидную функцию от других функций активации, чтобы понимать, когда ее следует использовать.

• Softmax: Функция Softmax обычно используется для задач многоклассовой классификации, где каждый вход принадлежит ровно к одному из нескольких возможных классов. В отличие от Sigmoid, которая вычисляет независимые вероятности для каждого выхода, Softmax вычисляет распределение вероятностей по всем классам, сумма которых равна 1. Например, модель, классифицирующая рукописные цифры из набора данных MNIST, будет использовать Softmax для присвоения единой вероятности каждой цифре от 0 до 9.
• ReLU (Rectified Linear Unit): ReLU стал фактическим стандартом для скрытых слоев в глубоких сетях. Он более эффективен с вычислительной точки зрения и помогает смягчить проблему исчезающего градиента — серьезную проблему с Sigmoid, когда градиенты становятся чрезвычайно малыми во время обратного распространения, замедляя или останавливая процесс обучения. Вы можете узнать больше о проблемах с градиентами в этой статье DeepLearning.AI.
• SiLU (Sigmoid Linear Unit): Также известная как Swish, SiLU — это более современная функция активации, производная от Sigmoid. Она часто работает лучше, чем ReLU, в более глубоких моделях, включая передовые архитектуры компьютерного зрения. Модели Ultralytics часто используют передовые функции активации для достижения лучшего баланса скорости и точности.

Современное использование и доступность

Хотя сегодня Sigmoid менее распространен в скрытых слоях, он остается стандартным выбором для выходных слоев в задачах бинарной и многозначной классификации. Он также является основным компонентом механизмов стробирования в сложных архитектурах, которые обрабатывают последовательные данные.

Сигмоида легко доступна во всех основных фреймворки глубокого обучения, включая PyTorch (как torch.sigmoid) и TensorFlow (как tf.keras.activations.sigmoid). Платформы, такие как Ultralytics HUB поддержка моделей, использующих различные функции активации, позволяя пользователям Обучение и развертывание сложные решения в области компьютерного зрения.