Sigmoide

A função Sigmoid é uma função de ativação popular usada em machine learning (ML) e deep learning (DL). É uma função matemática que produz uma curva característica em forma de "S", ou sigmoidal. Seu principal objetivo é pegar qualquer número real e "esmagá-lo" em um intervalo entre 0 e 1. Essa saída é frequentemente interpretada como uma probabilidade, tornando a Sigmoid especialmente útil em modelos onde o objetivo é prever a probabilidade de um resultado. Ao introduzir não linearidade em uma rede neural (NN), ela permite que o modelo aprenda padrões complexos a partir de dados que seriam impossíveis com transformações lineares simples.

Função e Aplicações

A capacidade da função Sigmoide de mapear entradas para uma saída semelhante a uma probabilidade a torna uma pedra angular para certos tipos de tarefas. Embora tenha se tornado menos comum nas camadas ocultas das redes neurais profundas modernas, continua sendo uma escolha padrão para a camada de saída em cenários específicos.

Aplicações Principais

• Classificação Binária: Em problemas de classificação binária, o objetivo é categorizar uma entrada em uma de duas classes (por exemplo, spam ou não spam, doença presente ou ausente). Uma função Sigmoid na camada de saída fornece um único valor entre 0 e 1, representando a probabilidade de que a entrada pertença à classe positiva. Por exemplo, um modelo de análise de imagem médica pode usar Sigmoid para gerar uma probabilidade de 0,9, indicando uma chance de 90% de que um tumor seja maligno.
• Classificação Multi-Label: Ao contrário da classificação multiclasse, onde uma entrada pertence a apenas uma classe, as tarefas multi-label permitem que uma entrada seja associada a vários labels simultaneamente. Por exemplo, um modelo de detecção de objetos como o Ultralytics YOLO pode analisar uma imagem e identificar um "carro", "pedestre" e "semáforo" todos de uma vez. Neste caso, uma função Sigmoid é aplicada a cada neurônio de saída independentemente, dando a probabilidade para cada label possível. Você pode aprender mais sobre a evolução da detecção de objetos.
• Mecanismos de Gating em RNNs: As funções Sigmoid são um componente central nos mecanismos de gating das Redes Neurais Recorrentes (RNNs), como a Memória de Curto-Longo Prazo (LSTM) e as Unidades Recorrentes Gated (GRU). Esses gates usam Sigmoid para controlar o fluxo de informações, decidindo quais dados manter ou descartar a cada etapa. Este mecanismo é crucial para aprender dependências de longo prazo em dados sequenciais, conforme explicado neste post detalhado do blog sobre compreensão de LSTMs.

Comparação com Outras Funções de Ativação

É importante distinguir a função Sigmoid de outras funções de ativação para entender quando usá-la.

• Softmax: A função Softmax é normalmente usada para problemas de classificação multiclasse, onde cada entrada pertence a exatamente uma de várias classes possíveis. Ao contrário da Sigmoid, que calcula probabilidades independentes para cada saída, a Softmax calcula uma distribuição de probabilidade em todas as classes que soma 1. Por exemplo, um modelo que classifica dígitos manuscritos do conjunto de dados MNIST usaria Softmax para atribuir uma única probabilidade a cada dígito de 0 a 9.
• ReLU (Unidade Linear Retificada): ReLU se tornou o padrão de fato para camadas ocultas em redes profundas. É computacionalmente mais eficiente e ajuda a mitigar o problema do gradiente исчеcendo — um problema significativo com Sigmoid, onde os gradientes se tornam extremamente pequenos durante a retropropagação, retardando ou interrompendo o processo de aprendizado. Você pode ler mais sobre os desafios dos gradientes neste artigo da DeepLearning.AI.
• SiLU (Sigmoid Linear Unit): Também conhecida como Swish, SiLU é uma função de ativação mais moderna derivada do Sigmoid. Muitas vezes, tem um desempenho melhor do que ReLU em modelos mais profundos, incluindo arquiteturas avançadas de visão computacional. Os modelos Ultralytics geralmente utilizam funções de ativação avançadas para alcançar um melhor equilíbrio entre velocidade e precisão.

Uso e Disponibilidade Modernos

Embora menos comum em camadas ocultas hoje, a Sigmoid continua sendo uma escolha padrão para camadas de saída em tarefas de classificação binária e multi-rótulo. Ela também forma um componente central em mecanismos de gating dentro de arquiteturas complexas que lidam com dados sequenciais.

A sigmoide está prontamente disponível em todos os principais frameworks de deep learning, incluindo PyTorch (como torch.sigmoid) e TensorFlow (como tf.keras.activations.sigmoid). Plataformas como Ultralytics HUB suportam modelos que utilizam várias funções de ativação, permitindo aos usuários treinar e implementar soluções sofisticadas de visão computacional.