GELU (Gaussian Error Linear Unit)

A Gaussian Error Linear Unit (GELU) é uma função de ativação sofisticada que desempenha um papel fundamental no desempenho de sistemas modernos de inteligência artificial (IA), particularmente aqueles baseados na arquitetura Transformer. Ao contrário das funções tradicionais que aplicam um limite rígido e determinístico às entradas dos neurônios, a GELU introduz um aspecto probabilístico inspirado nas propriedades da distribuição Gaussiana. Ao ponderar as entradas por sua magnitude, em vez de simplesmente limitá-las, a GELU fornece uma não linearidade mais suave que auxilia na otimização de modelos de deep learning (DL). Essa característica única permite que as redes modelem padrões de dados complexos de forma mais eficaz, contribuindo significativamente para o sucesso de modelos de fundação massivos.

Link to this sectionComo a GELU funciona#

No núcleo de qualquer rede neural, as funções de ativação determinam se um neurônio "dispara" com base em seu sinal de entrada. Funções mais antigas, como a Rectified Linear Unit (ReLU), operam como um interruptor, produzindo zero para qualquer entrada negativa e a própria entrada para valores positivos. Embora eficiente, esse corte brusco pode prejudicar a dinâmica de treinamento.

A GELU melhora isso ao dimensionar a entrada pela função de distribuição cumulativa de uma distribuição Gaussiana. Intuitivamente, isso significa que, à medida que o valor da entrada diminui, a probabilidade de o neurônio ser descartado aumenta, mas isso ocorre gradualmente em vez de abruptamente. Essa curvatura cria uma função suave e não monótona que é diferenciável em todos os pontos. Essa suavidade facilita uma melhor backpropagation de gradientes, ajudando a mitigar problemas como o problema do gradiente desaparecendo, que pode travar o treinamento de redes profundas.

Link to this sectionAplicações no Mundo Real#

O cenário de otimização mais suave proporcionado pela GELU tornou-a a escolha padrão para algumas das aplicações mais avançadas em machine learning (ML).

• Large Language Models (LLMs): A GELU ganhou destaque com a introdução do BERT (Bidirectional Encoder Representations from Transformers) por pesquisadores do Google. Ela agora é um componente padrão na série GPT e em outros modelos generativos de texto. Em tarefas como resumo de texto ou análise de sentimento, a GELU ajuda o modelo a capturar nuances sutis em representações de linguagem que ativações rígidas poderiam perder.
• Vision Transformers (ViT): No domínio da computação visual, modelos que adaptam a arquitetura Transformer para classificação de imagens dependem fortemente da GELU. Ao processar imagens como sequências de patches, esses modelos usam a GELU para manter ricas informações de recursos através das camadas profundas, permitindo alta precisão em benchmarks como o ImageNet.

Link to this sectionComparação com termos relacionados#

Entender a GELU muitas vezes exige distingui-la de outras funções de ativação populares encontradas no glossário Ultralytics.

• GELU vs. ReLU: A ReLU é computacionalmente mais simples e cria esparsidade (zeros exatos), o que pode ser eficiente. No entanto, o "canto agudo" no zero pode desacelerar a convergência. A GELU oferece uma aproximação suave que normalmente resulta em maior precisão em tarefas complexas, embora com um custo computacional ligeiramente superior.
• GELU vs. SiLU (Swish): A Sigmoid Linear Unit (SiLU) é estruturalmente muito semelhante à GELU e compartilha suas propriedades suaves e não monótonas. Enquanto a GELU é dominante em Natural Language Processing (NLP), a SiLU é frequentemente preferida em detectores de objetos altamente otimizados como o YOLO26 devido à sua eficiência em hardware de borda e excelente desempenho em tarefas de detecção.
• GELU vs. Leaky ReLU: A Leaky ReLU tenta corrigir o problema do "neurônio moribundo" da ReLU padrão, permitindo uma pequena inclinação linear constante para entradas negativas. Em contraste, a GELU é não linear para valores negativos, oferecendo uma resposta mais complexa e adaptável que muitas vezes leva a um melhor aprendizado de representação em redes muito profundas.

Link to this sectionExemplo de Implementação#

Implementar a GELU é direto usando bibliotecas modernas de deep learning como o PyTorch. O exemplo a seguir demonstra como aplicar a função a um tensor de dados de entrada.

import torch
import torch.nn as nn

# Initialize the GELU activation function
gelu_activation = nn.GELU()

# Create sample input data including negative and positive values
input_data = torch.tensor([-3.0, -1.0, 0.0, 1.0, 3.0])

# Apply GELU to the inputs
output = gelu_activation(input_data)

# Print results to see the smoothing effect on negative values
print(f"Input: {input_data}")
print(f"Output: {output}")

Para desenvolvedores que buscam aproveitar essas funções de ativação avançadas em seus próprios projetos de computação visual, a Plataforma Ultralytics simplifica todo o fluxo de trabalho. Ela fornece uma interface unificada para anotar dados, treinar modelos usando arquiteturas como o YOLO26 (que utiliza ativações otimizadas como a SiLU) e implantá-los de forma eficiente na nuvem ou em dispositivos de borda.