GELU (Gaussian Error Linear Unit)

Функция ошибки Гаусса (GELU) — это сложная activation function, которая играет ключевую роль в производительности современных систем artificial intelligence (AI), особенно тех, которые основаны на архитектуре Transformer. В отличие от традиционных функций, которые применяют жесткий детерминированный порог к входам нейронов, GELU вводит вероятностный аспект, вдохновленный свойствами Gaussian distribution. Взвешивая входы по их величине, а не просто управляя ими, GELU обеспечивает более плавную нелинейность, которая помогает в оптимизации моделей deep learning (DL). Эта уникальная характеристика позволяет сетям более эффективно моделировать сложные паттерны данных, внося значительный вклад в успех массивных foundation models.

Как работает GELU#

В основе любой neural network функции активации определяют, «срабатывает» ли нейрон на основе своего входного сигнала. Более старые функции, такие как Rectified Linear Unit (ReLU), работают подобно переключателю, выдавая ноль для любого отрицательного входа и сам вход для положительных значений. Несмотря на эффективность, этот резкий срез может препятствовать динамике обучения.

GELU улучшает это, масштабируя вход с помощью функции кумулятивного распределения гауссовского распределения. Интуитивно это означает, что по мере уменьшения входного значения вероятность отключения нейрона увеличивается, но это происходит постепенно, а не внезапно. Эта кривизна создает плавную немонотонную функцию, дифференцируемую во всех точках. Эта плавность облегчает лучшее backpropagation градиентов, помогая смягчить такие проблемы, как vanishing gradient problem, способные затормозить обучение глубоких сетей.

Реальные приложения#

Более плавная среда оптимизации, обеспечиваемая GELU, сделала ее выбором по умолчанию для некоторых из наиболее продвинутых приложений в machine learning (ML).

• Large Language Models (LLMs): GELU получила широкую известность с появлением BERT (Bidirectional Encoder Representations from Transformers) от исследователей Google. Теперь она является стандартным компонентом в GPT series и других генеративных текстовых моделях. В таких задачах, как text summarization или анализ тональности, GELU помогает модели улавливать тончайшие нюансы в языковых представлениях, которые жесткие активации могут упустить.
• Vision Transformers (ViT): В сфере computer vision модели, адаптирующие архитектуру Transformer для image classification, сильно зависят от GELU. Обрабатывая изображения как последовательности патчей, эти модели используют GELU для сохранения богатой информации о признаках на всех глубоких слоях, обеспечивая высокую точность в бенчмарках вроде ImageNet.

Сравнение с похожими терминами#

Понимание GELU часто требует отличия ее от других популярных функций активации, найденных в Ultralytics glossary.

• GELU против ReLU: ReLU проще с точки зрения вычислений и создает разреженность (точные нули), что может быть эффективно. Тем не менее «острый угол» в нуле может замедлить сходимость. GELU предлагает плавное приближение, которое обычно дает более высокую точность в сложных задачах, хотя и с немного более высокими вычислительными затратами.
• GELU против SiLU (Swish): Сигмоидная линейная единица (SiLU) структурно очень похожа на GELU и разделяет ее плавные немонотонные свойства. Хотя GELU доминирует в Natural Language Processing (NLP), SiLU часто предпочитают в высокооптимизированных детекторах объектов вроде YOLO26 из-за ее эффективности на периферийном железе и отличной производительности в задачах детектирования.
• GELU против Leaky ReLU: Leaky ReLU пытается решить проблему «умирающего нейрона» стандартной ReLU, позволяя небольшой постоянный линейный наклон для отрицательных входов. В отличие от нее, GELU нелинейна для отрицательных значений, предлагая более сложный и адаптивный отклик, который часто ведет к лучшему обучению представлений в очень глубоких сетях.

Пример реализации#

Реализация GELU проста при использовании современных библиотек глубокого обучения вроде PyTorch. Следующий пример демонстрирует, как применить эту функцию к тензору входных данных.

import torch
import torch.nn as nn

# Initialize the GELU activation function
gelu_activation = nn.GELU()

# Create sample input data including negative and positive values
input_data = torch.tensor([-3.0, -1.0, 0.0, 1.0, 3.0])

# Apply GELU to the inputs
output = gelu_activation(input_data)

# Print results to see the smoothing effect on negative values
print(f"Input: {input_data}")
print(f"Output: {output}")

Для разработчиков, желающих задействовать эти продвинутые функции активации в собственных проектах компьютерного зрения, Ultralytics Platform упрощает весь рабочий процесс. Она предоставляет унифицированный интерфейс для разметки данных, обучения моделей с использованием таких архитектур, как YOLO26 (которая задействует оптимизированные активации вроде SiLU), и их эффективного развертывания в облаке или на периферийных устройствах.