GELU (Gaussian Error Linear Unit)

Gaussian Error Linear Unit (GELU) — это сложная функция активации, которая играет ключевую роль в производительности современных систем искусственного интеллекта (ИИ), особенно основанных на архитектуре Transformer. В отличие от традиционных функций, которые применяют жесткий, детерминированный порог к входным данным нейрона, GELU вводит вероятностный аспект, вдохновленный свойствами гауссова распределения. Взвешивая входные данные по их величине, а не просто ограничивая их, GELU обеспечивает более плавную нелинейность, что помогает при оптимизации моделей глубокого обучения (DL). Эта уникальная характеристика позволяет сетям более эффективно моделировать сложные закономерности данных, значительно способствуя успеху масштабных фундаментальных моделей.

Link to this sectionКак работает GELU#

В основе любой нейронной сети функции активации определяют, «срабатывает» ли нейрон на основе входного сигнала. Более старые функции, такие как Rectified Linear Unit (ReLU), работают как переключатель, выдавая ноль для любых отрицательных входных данных и само входное значение для положительных. Хотя это эффективно, такой резкий порог может затруднить динамику обучения.

GELU улучшает этот процесс, масштабируя входные данные с помощью функции кумулятивного распределения гауссова распределения. Интуитивно это означает, что по мере уменьшения входного значения вероятность «выпадения» нейрона увеличивается, но это происходит постепенно, а не внезапно. Эта кривизна создает плавную, немонотонную функцию, дифференцируемую во всех точках. Такая плавность облегчает обратное распространение градиентов, помогая смягчить такие проблемы, как проблема исчезающего градиента, которая может остановить обучение глубоких сетей.

Link to this sectionРеальные приложения#

Более плавный ландшафт оптимизации, обеспечиваемый GELU, сделал её выбором по умолчанию для некоторых из самых передовых приложений в машинном обучении (ML).

• Большие языковые модели (LLM): GELU приобрела известность с появлением BERT (двунаправленных представлений энкодера из трансформеров) от исследователей Google. Теперь она является стандартным компонентом серии GPT и других генеративных текстовых моделей. В задачах вроде автоматического реферирования или анализа тональности GELU помогает модели улавливать тонкие нюансы в языковых представлениях, которые жесткие функции активации могут упустить.
• Vision Transformers (ViT): В области компьютерного зрения модели, адаптирующие архитектуру Transformer для классификации изображений, сильно полагаются на GELU. Обрабатывая изображения как последовательности патчей, эти модели используют GELU для сохранения богатой информации о признаках во всех глубоких слоях, что обеспечивает высокую точность на таких бенчмарках, как ImageNet.

Link to this sectionСравнение с похожими терминами#

Понимание GELU часто требует отличия её от других популярных функций активации, представленных в глоссарии Ultralytics.

• GELU против ReLU: ReLU вычислительно проще и создает разреженность (точные нули), что может быть эффективно. Однако «острый угол» в нуле может замедлить сходимость. GELU предлагает плавную аппроксимацию, которая обычно дает более высокую точность в сложных задачах, хотя и с немного большими вычислительными затратами.
• GELU против SiLU (Swish): Sigmoid Linear Unit (SiLU) структурно очень похожа на GELU и обладает теми же плавными, немонотонными свойствами. Хотя GELU доминирует в обработке естественного языка (NLP), SiLU часто предпочитают в высокооптимизированных детекторах объектов, таких как YOLO26, из-за её эффективности на граничных устройствах и отличной производительности в задачах обнаружения.
• GELU против Leaky ReLU: Leaky ReLU пытается решить проблему «умирающего нейрона» стандартной ReLU, допуская небольшой постоянный линейный наклон для отрицательных входных данных. В отличие от неё, GELU нелинейна для отрицательных значений, предлагая более сложный и адаптивный отклик, который часто приводит к лучшему обучению представлений в очень глубоких сетях.

Link to this sectionПример реализации#

Реализация GELU проста при использовании современных библиотек глубокого обучения, таких как PyTorch. В следующем примере показано, как применить эту функцию к тензору входных данных.

import torch
import torch.nn as nn

# Initialize the GELU activation function
gelu_activation = nn.GELU()

# Create sample input data including negative and positive values
input_data = torch.tensor([-3.0, -1.0, 0.0, 1.0, 3.0])

# Apply GELU to the inputs
output = gelu_activation(input_data)

# Print results to see the smoothing effect on negative values
print(f"Input: {input_data}")
print(f"Output: {output}")

Для разработчиков, желающих использовать эти передовые функции активации в своих проектах по компьютерному зрению, платформа Ultralytics упрощает весь рабочий процесс. Она предоставляет унифицированный интерфейс для разметки данных, обучения моделей с использованием таких архитектур, как YOLO26 (которая использует оптимизированные функции активации, такие как SiLU), и их эффективного развертывания в облаке или на граничных устройствах.