GELU (Gaussian Error Linear Unit)

L'unité linéaire d'erreur gaussienne (GELU) est une fonction d'activation définie par GELU(x) = x · Φ(x), où Φ est la fonction de répartition de la loi normale standard. Elle pondère chaque entrée selon la probabilité qu'une variable normale standard lui soit inférieure : les grandes valeurs positives passent presque sans changement, les grandes valeurs négatives sont ramenées à presque zéro et les valeurs proches de zéro sont réduites d'environ moitié. Dan Hendrycks et Kevin Gimpel l'ont présentée dans leur article de 2016 Unités linéaires d'erreur gaussienne (GELUs). GELU est devenue la fonction d'activation standard des modèles transformer tels que BERT, GPT-2, GPT-3 et le transformer de vision (ViT), où elle se trouve entre les deux couches linéaires de chaque bloc feed-forward.

Fonctionnement de GELU#

Hendrycks et Gimpel ont dérivé GELU de la régularisation stochastique. Imagine que chaque entrée x soit multipliée par un masque aléatoire qui la conserve avec une probabilité Φ(x) et la met à zéro sinon, comme avec le dropout, mais avec une probabilité de conservation qui augmente avec l'entrée. GELU est l'espérance de cette opération, Φ(x) · x ; elle filtre donc progressivement les entrées selon leur valeur, alors que ReLU les filtre abruptement selon leur signe.

La courbe obtenue présente trois propriétés importantes pour l'entraînement :

• Lisse partout : GELU et sa dérivée sont continues, sans angle en zéro ; de petits changements de poids entraînent donc de petits changements de sortie pendant la rétropropagation.
• Non monotone : Pour les entrées négatives, la sortie diminue d'abord, puis remonte vers zéro, atteignant un minimum d'environ −0,17 à x ≈ −0,75.
• Gradient pour les entrées négatives : Les unités dont les entrées sont modérément négatives reçoivent toujours un gradient ; elles continuent donc d'apprendre, contrairement aux unités ReLU.

Comme Φ fait intervenir la fonction d'erreur, deux approximations sont courantes. La forme tanh, 0.5x(1 + tanh(√(2/π)(x + 0.044715x³))), reste à environ 0,0005 de GELU exacte et a été utilisée dans GPT-2. La forme sigmoïde, x · σ(1.702x), s'en écarte d'environ 0,02 et correspond à QuickGELU, utilisée dans CLIP d'OpenAI. nn.GELU de PyTorch calcule la forme exacte par défaut et la forme tanh avec approximate="tanh" :

import torch
from torch import nn

x = torch.tensor([-3.0, -1.0, -0.75, 0.0, 1.0, 3.0])

# Exact GELU: x * Phi(x), where Phi is the standard normal CDF
exact = nn.GELU()(x)

# Tanh approximation, as used in GPT-2
approx = nn.GELU(approximate="tanh")(x)

print(f"GELU exact: {[round(v, 4) for v in exact.tolist()]}")
print(f"GELU tanh:  {[round(v, 4) for v in approx.tolist()]}")
print(f"ReLU:       {nn.ReLU()(x).tolist()}")

GELU exacte affiche [-0.004, -0.1587, -0.17, 0.0, 0.8413, 2.996], la forme tanh [-0.0036, -0.1588, -0.17, 0.0, 0.8412, 2.9964] et ReLU [0.0, 0.0, 0.0, 0.0, 1.0, 3.0]. GELU produit −0,17 à son minimum près de −0,75, associe 0,8413 à 1 puisque Φ(1) = 0,8413, et correspond presque à ReLU à ±3. Les deux formes de GELU ne diffèrent qu'à la quatrième décimale.

Où GELU est utilisée#

• Modèles GPT : Le premier GPT d'OpenAI utilisait GELU en 2018, et GPT-2 et GPT-3 l'ont conservée.
• BERT : Après GPT, le modèle BERT de Google a choisi GELU plutôt que ReLU, et la plupart des encodeurs de type BERT l'utilisent encore.
• Transformers de vision : ViT applique GELU dans le MLP de chaque bloc encodeur, et de nombreux backbones de vision ont suivi, notamment ConvNeXt, qui a remplacé ReLU par GELU en modernisant ResNet.
• Transformers de détection : Dans le package Ultralytics, l'encodeur transformer AIFI de RT-DETR, le transformer de détection en temps réel de Baidu, applique GELU entre ses deux couches feed-forward.

De nombreux grands modèles de langage (LLMs) récents sont passés de GELU simple à des couches feed-forward avec portes. Gemma de Google utilise GEGLU, qui multiplie une projection activée par GELU par une seconde projection linéaire, tandis que Llama, PaLM et Qwen utilisent SwiGLU, fondée sur SiLU.

GELU et les fonctions d'activation associées#

• ReLU : max(0, x) coûte moins cher, produit des zéros exacts et présente un angle en zéro. L'article sur GELU a fait état de gains par rapport à ReLU et ELU sur toutes les tâches de vision par ordinateur, de traitement automatique du langage naturel et de reconnaissance vocale qu'il a évaluées.
• SiLU (Swish) : x · σ(x) a une forme générale similaire, avec un minimum plus prononcé d'environ −0,28. GELU est le choix habituel dans les transformers, tandis que SiLU est plus courante dans les détecteurs convolutifs.
• Leaky ReLU : Conserve une pente linéaire fixe pour les entrées négatives, alors que la partie négative de GELU forme une courbe qui revient à zéro.
• GEGLU : Cette variante avec porte ajoute une seconde projection apprise. Dans la comparaison de Noam Shazeer publiée en 2020 sur T5, les couches feed-forward GEGLU ont atteint une log-perplexité de 1,633 sur les données de validation, contre 1,679 pour GELU et 1,677 pour ReLU, à nombre de paramètres égal.