GELU (Gaussian Error Linear Unit)

Đơn vị tuyến tính lỗi Gauss (GELU) là một hàm kích hoạt được định nghĩa là GELU(x) = x · Φ(x), trong đó Φ là hàm phân phối tích lũy của phân phối chuẩn tắc. Hàm này nhân mỗi đầu vào với xác suất một biến ngẫu nhiên chuẩn tắc có giá trị nhỏ hơn đầu vào đó, vì vậy đầu vào dương lớn gần như được giữ nguyên, đầu vào âm lớn tiến gần về 0, còn đầu vào gần 0 được nhân với hệ số xấp xỉ một nửa. Dan Hendrycks và Kevin Gimpel giới thiệu GELU trong bài báo năm 2016 Đơn vị tuyến tính lỗi Gauss (GELU). GELU trở thành hàm kích hoạt tiêu chuẩn của các model transformer như BERT, GPT-2, GPT-3 và vision Transformer (ViT), nơi GELU nằm giữa hai lớp tuyến tính trong mỗi khối feed-forward.

GELU hoạt động như thế nào#

Hendrycks và Gimpel suy ra GELU từ regularization ngẫu nhiên. Hãy hình dung việc nhân mỗi đầu vào x với một mask ngẫu nhiên giữ lại giá trị đó với xác suất Φ(x) và chuyển thành 0 trong các trường hợp còn lại, tương tự dropout nhưng xác suất giữ lại tăng theo đầu vào. GELU là giá trị kỳ vọng của phép toán đó, Φ(x) · x, vì vậy hàm này điều tiết đầu vào một cách trơn theo giá trị, trong khi ReLU điều tiết đột ngột theo dấu.

Đường cong thu được có ba đặc tính quan trọng đối với quá trình huấn luyện:

• Trơn trên toàn miền: GELU và đạo hàm của GELU liên tục, không có điểm gấp khúc tại 0, vì vậy những thay đổi nhỏ của trọng số tạo ra thay đổi nhỏ ở đầu ra trong quá trình lan truyền ngược.
• Không đơn điệu: Với đầu vào âm, đầu ra ban đầu giảm rồi tăng trở lại về phía 0, đạt giá trị nhỏ nhất khoảng −0,17 tại x ≈ −0,75.
• Gradient với đầu vào âm: Các unit có đầu vào âm ở mức vừa phải vẫn nhận được gradient nên tiếp tục học, trong khi unit ReLU sẽ ngừng học.

Vì Φ liên quan đến hàm lỗi, có hai phép xấp xỉ phổ biến. Dạng tanh, 0.5x(1 + tanh(√(2/π)(x + 0.044715x³))), sai khác không quá khoảng 0.0005 so với GELU chính xác và được dùng trong GPT-2. Dạng sigmoid, x · σ(1.702x), sai khác không quá khoảng 0.02 và là QuickGELU được dùng trong CLIP của OpenAI. nn.GELU của PyTorch mặc định tính dạng chính xác và tính dạng tanh với approximate="tanh":

import torch
from torch import nn

x = torch.tensor([-3.0, -1.0, -0.75, 0.0, 1.0, 3.0])

# Exact GELU: x * Phi(x), where Phi is the standard normal CDF
exact = nn.GELU()(x)

# Tanh approximation, as used in GPT-2
approx = nn.GELU(approximate="tanh")(x)

print(f"GELU exact: {[round(v, 4) for v in exact.tolist()]}")
print(f"GELU tanh:  {[round(v, 4) for v in approx.tolist()]}")
print(f"ReLU:       {nn.ReLU()(x).tolist()}")

GELU chính xác in ra [-0.004, -0.1587, -0.17, 0.0, 0.8413, 2.996], dạng tanh in ra [-0.0036, -0.1588, -0.17, 0.0, 0.8412, 2.9964] và ReLU in ra [0.0, 0.0, 0.0, 0.0, 1.0, 3.0]. GELU cho đầu ra −0,17 tại điểm cực tiểu gần −0,75, ánh xạ 1 thành 0,8413 vì Φ(1) = 0,8413, và gần như khớp với ReLU tại ±3. Hai dạng GELU chỉ khác nhau ở chữ số thập phân thứ tư.

GELU được sử dụng ở đâu#

• Model GPT: GPT đầu tiên của OpenAI dùng GELU vào năm 2018; GPT-2 và GPT-3 cũng tiếp tục sử dụng hàm này.
• BERT: BERT của Google chọn GELU thay cho ReLU theo sau GPT; phần lớn encoder kiểu BERT vẫn sử dụng GELU.
• Vision Transformer: ViT áp dụng GELU trong MLP của mỗi khối encoder; nhiều backbone thị giác cũng làm theo, trong đó ConvNeXt thay ReLU bằng GELU khi hiện đại hóa ResNet.
• Transformer phát hiện: Trong package Ultralytics, encoder transformer AIFI của RT-DETR—Transformer phát hiện thời gian thực của Baidu—áp dụng GELU giữa hai lớp feed-forward.

Nhiều model ngôn ngữ lớn (LLM) gần đây chuyển từ GELU thuần sang các lớp feed-forward có cổng. Gemma của Google dùng GEGLU, nhân một phép chiếu được kích hoạt bằng GELU với phép chiếu tuyến tính thứ hai; Llama, PaLM và Qwen dùng SwiGLU dựa trên SiLU.

GELU và các hàm kích hoạt liên quan#

• ReLU: max(0, x) có chi phí thấp hơn, cho đầu ra bằng chính xác 0 và có điểm gấp khúc tại 0. Bài báo về GELU ghi nhận kết quả tốt hơn ReLU và ELU trên mọi tác vụ thị giác máy tính, xử lý ngôn ngữ tự nhiên và tiếng nói được thử nghiệm.
• SiLU (Swish): x · σ(x) có hình dạng tổng thể tương tự nhưng đạt giá trị cực tiểu sâu hơn, khoảng −0,28. GELU thường được chọn cho Transformer, còn SiLU phổ biến hơn trong các bộ phát hiện tích chập.
• Leaky ReLU: Duy trì một độ dốc tuyến tính cố định cho đầu vào âm; phía âm của GELU là một đường cong trở về 0.
• GEGLU: Biến thể có cổng này bổ sung một phép chiếu thứ hai được học. Trong phép so sánh trên T5 của Noam Shazeer năm 2020, các lớp feed-forward GEGLU đạt log-perplexity trên tập giữ lại là 1,633, so với 1,679 của GELU và 1,677 của ReLU ở cùng số lượng tham số.