GELU (Gaussian Error Linear Unit)

Gaussian Error Linear Unit (GELU) là một activation function tiên tiến đóng vai trò then chốt trong hiệu suất của các hệ thống artificial intelligence (AI) hiện đại, đặc biệt là những hệ thống dựa trên kiến trúc Transformer. Không giống như các hàm truyền thống áp dụng ngưỡng cố định và xác định cho đầu vào của neuron, GELU giới thiệu một khía cạnh xác suất lấy cảm hứng từ các thuộc tính của Gaussian distribution. Bằng cách cân nhắc các đầu vào theo độ lớn của chúng thay vì chỉ đơn giản là kích hoạt chúng, GELU cung cấp tính phi tuyến tính mượt mà hơn giúp hỗ trợ việc tối ưu hóa các mô hình deep learning (DL). Đặc điểm độc đáo này cho phép các mạng mô tả các mẫu dữ liệu phức tạp hiệu quả hơn, góp phần quan trọng vào sự thành công của các foundation models quy mô lớn.

Cách thức hoạt động của GELU#

Trọng tâm của bất kỳ neural network nào, các activation function quyết định liệu một neuron có "kích hoạt" hay không dựa trên tín hiệu đầu vào của nó. Các hàm cũ hơn như Rectified Linear Unit (ReLU) hoạt động giống như một công tắc, xuất ra giá trị không cho bất kỳ đầu vào âm nào và chính giá trị đầu vào đó cho các giá trị dương. Mặc dù hiệu quả, điểm cắt đột ngột này có thể cản trở động lực huấn luyện.

GELU cải thiện điều này bằng cách chia tỷ lệ đầu vào theo hàm phân phối tích lũy của phân phối Gaussian. Theo trực giác, điều này có nghĩa là khi giá trị đầu vào giảm, xác suất neuron bị loại bỏ sẽ tăng lên, nhưng quá trình này diễn ra dần dần chứ không phải đột ngột. Độ cong này tạo ra một hàm mượt mà, không đơn điệu có khả năng vi phân tại mọi điểm. Sự mượt mà này tạo điều kiện thuận lợi cho việc backpropagation gradient tốt hơn, giúp giảm thiểu các vấn đề như vanishing gradient problem có thể làm đình trệ quá trình huấn luyện của các mạng sâu.

Các ứng dụng trong thực tế#

Quá trình tối ưu hóa mượt mà hơn do GELU cung cấp đã biến nó thành lựa chọn mặc định cho một số ứng dụng tiên tiến nhất trong machine learning (ML).

• Large Language Models (LLMs): GELU trở nên nổi tiếng với sự ra mắt của BERT (Bidirectional Encoder Representations from Transformers) bởi các nhà nghiên cứu của Google. Hiện nay, nó là một thành phần tiêu chuẩn trong GPT series và các mô hình văn bản sinh khác. Trong các tác vụ như text summarization hoặc phân tích cảm xúc, GELU giúp mô hình nắm bắt các sắc thái tinh tế trong biểu diễn ngôn ngữ mà các hàm kích hoạt cứng nhắc có thể bỏ sót.
• Vision Transformers (ViT): Trong lĩnh vực computer vision, các mô hình thích ứng kiến trúc Transformer cho image classification phụ thuộc nhiều vào GELU. Bằng cách xử lý hình ảnh dưới dạng chuỗi các bản vá (patches), các mô hình này sử dụng GELU để duy trì thông tin đặc trưng phong phú xuyên suốt các lớp sâu, cho phép đạt độ cao trên các benchmark như ImageNet.

So sánh với các thuật ngữ liên quan#

Việc hiểu về GELU thường đòi hỏi phải phân biệt nó với các activation function phổ biến khác được tìm thấy trong Ultralytics glossary.

• GELU và ReLU: ReLU có tính toán đơn giản hơn và tạo ra tính thưa (các số không chính xác), có thể rất hiệu quả. Tuy nhiên, "góc nhọn" tại điểm không có thể làm chậm quá trình hội tụ. GELU cung cấp một phép xấp xỉ mượt mà thường mang lại độ chính xác cao hơn trong các tác vụ phức tạp, đổi lại là chi phí tính toán cao hơn một chút.
• GELU và SiLU (Swish): Sigmoid Linear Unit (SiLU) có cấu trúc rất giống với GELU và có chung các thuộc tính mượt mà, không đơn điệu. Trong khi GELU chiếm ưu thế trong Natural Language Processing (NLP), SiLU thường được ưu tiên trong các bộ phát hiện đối tượng được tối ưu hóa cao như YOLO26 nhờ hiệu quả trên phần cứng biên và hiệu suất tuyệt vời trong các tác vụ phát hiện.
• GELU và Leaky ReLU: Leaky ReLU cố gắng khắc phục sự cố "dying neuron" của ReLU tiêu chuẩn bằng cách cho phép một độ dốc tuyến tính nhỏ, hằng số cho các đầu vào âm. Ngược lại, GELU phi tuyến tính đối với các giá trị âm, cung cấp phản hồi phức tạp và thích ứng hơn, thường dẫn đến việc học biểu diễn tốt hơn trong các mạng rất sâu.

Ví dụ về triển khai#

Việc triển khai GELU rất đơn giản bằng cách sử dụng các thư viện deep learning hiện đại như PyTorch. Ví dụ sau minh họa cách áp dụng hàm này cho một tensor dữ liệu đầu vào.

import torch
import torch.nn as nn

# Initialize the GELU activation function
gelu_activation = nn.GELU()

# Create sample input data including negative and positive values
input_data = torch.tensor([-3.0, -1.0, 0.0, 1.0, 3.0])

# Apply GELU to the inputs
output = gelu_activation(input_data)

# Print results to see the smoothing effect on negative values
print(f"Input: {input_data}")
print(f"Output: {output}")

Đối với các nhà phát triển muốn tận dụng các activation function nâng cao này trong các dự án computer vision của riêng họ, Ultralytics Platform đơn giản hóa toàn bộ quy trình làm việc. Nền tảng này cung cấp một giao diện thống nhất để gán nhãn dữ liệu, huấn luyện các mô hình sử dụng các kiến trúc như YOLO26 (tận dụng các hàm kích hoạt được tối ưu hóa như SiLU) và triển khai chúng hiệu quả lên đám mây hoặc các thiết bị biên.