Activation Function

Hàm kích hoạt là hàm mà một neuron trong mạng nơ-ron (NN) áp dụng lên tổng có trọng số của các đầu vào để tạo đầu ra. Vai trò thiết yếu của hàm này là bổ sung tính phi tuyến: nếu không có hàm kích hoạt, mọi chồng lớp sẽ rút gọn thành một phép biến đổi tuyến tính duy nhất và việc tăng độ sâu không mang lại lợi ích. Nhờ đó, mạng có thể biểu diễn các ranh giới quyết định cong, từ nét viết của chữ số viết tay đến đường viền người đi bộ trong khung hình camera. Hàm kích hoạt đảm nhiệm hai vai trò. Trong các lớp ẩn, những hàm như ReLU, SiLU và GELU giúp mạng xây dựng đặc trưng. Trong lớp đầu ra, các hàm như sigmoid và softmax chuyển điểm số thô thành xác suất.

Vì sao mạng cần tính phi tuyến#

Một lớp không có hàm kích hoạt tính Wx + b. Hai lớp như vậy tạo thành W₂(W₁x + b₁) + b₂, bằng (W₂W₁)x + (W₂b₁ + b₂), tức một lớp tuyến tính duy nhất khác. Hàm kích hoạt đặt giữa các lớp phá vỡ phép rút gọn này; định lý xấp xỉ phổ quát chứng minh rằng một lớp ẩn có đủ đơn vị phi tuyến có thể xấp xỉ mọi hàm liên tục trên một miền bị chặn.

Đạo hàm của hàm kích hoạt quan trọng không kém hình dạng của nó, vì backpropagation nhân các đạo hàm này qua từng lớp. Đạo hàm của sigmoid không bao giờ vượt quá 0.25, còn đạo hàm tanh tiến về 0 khi đầu vào lớn; vì vậy, gradient co lại khi truyền qua nhiều lớp bão hòa, gây ra vấn đề vanishing gradient. Đạo hàm của ReLU chính xác bằng 1 với mọi đầu vào dương, đây là một lý do chính giúp việc huấn luyện mạng rất sâu trở nên khả thi.

Các hàm kích hoạt thường gặp#

• ReLU: max(0, x). Tính toán nhẹ, có gradient bằng 1 với đầu vào dương và bằng 0 chính xác với đầu vào âm. Đây là hàm kích hoạt ẩn mặc định của CNN kể từ AlexNet năm 2012, nhưng các unit chỉ nhận đầu vào âm sẽ ngừng học.
• Leaky ReLU: Nhân đầu vào âm với độ dốc nhỏ như 0.01 hoặc 0.1, nhờ đó mọi unit vẫn duy trì gradient.
• SiLU (Swish): x · σ(x), một đường cong mượt giảm nhẹ xuống dưới 0 với đầu vào âm. Hàm này phổ biến trong CNN hiệu quả và bộ phát hiện thời gian thực.
• GELU: x · Φ(x), trong đó Φ là hàm phân phối tích lũy chuẩn. Đây là hàm kích hoạt tiêu chuẩn trong BERT, GPT-2 và các vision Transformer.
• Tanh: Nén đầu vào vào khoảng −1 đến 1 quanh tâm bằng 0. Hàm này định hình trạng thái ẩn của các mạng hồi quy như GRU.
• Sigmoid: Nén đầu vào vào khoảng 0 đến 1, phù hợp với đầu ra nhị phân, đa nhãn và các cổng của tế bào hồi quy.
• Softmax: Chuyển toàn bộ vector điểm số thành phân phối xác suất có tổng bằng 1, dùng cho phân loại đơn nhãn và trọng số attention.
• SwiGLU: Lớp có cổng, nhân phép chiếu được kích hoạt bằng SiLU với một phép chiếu thứ hai có tham số học được. Hàm này thay thế hàm kích hoạt thông thường trong các lớp feed-forward của nhiều large language model (LLM) gần đây.

PyTorch cung cấp từng hàm theo từng phần tử dưới dạng module trong torch.nn, giúp dễ dàng so sánh chúng trên cùng đầu vào:

import torch
from torch import nn

x = torch.tensor([-3.0, -1.0, 0.0, 1.0, 3.0])

# Common activations, each applied element-wise to the same inputs
activations = {
    "ReLU": nn.ReLU(),
    "Leaky ReLU": nn.LeakyReLU(0.1),
    "SiLU": nn.SiLU(),
    "GELU": nn.GELU(),
    "Tanh": nn.Tanh(),
    "Sigmoid": nn.Sigmoid(),
}
for name, act in activations.items():
    print(f"{name:>10}: {[round(v, 3) for v in act(x).tolist()]}")

Với các đầu vào −3, −1, 0, 1 và 3, ReLU in ra [0.0, 0.0, 0.0, 1.0, 3.0] còn Leaky ReLU in ra [-0.3, -0.1, 0.0, 1.0, 3.0]. SiLU cho kết quả [-0.142, -0.269, 0.0, 0.731, 2.858] và GELU cho [-0.004, -0.159, 0.0, 0.841, 2.996]: cả hai đều cho phép giá trị âm nhỏ đi qua và tiến gần ReLU khi đầu vào lớn. Tanh cho kết quả [-0.995, -0.762, 0.0, 0.762, 0.995] còn sigmoid cho [0.047, 0.269, 0.5, 0.731, 0.953]; cả hai đều phẳng dần tại ±3, nơi gradient đã nhỏ.

Chọn hàm kích hoạt#

Các lớp ẩn thường tuân theo quy ước của họ kiến trúc, còn lớp đầu ra phụ thuộc vào tác vụ. Softmax phù hợp với tác vụ mà mỗi đầu vào thuộc chính xác một lớp, sigmoid phù hợp với các nhãn có thể đồng xuất hiện, còn đầu ra hồi quy không dùng hàm kích hoạt để có thể nhận mọi giá trị. Phần cứng cũng có thể giới hạn lựa chọn: một số bộ tăng tốc biên chỉ chạy trực tiếp các hàm đơn giản như ReLU, Leaky ReLU và Hard-Swish. YOLO26 áp dụng SiLU sau tích chập và batch normalization trong mọi khối Conv, chấm điểm riêng từng lớp phát hiện bằng sigmoid độc lập để điểm lớp của một box không cần có tổng bằng 1, đồng thời áp dụng softmax trên 1.000 lớp ImageNet trong các model phân loại của mình.

Hàm kích hoạt và các thuật ngữ liên quan#

• Hàm loss: Hàm kích hoạt định hình đầu ra của từng neuron trong lượt truyền xuôi, còn loss đánh giá dự đoán cuối cùng của mạng so với nhãn. Để đảm bảo ổn định số, các thư viện thường gộp hàm kích hoạt cuối vào loss, như CrossEntropyLoss thực hiện với softmax.
• Batch normalization: Batch normalization hoặc layer normalization chuẩn hóa lại activation về một khoảng ổn định bằng thống kê và các tham số học được. Lớp này nằm cạnh hàm kích hoạt, thường ngay trước hàm kích hoạt, và bản thân nó không thêm tính phi tuyến.
• Activation: Ở dạng danh từ số nhiều, activation là các giá trị đầu ra do một lớp tạo ra. "Tính phi tuyến" và thuật ngữ cũ hơn là "hàm truyền" đồng nghĩa với hàm kích hoạt. Trong quá trình huấn luyện, framework giữ activation của mọi lớp trong bộ nhớ để thực hiện lượt truyền ngược; vì vậy, gradient checkpointing tiết kiệm bộ nhớ bằng cách loại bỏ một số activation rồi tính lại chúng trong quá trình backpropagation.