SiLU (Sigmoid Linear Unit)

Sigmoid Linear Unit (SiLU) là một hàm kích hoạt được định nghĩa là SiLU(x) = x · σ(x), trong đó σ là hàm sigmoid. Hàm này truyền qua gần như nguyên vẹn các đầu vào dương lớn, ánh xạ các đầu vào âm lớn về gần 0 và chuyển tiếp mượt giữa hai vùng, đạt cực tiểu khoảng −0.278 tại x ≈ −1.278. SiLU là cùng một hàm với Swish khi β = 1, và hai tên gọi được dùng thay thế cho nhau. Đây là hàm mặc định phổ biến trong các model thị giác tích chập; bên trong khối SwiGLU, hàm này cũng điều khiển các lớp feed-forward của nhiều mô hình ngôn ngữ lớn (LLM).

Định nghĩa và tính chất#

SiLU nhân mỗi đầu vào với một cổng σ(x) có giá trị từ 0 đến 1 và được tính từ chính đầu vào đó, vì vậy hàm được gọi là tự điều tiết (self-gated). Đạo hàm của hàm là σ(x) · (1 + x · (1 − σ(x))); kết hợp lại, hai biểu thức này tạo nên bốn tính chất khiến hành vi huấn luyện của SiLU khác biệt so với ReLU:

• Mượt liên tục: Đường cong và đạo hàm của nó liên tục, không có điểm gấp khúc tại 0, vì vậy thay đổi nhỏ về trọng số chỉ tạo ra thay đổi nhỏ ở đầu ra, phù hợp với gradient descent.
• Gradient với đầu vào âm: Một unit có đầu vào âm vẫn nhận được gradient nhỏ nên tiếp tục học. Các unit ReLU có đầu vào luôn âm không nhận được gradient nào và có thể ngừng học vĩnh viễn; hiện tượng này gọi là ReLU chết.
• Không đơn điệu: Đầu ra giảm nhẹ khi x tăng từ các giá trị âm lớn đến khoảng −1.28, rồi tăng trở lại; do đó hàm không đơn điệu.
• Bị chặn dưới, không bị chặn trên: Đầu ra không bao giờ thấp hơn khoảng −0.278, còn các đầu vào dương được truyền qua mà không bão hòa như ReLU, giúp tránh hiện tượng vanishing gradient của sigmoid và tanh trong các mạng sâu.

Đoạn mã PyTorch dưới đây tính SiLU cùng gradient của SiLU và ReLU tại năm điểm.

import torch
import torch.nn.functional as F

x = torch.tensor([-4.0, -1.28, 0.0, 1.0, 4.0], requires_grad=True)

# SiLU(x) = x * sigmoid(x), so sánh với ReLU trên cùng các đầu vào
silu = F.silu(x)
relu = F.relu(x)

# Gradient của từng hàm kích hoạt theo đầu vào
silu_grad = torch.autograd.grad(silu.sum(), x)[0]
relu_grad = torch.autograd.grad(relu.sum(), x)[0]

print("SiLU output:  ", [round(v, 4) for v in silu.tolist()])
print("SiLU gradient:", [round(v, 4) for v in silu_grad.tolist()])
print("ReLU gradient:", relu_grad.tolist())

Kết quả in ra giá trị SiLU [-0.0719, -0.2785, 0.0, 0.7311, 3.9281], gradient SiLU [-0.0527, -0.0003, 0.5, 0.9277, 1.0527] và gradient ReLU [0.0, 0.0, 0.0, 1.0, 1.0]. Tại −4, ReLU cho đầu ra 0 và không truyền gradient, còn SiLU vẫn truyền −0.0527. Tại −1.28, SiLU đạt cực tiểu −0.2785 với gradient gần như chính xác bằng 0; tại 4, gradient của hàm hơi lớn hơn 1.

Nguồn gốc tên gọi#

Hendrycks và Gimpel đặt tên x · σ(x) là Sigmoid Linear Unit trong bài báo năm 2016 giới thiệu GELU, trong đó hàm này xuất hiện như một biến thể dựa trên sigmoid của GELU, cho hiệu năng kém hơn GELU nhưng thường tốt hơn ReLU và ELU. Sau đó, Elfwing, Uchibe và Doya sử dụng SiLU để xấp xỉ hàm cho mạng nơ-ron trong học tăng cường vào năm 2017. Cũng trong năm đó, các nhà nghiên cứu Google phát hiện lại x · σ(βx) thông qua một quy trình tìm kiếm tự động các hàm kích hoạt, đặt tên hàm là Swish và báo cáo rằng thay ReLU bằng Swish giúp tăng độ chính xác top-1 trên ImageNet thêm 0,9% với Mobile NASNet-A và 0,6% với Inception-ResNet-v2. PyTorch bổ sung nn.SiLU trong phiên bản 1.7 với tên gọi trước đó.

SiLU và các hàm kích hoạt khác#

• ReLU: max(0, x) có chi phí tính toán thấp hơn, tạo ra các giá trị 0 chính xác và có gradient không đổi bằng 1 với đầu vào dương. SiLU bổ sung một phép sigmoid cho mỗi phần tử để đổi lấy tính trơn và gradient ở phía âm.
• GELU: x · Φ(x), trong đó Φ là hàm phân phối tích lũy chuẩn tắc. Hai đường cong có cùng hình dạng, và SiLU có hệ số x · σ(1.702x) xấp xỉ GELU với sai số không quá khoảng 0.02 ở mọi điểm. GELU thường được dùng trong các transformer như BERT và ViT, còn SiLU phổ biến hơn trong detector dựa trên CNN.
• Sigmoid: Chỉ riêng σ(x) sẽ ép đầu vào vào khoảng từ 0 đến 1 và bão hòa ở cả hai đầu, vì vậy hàm này được dùng làm lớp đầu ra để tính xác suất. SiLU chỉ dùng sigmoid làm cổng.
• Hard-Swish: x · ReLU6(x + 3) / 6 là phép xấp xỉ SiLU được giới thiệu cùng MobileNetV3; hàm này thay cổng sigmoid bằng cổng tuyến tính từng đoạn, tránh phép tính hàm mũ trên phần cứng di động.
• SwiGLU: Một linear unit có cổng, lấy SiLU(xW) nhân theo từng phần tử với phép chiếu thứ hai xV. Hàm này tạo thành khối feed-forward của LLaMA và nhiều LLM khác.

SiLU được sử dụng ở đâu#

SiLU, với tên gọi Swish, là hàm kích hoạt được dùng xuyên suốt EfficientNet và phổ biến trong detector đối tượng thời gian thực hiện đại. Các model Ultralytics YOLO đã sử dụng SiLU từ khi YOLOv5 v4.0 thay LeakyReLU và Hardswish bằng hàm này vào tháng 1 năm 2021; trong YOLO26, mỗi khối Conv gồm một tích chập, batch normalization và SiLU.