SiLU (Sigmoid Linear Unit)

Sigmoid Linear Unit, thường được gọi là SiLU, là một activation function cực kỳ hiệu quả được sử dụng trong các kiến trúc deep learning hiện đại để đưa tính phi tuyến tính vào các mạng thần kinh. Bằng cách xác định cách các neuron xử lý và truyền thông tin qua các lớp của model, SiLU cho phép các hệ thống học được các mẫu phức tạp trong dữ liệu, hoạt động như một giải pháp thay thế mượt mà và tinh vi hơn so với các hàm bước truyền thống. Thường gắn liền với thuật ngữ "Swish" từ nghiên cứu ban đầu về tìm kiếm hàm kích hoạt tự động, SiLU đã trở thành tiêu chuẩn trong các model computer vision hiệu năng cao, bao gồm kiến trúc YOLO26.

Link to this sectionCách SiLU hoạt động#

Về cốt lõi, hàm SiLU hoạt động bằng cách nhân một giá trị đầu vào với Sigmoid transformation của chính nó. Không giống như các hàm ngưỡng đơn giản đột ngột chuyển neuron giữa trạng thái "bật" và "tắt", SiLU cung cấp một đường cong mượt mà cho phép xử lý tín hiệu tinh tế hơn. Cấu trúc toán học này tạo ra các đặc tính riêng biệt mang lại lợi ích cho quá trình model training:

• Độ mượt: Đường cong này liên tục và có thể đạo hàm tại mọi điểm. Đặc tính này hỗ trợ các optimization algorithms như gradient descent bằng cách cung cấp một không gian ổn định để điều chỉnh model weights, điều này thường dẫn đến sự hội tụ nhanh hơn trong quá trình huấn luyện.
• Tính phi đơn điệu: Không giống như các đơn vị tuyến tính tiêu chuẩn, SiLU là non-monotonic, nghĩa là đầu ra của nó có thể giảm ngay cả khi đầu vào tăng trong một số phạm vi âm nhất định. Điều này cho phép mạng lưới nắm bắt được các đặc trưng phức tạp và giữ lại các giá trị âm vốn có thể bị loại bỏ, giúp ngăn ngừa vanishing gradient problem trong các mạng sâu.
• Tự điều phối (Self-Gating): SiLU hoạt động như một cổng điều phối chính nó, điều tiết lượng đầu vào đi qua dựa trên cường độ của chính đầu vào đó. Điều này mô phỏng các cơ chế điều phối được tìm thấy trong các mạng Long Short-Term Memory (LSTM) nhưng ở dạng hiệu quả về mặt tính toán, phù hợp cho các Convolutional Neural Networks (CNNs).

Link to this sectionCác ứng dụng trong thực tế#

SiLU là thành phần không thể thiếu trong nhiều giải pháp AI tiên tiến, nơi độ chính xác và hiệu suất là yếu tố tối quan trọng.

• Nhận thức trên xe tự hành: Trong lĩnh vực autonomous vehicles đòi hỏi sự an toàn cao, các hệ thống nhận thức phải nhận diện người đi bộ, biển báo giao thông và vật cản ngay lập tức. Các model sử dụng SiLU trong phần backbone có thể duy trì inference speeds cao trong khi thực hiện chính xác việc object detection dưới các điều kiện ánh sáng khác nhau, đảm bảo xe phản ứng an toàn với môi trường xung quanh.
• Chẩn đoán hình ảnh y tế: Trong medical image analysis, các mạng thần kinh cần phân biệt được sự khác biệt tinh tế về kết cấu trong các bản quét MRI hoặc CT. Đặc tính bảo toàn gradient của SiLU giúp các mạng lưới này học được các chi tiết tinh vi cần thiết cho việc tumor detection sớm, cải thiện đáng kể độ tin cậy của các công cụ chẩn đoán tự động được các bác sĩ chẩn đoán hình ảnh sử dụng.

Link to this sectionSo sánh với các khái niệm liên quan#

Để hiểu đầy đủ về SiLU, việc phân biệt nó với các hàm kích hoạt khác trong Ultralytics glossary là rất hữu ích.

• SiLU vs. ReLU (Rectified Linear Unit): ReLU nổi tiếng về tốc độ và sự đơn giản, trả về giá trị bằng không cho tất cả các đầu vào âm. Mặc dù hiệu quả, điều này có thể dẫn đến hiện tượng "dead neurons" khiến chúng ngừng học. SiLU tránh được điều này bằng cách cho phép một gradient phi tuyến tính nhỏ đi qua các giá trị âm, điều này thường dẫn đến accuracy tốt hơn cho các kiến trúc sâu được huấn luyện trên Ultralytics Platform.
• SiLU vs. GELU (Gaussian Error Linear Unit): Hai hàm này tương tự nhau về mặt hình ảnh và chức năng. GELU là tiêu chuẩn cho các Transformer models như BERT và GPT, trong khi SiLU thường được ưu tiên cho các tác vụ computer vision (CV) và các trình phát hiện đối tượng dựa trên CNN.
• SiLU vs. Sigmoid: Mặc dù SiLU sử dụng hàm Sigmoid bên trong, chúng đóng các vai trò khác nhau. Sigmoid thường được sử dụng trong lớp đầu ra cuối cùng cho phân loại nhị phân để biểu diễn xác suất, trong khi SiLU được sử dụng trong các lớp ẩn để hỗ trợ trích xuất đặc trưng.

Link to this sectionVí dụ về triển khai#

Bạn có thể hình dung cách các hàm kích hoạt khác nhau biến đổi dữ liệu bằng cách sử dụng PyTorch library. Đoạn mã sau minh họa sự khác biệt giữa ReLU (vốn loại bỏ các giá trị âm) và SiLU (cho phép luồng giá trị âm mượt mà).

import torch
import torch.nn as nn

# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Apply ReLU: Negatives become 0, positives stay unchanged
relu_out = nn.ReLU()(data)
print(f"ReLU: {relu_out}")
# Output: tensor([0., 0., 2.])

# Apply SiLU: Smooth curve, small negative value retained
silu_out = nn.SiLU()(data)
print(f"SiLU: {silu_out}")
# Output: tensor([-0.2384,  0.0000,  1.7616])

Bằng cách giữ lại thông tin trong các giá trị âm và cung cấp một gradient mượt mà, SiLU đóng vai trò then chốt trong sự thành công của các mạng thần kinh hiện đại. Việc áp dụng nó trong các kiến trúc như YOLO26 nhấn mạnh tầm quan trọng của nó trong việc đạt được hiệu suất tối tân trên nhiều tác vụ computer vision đa dạng.