SiLU (Sigmoid Linear Unit)

Đơn vị tuyến tính Sigmoid, thường được gọi là SiLU, là một hàm kích hoạt có hiệu quả cao được sử dụng trong các kiến trúc deep learning hiện đại để đưa tính phi tuyến vào mạng nơ-ron. Bằng cách xác định cách các nơ-ron xử lý và truyền thông tin qua các lớp của model, SiLU giúp hệ thống học các mẫu phức tạp trong dữ liệu, hoạt động như một giải pháp thay thế mượt mà và tinh vi hơn cho các hàm bước truyền thống. Thường gắn liền với thuật ngữ "Swish" từ nghiên cứu ban đầu về tìm kiếm hàm kích hoạt tự động, SiLU đã trở thành một tiêu chuẩn trong các model thị giác máy tính hiệu năng cao, bao gồm kiến trúc YOLO26 hiện đại hàng đầu.

Cách SiLU hoạt động#

Về cốt lõi, hàm SiLU hoạt động bằng cách nhân một giá trị đầu vào với phép biến đổi Sigmoid của chính nó. Không giống các hàm ngưỡng đơn giản, vốn chuyển một nơ-ron đột ngột giữa trạng thái "bật" và "tắt", SiLU tạo ra một đường cong mượt mà, cho phép xử lý tín hiệu tinh tế hơn. Cấu trúc toán học này tạo ra các đặc tính riêng biệt có lợi cho quá trình huấn luyện model:

• Độ mượt: Đường cong liên tục và khả vi ở mọi điểm. Đặc tính này hỗ trợ các thuật toán tối ưu hóa như gradient descent bằng cách cung cấp một không gian nhất quán để điều chỉnh trọng số model, thường dẫn đến hội tụ nhanh hơn trong quá trình huấn luyện.
• Tính không đơn điệu: Không giống các đơn vị tuyến tính tiêu chuẩn, SiLU là không đơn điệu, nghĩa là đầu ra của nó có thể giảm ngay cả khi đầu vào tăng trong một số khoảng giá trị âm. Điều này cho phép mạng nơ-ron nắm bắt các đặc trưng phức tạp và giữ lại các giá trị âm vốn có thể bị loại bỏ, giúp ngăn vấn đề tiêu biến gradient trong các mạng sâu.
• Tự điều tiết: SiLU hoạt động như một cổng của chính nó, điều chỉnh lượng đầu vào đi qua dựa trên độ lớn của chính đầu vào đó. Cơ chế này mô phỏng các cơ chế cổng trong các mạng Bộ nhớ dài-ngắn hạn (LSTM) nhưng dưới dạng tiết kiệm tài nguyên tính toán, phù hợp với các Mạng nơ-ron tích chập (CNN).

Các ứng dụng trong thực tế#

SiLU là thành phần thiết yếu trong nhiều giải pháp AI tiên tiến, nơi độ chính xác và hiệu quả là yếu tố then chốt.

• Nhận thức cho xe tự hành: Trong lĩnh vực xe tự hành có yêu cầu an toàn nghiêm ngặt, các hệ thống nhận thức phải lập tức xác định người đi bộ, biển báo giao thông và chướng ngại vật. Các model sử dụng SiLU trong backbone có thể duy trì tốc độ suy luận cao đồng thời thực hiện phát hiện đối tượng chính xác trong các điều kiện ánh sáng khác nhau, đảm bảo xe phản ứng an toàn với môi trường xung quanh.
• Chẩn đoán hình ảnh y tế: Trong phân tích hình ảnh y tế, mạng nơ-ron cần phân biệt những khác biệt tinh tế về kết cấu trong ảnh chụp MRI hoặc CT. Khả năng bảo toàn gradient của SiLU giúp các mạng này học những chi tiết ở mức độ tinh vi cần thiết cho phát hiện khối u sớm, cải thiện đáng kể độ tin cậy của các công cụ chẩn đoán tự động được bác sĩ X-quang sử dụng.

So sánh với các khái niệm liên quan#

Để hiểu đầy đủ giá trị của SiLU, nên phân biệt nó với các hàm kích hoạt khác trong bảng thuật ngữ Ultralytics.

• SiLU so với ReLU (Đơn vị tuyến tính chỉnh lưu): ReLU nổi tiếng nhờ tốc độ và tính đơn giản, cho đầu ra bằng 0 đối với mọi đầu vào âm. Mặc dù hiệu quả, điều này có thể dẫn đến các "nơ-ron chết" và khiến chúng ngừng học. SiLU tránh vấn đề này bằng cách cho phép một gradient phi tuyến nhỏ truyền qua các giá trị âm, thường mang lại độ chính xác tốt hơn cho các kiến trúc sâu được huấn luyện trên Ultralytics Platform.
• SiLU so với GELU (Đơn vị tuyến tính sai số Gaussian): Hai hàm này tương tự nhau cả về hình thức lẫn chức năng. GELU là tiêu chuẩn cho các model Transformer như BERT và GPT, trong khi SiLU thường được ưu tiên cho các tác vụ thị giác máy tính (CV) và các bộ phát hiện đối tượng dựa trên CNN.
• SiLU so với Sigmoid: Mặc dù SiLU sử dụng hàm Sigmoid bên trong, chúng đảm nhiệm các vai trò khác nhau. Sigmoid thường được sử dụng ở lớp đầu ra cuối cùng cho bài toán phân loại nhị phân để biểu diễn xác suất, trong khi SiLU được sử dụng ở các lớp ẩn để hỗ trợ trích xuất đặc trưng.

Ví dụ triển khai#

Bạn có thể trực quan hóa cách các hàm kích hoạt khác nhau biến đổi dữ liệu bằng thư viện PyTorch. Đoạn mã sau minh họa sự khác biệt giữa ReLU (triệt tiêu các giá trị âm bằng cách đưa chúng về 0) và SiLU (cho phép dòng giá trị âm biến đổi mượt mà).

import torch
import torch.nn as nn

# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Apply ReLU: Negatives become 0, positives stay unchanged
relu_out = nn.ReLU()(data)
print(f"ReLU: {relu_out}")
# Output: tensor([0., 0., 2.])

# Apply SiLU: Smooth curve, small negative value retained
silu_out = nn.SiLU()(data)
print(f"SiLU: {silu_out}")
# Output: tensor([-0.2384,  0.0000,  1.7616])

Bằng cách giữ lại thông tin trong các giá trị âm và cung cấp gradient mượt mà, SiLU đóng vai trò then chốt trong thành công của các mạng nơ-ron hiện đại. Việc được ứng dụng trong các kiến trúc như YOLO26 nhấn mạnh tầm quan trọng của SiLU trong việc đạt hiệu năng hiện đại hàng đầu trên nhiều tác vụ thị giác máy tính khác nhau.