SwiGLU

SwiGLU (Swish Gated Linear Unit) là một activation function nâng cao và khối kiến trúc neural network giúp cải thiện Feed-Forward Network (FFN) truyền thống được sử dụng trong học máy sâu. Bằng cách kết hợp các đặc tính mượt mà, không đơn điệu của hàm kích hoạt Swish với cơ chế Gated Linear Unit (GLU), SwiGLU cung cấp tính năng định tuyến tính năng động, phụ thuộc vào dữ liệu. Bằng cách áp dụng phép chiếu tuyến tính vào đầu vào, chuyển một nhánh qua kích hoạt Swish và nhân theo phần tử với một nhánh tuyến tính khác, mạng lưới đạt được sức mạnh biểu đạt vượt trội. Điều này cho phép các kiến trúc AI hiện đại nắm bắt các sự phụ thuộc phi tuyến tính, phức tạp hiệu quả hơn nhiều so với các lớp tĩnh tiêu chuẩn được sử dụng trong các deep learning model cũ hơn.

Cách thức hoạt động của SwiGLU#

Không giống như các mạng chuyển tiếp truyền thống chỉ đơn thuần ánh xạ đầu vào sang một chiều cao hơn, áp dụng tính phi tuyến tính cơ bản và chiếu ngược lại, SwiGLU giới thiệu cơ chế cổng nhân (multiplicative gating). Đầu vào được chia thành hai phép chiếu được tham số hóa: "gate" và "value". Nhánh cổng được kích hoạt bằng hàm SiLU / Swish, giúp bảo tồn các giá trị âm nhỏ và đảm bảo các đạo đạo hàm mượt mà, khác không ở hầu như mọi nơi. Cổng được kích hoạt này sau đó được nhân theo phần tử với nhánh giá trị. Việc lọc động này cho phép neural network kiểm soát thông minh luồng thông tin, tránh các vấn đề "nơ-ron chết" phổ biến trong các kiến trúc cũ đồng thời ổn định tín hiệu gradient trong quá trình huấn luyện model, một khái niệm được nghiên cứu rộng rãi trong attention mechanisms.

Phân biệt SwiGLU với các hàm kích hoạt khác#

Trong khi các Activation Functions tiêu chuẩn như ReLU sử dụng ngưỡng cố định để cắt các giá trị âm về 0, SwiGLU tự động điều chỉnh các kích hoạt dựa trên chính dữ liệu đầu vào. So với GELU, trọng số hóa đầu vào theo xác suất của chúng dưới phân phối Gaussian, SwiGLU tận dụng cụ thể các lớp tuyến tính được tham số hóa để học cách điều tiết thông tin. Về bản chất, SwiGLU không chỉ là một phép toán tính toán theo phần tử; nó hoạt động như một thành phần cấu trúc toàn diện thường thay thế toàn bộ cơ chế lớp ẩn bên trong một khối Transformer. Để có cái nhìn so sánh rộng rãi về các tính chất toán học, các nhà nghiên cứu thường tham khảo các activation function guides toàn diện.

Các ứng dụng trong thực tế#

Do hiệu quả tính toán và những cải tiến hiệu suất đáng kể, SwiGLU đã trở thành một thành phần nền tảng trong các hệ thống AI hiện đại.

• Large Language Models (LLMs): Các ứng dụng generative AI hàng đầu phụ thuộc rất nhiều vào SwiGLU. Ví dụ, Meta tích hợp SwiGLU vào Llama 3 architecture của mình để thay thế các lớp chuyển tiếp dựa trên GeLU truyền thống, cho phép ổn định huấn luyện tốt hơn và xử lý các cửa sổ ngữ cảnh lớn. Các kiến trúc tương tự được triển khai trong Google's pathways language model (PaLM) và được phân tích rộng rãi trên các Kaggle deep learning discussions.
• Advanced Computer Vision: Các Multi-modal models và hệ thống computer vision tiên tiến sử dụng SwiGLU bên trong các khối transformer của chúng để xử lý hiệu quả các mối quan hệ hình ảnh-văn bản phức tạp. Các framework thị giác đổi mới, bao gồm cả Ultralytics YOLO26 nguyên bản end-to-end, liên tục khám phá các khối kiến trúc được tối ưu hóa và hyperparameter tuning để tối đa hóa hiệu quả tham số cho các tác vụ như Object Detection.

Triển khai SwiGLU trong PyTorch#

Đối với các nhà phát triển xây dựng mạng tùy chỉnh hoặc điều chỉnh các vision model cho các thiết bị biên bằng cách sử dụng Ultralytics Platform, việc triển khai SwiGLU thông qua PyTorch documentation rất đơn giản. (Ngoài ra, các nhà phát triển trong các hệ sinh thái khác có thể sử dụng TensorFlow implementations). Đoạn mã Python ngắn gọn sau đây minh họa một module SwiGLU cơ bản bằng cách sử dụng hàm F.silu tích hợp sẵn của PyTorch:

import torch
import torch.nn as nn
import torch.nn.functional as F


class SwiGLU(nn.Module):
    def __init__(self, in_features, hidden_features):
        super().__init__()
        # SwiGLU requires two projections: one for the gate, one for the value
        self.gate_proj = nn.Linear(in_features, hidden_features)
        self.value_proj = nn.Linear(in_features, hidden_features)
        self.out_proj = nn.Linear(hidden_features, in_features)

    def forward(self, x):
        # Element-wise multiplication of the SiLU-activated gate and the linear value
        hidden = F.silu(self.gate_proj(x)) * self.value_proj(x)
        return self.out_proj(hidden)


# Example usage with a dummy input tensor
module = SwiGLU(in_features=512, hidden_features=1365)
output = module(torch.randn(1, 512))

Phương pháp tiếp cận cấu trúc này đối với các khối kích hoạt đảm bảo rằng các kiến trúc neural tiên tiến trích xuất các biểu diễn phong phú hơn từ training data phức tạp, cho dù được áp dụng cho Natural Language Processing (NLP) hay phân tích không gian thời gian thực. Để hiểu sâu hơn về việc xây dựng và tăng tốc các model hiệu quả, các nhà phát triển thường tham khảo nghiên cứu nền tảng về original GLU variants on arXiv, các Meta's open-source repositories, và PyTorch's optimization documentation để tối đa hóa thông lượng phần cứng.