Linear Attention

Linear attention là một kỹ thuật tối ưu hóa nền tảng được thiết kế để cải thiện đáng kể hiệu quả tính toán của các mô hình học sâu (DL) hiện đại. Trong các kiến trúc Transformer truyền thống, các cơ chế attention tiêu chuẩn xử lý các chuỗi bằng cách so sánh từng token với tất cả các token khác. Điều này tạo ra một nút thắt cổ chai nghiêm trọng về bộ nhớ và tính toán được gọi là độ phức tạp thời gian bậc hai, hay O(N bình phương), trong đó N là độ dài chuỗi. Linear attention thay đổi phép toán nền tảng này để nó mở rộng theo cách tuyến tính, hay O(N). Bước đột phá này cho phép các mô hình trong trí tuệ nhân tạo (AI) xử lý các tập dữ liệu khổng lồ, chẳng hạn như toàn bộ sách hoặc hình ảnh gigapixel, mà không làm cạn kiệt bộ nhớ phần cứng.

Link to this sectionCách thức hoạt động của Linear Attention#

Trong attention tiêu chuẩn, các mạng thần kinh xử lý ba vector chính: Queries (Q), Keys (K), và Values (V). Công thức cổ điển tính toán độ tương đồng giữa tất cả Queries và Keys bằng hàm softmax, tạo ra một ma trận N x N khổng lồ trước khi nhân nó với Values.

Linear attention bỏ qua việc tạo ra ma trận trung gian khổng lồ này. Thay vào đó, nó dựa vào tính chất kết hợp của phép nhân ma trận. Bằng cách loại bỏ hoặc xấp xỉ lớp softmax sử dụng các hàm kernel chuyên dụng, mô hình nhóm các phép nhân theo cách khác. Nó nhân Keys và Values với nhau trước để tạo ra một ma trận ngữ cảnh có kích thước cố định, và sau đó nhân Queries với ma trận nén mới này. Việc sắp xếp lại đơn giản này làm giảm đáng kể độ phức tạp tính toán, giải phóng phần cứng như GPU (Graphics Processing Unit) để xử lý các đầu vào dài hơn nhiều một cách tự nhiên.

Link to this sectionNhững phát triển gần đây và DeltaNet#

Cộng đồng nghiên cứu AI, dẫn đầu bởi các tổ chức như Đại học Stanford và những gã khổng lồ công nghệ như Google DeepMind, không ngừng đổi mới các công thức tuyến tính để tăng độ chính xác. Trong năm 2024 và 2025, các nhà nghiên cứu đã giới thiệu DeltaNet, một kiến trúc mới thay thế các bản cập nhật cộng dồn tiêu chuẩn trong các transformer tuyến tính bằng "Quy tắc Delta". Điều này cho phép mạng cập nhật bộ nhớ nội bộ của nó dựa trên những gì đã được lưu trữ, thay vì tính toán các giá trị tuyệt đối từ đầu.

Các tiến bộ tiếp theo, chẳng hạn như kiến trúc Gated DeltaNet, giới thiệu các tỷ lệ phân rã theo kênh, cho phép các mô hình quên hoặc giữ lại các tính năng chính cụ thể theo thời gian một cách có chọn lọc. Những cải tiến hiệu quả về phần cứng này thu hẹp khoảng cách hiệu suất giữa các transformer tuyến tính và attention softmax truyền thống, đặc biệt là trong các tác vụ truy xuất theo ngữ cảnh phức tạp.

Link to this sectionSo sánh Linear Attention với các cơ chế Attention khác#

Việc hiểu rõ kỹ thuật này khác biệt như thế nào so với các khái niệm liên quan trong nhóm cơ chế attention rộng hơn là rất quan trọng đối với các kỹ sư AI đang tối ưu hóa mạng của họ:

• Self-Attention: Cơ chế nền tảng sử dụng ma trận softmax toàn bộ với chi phí tính toán đắt đỏ O(N bình phương) để nắm bắt ngữ cảnh toàn cục hoàn hảo.
• Flash Attention: Một tối ưu hóa nhận biết IO giúp tăng tốc toán học self-attention chính xác O(N bình phương) bằng cách di chuyển dữ liệu hiệu quả giữa các tầng bộ nhớ GPU. Không giống như linear attention, Flash Attention không thay đổi công thức toán học cơ bản.
• Sparse Attention: Một phương pháp tiết kiệm bộ nhớ bằng cách buộc mạng chỉ nhìn vào một cửa sổ cục bộ của các token lân cận, trong khi linear attention nén toàn bộ góc nhìn toàn cầu thành một trạng thái cố định về mặt toán học.

Link to this sectionCác ứng dụng trong thực tế#

Bằng cách phá vỡ rào cản về độ dài chuỗi, quy mô tuyến tính mở ra các khả năng mạnh mẽ trong nhiều lĩnh vực AI:

• Xử lý ngôn ngữ tự nhiên (NLP): Các Mô hình ngôn ngữ lớn (LLM) từ các tổ chức như OpenAI có thể tiếp nhận các codebase rộng lớn hoặc các tài liệu pháp lý phức tạp một cách liền mạch. Quy mô tuyến tính cho phép các cửa sổ ngữ cảnh khổng lồ cần thiết cho việc lập luận tài liệu mạnh mẽ.
• Thị giác máy tính (CV) độ phân giải cao: Đối với các tác vụ phức tạp như phân tích hình ảnh y tế hoặc phân tích hình ảnh vệ tinh, việc làm phẳng các hình ảnh gigapixel tạo ra các chuỗi token khổng lồ. Linear attention cho phép các mô hình thực hiện phân đoạn hình ảnh chi tiết trực tiếp trên các đầu vào độ phân giải cao mà không cần dựa vào việc giảm tỷ lệ mạnh làm mất đi các chi tiết quan trọng.

Link to this sectionVí dụ về mã#

Các framework hiện đại như PyTorch và TensorFlow giúp việc triển khai các khái niệm toán học này trở nên đơn giản. Dưới đây là một đoạn mã PyTorch khái niệm minh họa cách linear attention thay đổi thứ tự của phép nhân ma trận để đạt được hiệu suất O(N).

import torch
import torch.nn as nn
import torch.nn.functional as F


class SimpleLinearAttention(nn.Module):
    def __init__(self, dim):
        super().__init__()
        self.qkv = nn.Linear(dim, dim * 3)

    def forward(self, x):
        # x shape: (Batch, Sequence Length, Channels)
        q, k, v = self.qkv(x).chunk(3, dim=-1)

        # Apply an activation function as a kernel approximation (replaces softmax)
        q = F.elu(q) + 1.0
        k = F.elu(k) + 1.0

        # Associative trick: Multiply Key and Value first (O(N) complexity)
        # k^T @ v yields a fixed (Batch, Channels, Channels) matrix
        kv_context = torch.matmul(k.transpose(-2, -1), v)

        # Multiply Query by the fixed context matrix to get the final output
        return torch.matmul(q, kv_context)


# Example: Processing a sequence of 1024 tokens
model = SimpleLinearAttention(dim=64)
dummy_input = torch.randn(1, 1024, 64)
output = model(dummy_input)
print(f"Output shape: {output.shape}")

Trong khi các mô hình cộng đồng mang tính thử nghiệm có thể kết hợp các lớp attention tuyến tính hoặc thưa thớt khác nhau, chúng thường có thể gặp phải tốc độ CPU chậm hoặc sự thiếu ổn định khi huấn luyện. Đối với các triển khai thị giác máy tính mạnh mẽ, sẵn sàng cho sản xuất, Ultralytics YOLO26 là tiêu chuẩn được khuyến nghị. Nó có kiến trúc end-to-end được tối ưu hóa cao, tối đa hóa tốc độ và độ chính xác cho các tác vụ quan trọng như phát hiện đối tượng mà không cần dựa vào các lớp attention nặng nề. Các nhà phát triển có thể chú thích tập dữ liệu, huấn luyện, triển khai và giám sát các mô hình hàng đầu này một cách liền mạch bằng cách sử dụng Ultralytics Platform toàn diện.