PagedAttention

PagedAttention là một thuật toán quản lý bộ nhớ có hiệu suất cao, được thiết kế để tối ưu tốc độ suy luận và thông lượng của các Mô hình Ngôn ngữ Lớn (LLMs). Lấy cảm hứng từ các khái niệm bộ nhớ ảo và phân trang trong các hệ điều hành truyền thống, kỹ thuật này giải quyết vấn đề tiêu thụ bộ nhớ khổng lồ liên quan đến bộ nhớ đệm key-value (thường được gọi là KV cache) trong quá trình sinh văn bản. Bằng cách chia các khối bộ nhớ liên tục cần thiết cho cache thành những "trang" nhỏ hơn, không liền kề, PagedAttention loại bỏ hiệu quả cả phân mảnh bộ nhớ nội bộ lẫn bên ngoài. Điều này cho phép các máy chủ AI xử lý đồng thời nhiều request hơn đáng kể theo batch, tối đa hóa mức sử dụng GPU.

PagedAttention so với Flash Attention#

Mặc dù cả hai kỹ thuật đều tối ưu hiệu suất mạng neural, chúng nhắm đến các nút thắt khác nhau. Flash Attention là một phương pháp tối ưu ở cấp độ tính toán, giúp tăng tốc cơ chế attention bằng cách giảm thiểu các thao tác đọc và ghi bộ nhớ chậm trong hệ thống phân cấp GPU. Ngược lại, PagedAttention là một chiến lược cấp phát bộ nhớ. Kỹ thuật này chỉ tập trung vào cách bộ nhớ dành cho context window được cấu trúc và lưu trữ, cho phép mở rộng động mà không cần cấp phát trước các khối bộ nhớ lớn và lãng phí.

Các ứng dụng trong thực tế#

Hiệu quả bộ nhớ do PagedAttention mang lại đã thay đổi cách các model sinh quy mô lớn được triển khai trong môi trường production.

1. Cung cấp API thông lượng cao: Các hệ thống production cung cấp các model tương tự GPT-4 sử dụng PagedAttention thông qua các framework như vLLM. Bằng cách chia sẻ các khối bộ nhớ giữa những request khác nhau của người dùng, nhà cung cấp có thể phục vụ số người dùng nhiều gấp bốn lần trên cùng phần cứng, qua đó giảm mạnh chi phí vận hành các dịch vụ AI trên cloud.

2. Chiến lược giải mã phức tạp: Khi một model AI sinh đồng thời nhiều phản hồi tiềm năng (chẳng hạn như trong beam search hoặc parallel sampling), PagedAttention cho phép các sequence song song này chia sẻ an toàn cùng các trang bộ nhớ nền tảng. Điều này ngăn hệ thống nhân bản bộ nhớ dư thừa, giúp các tác vụ suy luận phức tạp nhanh hơn đáng kể.

Hiệu quả bộ nhớ trong Computer Vision#

Mặc dù PagedAttention chủ yếu được sử dụng trong xử lý ngôn ngữ tự nhiên, nguyên tắc tối ưu bộ nhớ nghiêm ngặt nền tảng của kỹ thuật này cũng quan trọng không kém trong thị giác máy tính (CV). Khi triển khai model trên các thiết bị edge bị giới hạn về phần cứng, việc tránh phình to bộ nhớ là điều thiết yếu. Ultralytics YOLO26 đạt hiệu quả suy luận thời gian thực ngay trên nền tảng, không cần quản lý cache nặng nhờ sử dụng kiến trúc end-to-end không có NMS.

Đối với các developer muốn xử lý liền mạch các yêu cầu về bộ nhớ và export của pipeline phát hiện đối tượng, Ultralytics Platform cung cấp các công cụ triển khai tự động để đóng gói model nhằm thực thi tối ưu trên phần cứng.

Ví dụ về code#

PagedAttention hoạt động bên dưới lớp hiển thị trong các framework serving, thay thế các hàm attention tiêu chuẩn bằng các kernel Cuda được tối ưu. Dưới đây là một ví dụ mang tính khái niệm minh họa cách định nghĩa attention tiêu chuẩn trong PyTorch, mà các hệ thống như vLLM sẽ tự động chặn và tối ưu bằng cơ chế phân trang trong quá trình triển khai model.

import torch
import torch.nn.functional as F

# Simulated Key, Query, and Value tensors for a standard attention block
batch_size, num_heads, sequence_length, head_dim = 1, 8, 1024, 64
query = torch.randn(batch_size, num_heads, sequence_length, head_dim)
key = torch.randn(batch_size, num_heads, sequence_length, head_dim)
value = torch.randn(batch_size, num_heads, sequence_length, head_dim)

# Standard attention computation (often replaced by PagedAttention kernels in production LLM servers)
attention_output = F.scaled_dot_product_attention(query, key, value)

print(f"Computed attention shape: {attention_output.shape}")

Bằng cách tận dụng các chiến lược cấp phát bộ nhớ nâng cao, ngành AI tiếp tục mở rộng giới hạn khả năng, đảm bảo các model nền tảng quy mô lớn có thể được scale và truy cập hiệu quả trên toàn thế giới.