Context Parallelism
Tính song song theo ngữ cảnh chia một chuỗi đầu vào dài cho nhiều GPU, các GPU trao đổi key và value trong quá trình attention, nhờ đó giảm lượng bộ nhớ mỗi GPU cần.
Song song hóa theo ngữ cảnh (CP) là một kỹ thuật huấn luyện phân tán dùng để chia một chuỗi đầu vào dài duy nhất cho nhiều GPU. Mỗi GPU lưu giữ một phần liên tiếp hoặc xen kẽ của các token, cùng toàn bộ activation được tính từ các token đó, nhờ vậy lượng bộ nhớ cần thiết trên mỗi thiết bị giảm khi số lượng thiết bị tăng. Các layer xử lý từng token độc lập, chẳng hạn như chuẩn hóa và các khối feed-forward, chạy trên các token cục bộ mà không cần trao đổi dữ liệu. Ngoại lệ là self-attention, vì mỗi query có thể truy cập mọi key, nên các GPU trao đổi key và value để tạo ra đầu ra giống hệt như khi tính attention trên toàn bộ chuỗi. Đây là kỹ thuật cấp hệ thống để chạy một cửa sổ ngữ cảnh nhất định, có độ dài được cố định bởi kiến trúc và quá trình huấn luyện của model.
Cách GPU chia sẻ key và value#
Các cách triển khai chủ yếu khác nhau ở cách phân phối key và value đến những GPU cần chúng:
- Ring attention: Các GPU tạo thành một vòng và chuyển các khối key-value cho GPU lân cận trong khi tính toán trên khối đang giữ, nhờ đó che giấu thời gian truyền dữ liệu bằng quá trình tính toán.
- All-gather: Mỗi GPU thu thập toàn bộ key và value rồi tính attention cho các query của riêng mình. Meta chọn cách này cho Llama 3 vì dễ hỗ trợ mask tài liệu, còn grouped-query attention giúp key và value nhỏ hơn nhiều so với query.
- All-to-all: DeepSpeed Ulysses sắp xếp lại dữ liệu để mỗi GPU giữ mọi token cho một tập con các attention head, giới hạn mức song song tối đa bằng số head.
API context parallel thử nghiệm của PyTorch thay scaled dot-product attention bằng ring attention bên trong khối context_parallel(); Megatron-Core của NVIDIA thu thập key và value qua các lượt truyền point-to-point theo cấu trúc vòng trong lượt truyền xuôi, rồi reduce-scatter gradient của chúng trong lượt truyền ngược. CP khác với sequence parallelism cũ hơn của Megatron, vốn chỉ chia activation của layer norm và dropout cùng với tensor parallelism, vì CP chia đầu vào và mọi activation dọc theo chuỗi.
Cân bằng causal attention#
Với causal mask, token i chỉ attention đến i token đứng trước nó và chính nó, nên token ở phía sau tốn nhiều công sức tính toán hơn. Nếu cấp cho mỗi GPU một phần tư chuỗi liên tiếp, GPU đầu tiên sẽ có ít việc còn GPU cuối cùng có nhiều việc nhất; GPU bận nhất sẽ quyết định tốc độ chung. Llama 3 và Megatron-Core chia chuỗi thành số đoạn gấp đôi số GPU, rồi cấp cho mỗi GPU một đoạn ở đầu và đoạn đối xứng ở cuối:
import torch
seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1 # với causal mask, token i attention đến i + 1 key
# Chia liên tiếp: rank r nhận phần tư thứ r của chuỗi
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]
# Chia cân bằng tải: chia thành 2 * ranks đoạn, rank r nhận đoạn r và đoạn đối xứng với nó ở cuối
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]
print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank: ", [round(w / 1e6, 1) for w in balanced])Cách chia liên tiếp giao cho bốn GPU lần lượt [2.1, 6.3, 10.5, 14.7] triệu điểm attention, chênh lệch 7×; cách chia đối xứng giao cho mỗi GPU 8.4 triệu điểm.
Ứng dụng của song song hóa theo ngữ cảnh#
Ứng dụng chính là huấn luyện mô hình ngôn ngữ lớn (LLM) trên tài liệu và codebase dài. Meta mở rộng Llama 3 405B lên chuỗi 131.072 token bằng song song hóa theo ngữ cảnh 16 chiều, kết hợp với song song hóa tensor, pipeline và dữ liệu trên 16.384 GPU H100; thông lượng đạt 38% mức BF16 tối đa, so với 41% trên cùng cụm với 8.192 token. Video là ứng dụng còn lại: model tạo video 30 tỷ tham số Movie Gen của Meta được huấn luyện trên các clip mã hóa thành khoảng 73.000 token, sử dụng song song hóa theo ngữ cảnh cùng với song song hóa tensor, chuỗi và dữ liệu phân mảnh hoàn toàn. Các model thị giác-ngôn ngữ và hệ thống hiểu video xử lý video dài cũng gặp giới hạn tương tự, vì mỗi frame bổ sung hàng trăm token.
Song song hóa theo ngữ cảnh kết hợp với các chiến lược khác:
- Song song hóa pipeline: Chia các lớp của model cho nhiều GPU.
- Song song hóa dữ liệu: Chia batch cho các bản sao đầy đủ của model.
- Flash attention: Tránh lưu ma trận attention trên một GPU. Các cách triển khai song song hóa theo ngữ cảnh chạy một kernel tương tự trên khối cục bộ của mỗi GPU.
Các model ảnh chỉ đạt đến độ dài chuỗi như vậy ở độ phân giải rất cao, vì độ dài chuỗi tăng theo số lượng patch hoặc vị trí trên feature map. Ultralytics YOLO26 chỉ đặt self-attention trên bản đồ đặc trưng thô nhất, có stride 32, tại các layer 10 và 22 trong cấu hình model, nên attention bao phủ 400 vị trí với thiết lập mặc định imgsz=640 và 1.600 vị trí với imgsz=1280.










