Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Context Parallelism

Tính song song theo ngữ cảnh chia một chuỗi đầu vào dài cho nhiều GPU, các GPU trao đổi key và value trong quá trình attention, nhờ đó giảm lượng bộ nhớ mỗi GPU cần.

Song song hóa theo ngữ cảnh (CP) là một kỹ thuật huấn luyện phân tán dùng để chia một chuỗi đầu vào dài duy nhất cho nhiều GPU. Mỗi GPU lưu giữ một phần liên tiếp hoặc xen kẽ của các token, cùng toàn bộ activation được tính từ các token đó, nhờ vậy lượng bộ nhớ cần thiết trên mỗi thiết bị giảm khi số lượng thiết bị tăng. Các layer xử lý từng token độc lập, chẳng hạn như chuẩn hóa và các khối feed-forward, chạy trên các token cục bộ mà không cần trao đổi dữ liệu. Ngoại lệ là self-attention, vì mỗi query có thể truy cập mọi key, nên các GPU trao đổi key và value để tạo ra đầu ra giống hệt như khi tính attention trên toàn bộ chuỗi. Đây là kỹ thuật cấp hệ thống để chạy một cửa sổ ngữ cảnh nhất định, có độ dài được cố định bởi kiến trúc và quá trình huấn luyện của model.

Cách GPU chia sẻ key và value#

Các cách triển khai chủ yếu khác nhau ở cách phân phối key và value đến những GPU cần chúng:

  • Ring attention: Các GPU tạo thành một vòng và chuyển các khối key-value cho GPU lân cận trong khi tính toán trên khối đang giữ, nhờ đó che giấu thời gian truyền dữ liệu bằng quá trình tính toán.
  • All-gather: Mỗi GPU thu thập toàn bộ key và value rồi tính attention cho các query của riêng mình. Meta chọn cách này cho Llama 3 vì dễ hỗ trợ mask tài liệu, còn grouped-query attention giúp key và value nhỏ hơn nhiều so với query.
  • All-to-all: DeepSpeed Ulysses sắp xếp lại dữ liệu để mỗi GPU giữ mọi token cho một tập con các attention head, giới hạn mức song song tối đa bằng số head.

API context parallel thử nghiệm của PyTorch thay scaled dot-product attention bằng ring attention bên trong khối context_parallel(); Megatron-Core của NVIDIA thu thập key và value qua các lượt truyền point-to-point theo cấu trúc vòng trong lượt truyền xuôi, rồi reduce-scatter gradient của chúng trong lượt truyền ngược. CP khác với sequence parallelism cũ hơn của Megatron, vốn chỉ chia activation của layer norm và dropout cùng với tensor parallelism, vì CP chia đầu vào và mọi activation dọc theo chuỗi.

Cân bằng causal attention#

Với causal mask, token i chỉ attention đến i token đứng trước nó và chính nó, nên token ở phía sau tốn nhiều công sức tính toán hơn. Nếu cấp cho mỗi GPU một phần tư chuỗi liên tiếp, GPU đầu tiên sẽ có ít việc còn GPU cuối cùng có nhiều việc nhất; GPU bận nhất sẽ quyết định tốc độ chung. Llama 3 và Megatron-Core chia chuỗi thành số đoạn gấp đôi số GPU, rồi cấp cho mỗi GPU một đoạn ở đầu và đoạn đối xứng ở cuối:

import torch

seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1  # với causal mask, token i attention đến i + 1 key

# Chia liên tiếp: rank r nhận phần tư thứ r của chuỗi
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]

# Chia cân bằng tải: chia thành 2 * ranks đoạn, rank r nhận đoạn r và đoạn đối xứng với nó ở cuối
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]

print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank:  ", [round(w / 1e6, 1) for w in balanced])

Cách chia liên tiếp giao cho bốn GPU lần lượt [2.1, 6.3, 10.5, 14.7] triệu điểm attention, chênh lệch 7×; cách chia đối xứng giao cho mỗi GPU 8.4 triệu điểm.

Ứng dụng của song song hóa theo ngữ cảnh#

Ứng dụng chính là huấn luyện mô hình ngôn ngữ lớn (LLM) trên tài liệu và codebase dài. Meta mở rộng Llama 3 405B lên chuỗi 131.072 token bằng song song hóa theo ngữ cảnh 16 chiều, kết hợp với song song hóa tensor, pipeline và dữ liệu trên 16.384 GPU H100; thông lượng đạt 38% mức BF16 tối đa, so với 41% trên cùng cụm với 8.192 token. Video là ứng dụng còn lại: model tạo video 30 tỷ tham số Movie Gen của Meta được huấn luyện trên các clip mã hóa thành khoảng 73.000 token, sử dụng song song hóa theo ngữ cảnh cùng với song song hóa tensor, chuỗi và dữ liệu phân mảnh hoàn toàn. Các model thị giác-ngôn ngữ và hệ thống hiểu video xử lý video dài cũng gặp giới hạn tương tự, vì mỗi frame bổ sung hàng trăm token.

Song song hóa theo ngữ cảnh kết hợp với các chiến lược khác:

  • Song song hóa pipeline: Chia các lớp của model cho nhiều GPU.
  • Song song hóa dữ liệu: Chia batch cho các bản sao đầy đủ của model.
  • Flash attention: Tránh lưu ma trận attention trên một GPU. Các cách triển khai song song hóa theo ngữ cảnh chạy một kernel tương tự trên khối cục bộ của mỗi GPU.

Các model ảnh chỉ đạt đến độ dài chuỗi như vậy ở độ phân giải rất cao, vì độ dài chuỗi tăng theo số lượng patch hoặc vị trí trên feature map. Ultralytics YOLO26 chỉ đặt self-attention trên bản đồ đặc trưng thô nhất, có stride 32, tại các layer 10 và 22 trong cấu hình model, nên attention bao phủ 400 vị trí với thiết lập mặc định imgsz=640 và 1.600 vị trí với imgsz=1280.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning