Pipeline Parallelism

Song song hóa pipeline là một kỹ thuật huấn luyện phân tán, chia mạng nơ-ron theo chiều sâu thành các nhóm lớp nối tiếp gọi là stage, đặt mỗi stage trên một GPU riêng rồi truyền activation từ stage này sang stage tiếp theo. Để tất cả GPU luôn hoạt động, mỗi batch được chia thành các micro-batch nhỏ hơn, luân chuyển qua các stage như linh kiện trên dây chuyền lắp ráp. Phương pháp này còn được gọi là song song hóa model giữa các lớp. Các nhà nghiên cứu Google do Yanping Huang dẫn đầu đã phổ biến phương pháp micro-batch với GPipe vào tháng 11 năm 2018, khi huấn luyện AmoebaNet 557 triệu tham số đạt độ chính xác top-1 84,4% trên ImageNet và một Transformer dịch đa ngôn ngữ gồm 6 tỷ tham số, 128 lớp.

Micro-batch và khoảng trống pipeline#

Khi chỉ xử lý một batch mỗi lần, chỉ có một stage hoạt động trong khi các stage khác chờ: stage 2 không thể bắt đầu cho đến khi stage 1 hoàn tất; trong quá trình lan truyền ngược, thứ tự đảo ngược. Micro-batch cho phép stage 1 bắt đầu batch thứ hai ngay khi chuyển batch thứ nhất cho stage 2. Các khoảng thời gian nhàn rỗi còn lại trong lúc pipeline được lấp đầy rồi xả hết được gọi là khoảng trống. In lịch chạy lan truyền xuôi kiểu GPipe cho 4 stage và 6 micro-batch sẽ cho thấy hình dạng như sau:

stages, micro_batches = 4, 6
steps = micro_batches + stages - 1  # time steps until the last micro-batch leaves the last stage

for stage in range(stages):
    row = ""
    for t in range(steps):
        m = t - stage  # stage s starts micro-batch m once stage s-1 hands it over
        row += f" F{m}" if 0 <= m < micro_batches else "  ."
    print(f"GPU {stage}:{row}")

# Every stage idles for stages - 1 of the steps, in the forward and again in the backward pass
bubble = (stages - 1) / steps
print(f"Idle fraction: {bubble:.0%}")

Đầu ra có dạng bậc thang: GPU 0 chạy lượt lan truyền xuôi F0 đến F5 trong sáu trên tổng chín bước đầu tiên rồi chờ; GPU 3 chờ ba bước trước khi bắt đầu F0, và dòng cuối cùng là Idle fraction: 33%. Tỷ lệ khoảng trống là (số stage − 1) / (số micro-batch + số stage − 1), vì vậy 24 micro-batch chạy qua cùng 4 stage sẽ giảm tỷ lệ này xuống 11%. Gradient từ tất cả micro-batch được cộng lại trước một bước cập nhật optimizer, tương tự phép tính trong tích lũy gradient, nên kết quả cập nhật tương đương với huấn luyện trên toàn bộ batch. GPipe cũng loại bỏ activation bên trong mỗi stage rồi tính lại trong lượt lan truyền ngược, một dạng checkpoint gradient.

Lịch pipeline#

Các lịch chạy ra đời sau sắp xếp lại cùng một khối lượng công việc để tiết kiệm bộ nhớ hoặc thu hẹp khoảng trống:

• 1F1B: Được hệ thống PipeDream giới thiệu năm 2018, phương pháp này luân phiên một micro-batch lan truyền xuôi và một micro-batch lan truyền ngược ở mỗi stage sau khi pipeline đầy. Khi đó, mỗi stage chỉ cần giữ activation của số micro-batch tối đa bằng số stage, thay vì giữ toàn bộ.
• 1F1B xen kẽ: Chia mỗi GPU thành nhiều stage nhỏ hơn, không liền kề nhau. Nhóm Megatron-LM của NVIDIA báo cáo thông lượng tăng hơn 10% với phương pháp này, đồng thời huấn luyện model 1 nghìn tỷ tham số ở tốc độ 502 petaFLOP/s trên 3.072 GPU, đạt 52% hiệu năng đỉnh.
• Zero bubble: Chia lượt lan truyền ngược thành gradient cho đầu vào của stage mà stage trước đang chờ và gradient cho trọng số, phần có thể được đưa vào các khoảng thời gian nhàn rỗi sau đó. Phương pháp này cải thiện thông lượng đến 23% so với 1F1B trong điều kiện ngân sách bộ nhớ tương tự.

PyTorch cung cấp các phương pháp này dưới dạng ScheduleGPipe, Schedule1F1B, ScheduleInterleaved1F1B, ScheduleInterleavedZeroBubble và ScheduleDualPipeV trong API pipeline, API này cũng chia model thành các stage. DualPipe xuất phát từ DeepSeek-V3; nhóm phát triển chạy 16 stage pipeline và dùng phương pháp này để chồng lấp quá trình tính toán với giao tiếp, đồng thời thu hẹp khoảng trống.

Vị trí của song song hóa pipeline#

Các stage chỉ trao đổi activation tại ranh giới giữa chúng, một lần mỗi micro-batch, vì vậy song song hóa pipeline thích ứng với liên kết chậm giữa các máy chủ tốt hơn song song hóa tensor, vốn giao tiếp bên trong từng lớp. Do đó, các lượt huấn luyện quy mô lớn kết hợp cả hai phương pháp. Meta huấn luyện Llama 3 405B bằng song song hóa tensor 8 chiều bên trong mỗi máy chủ 8 GPU, 16 stage pipeline giữa các máy chủ và song song hóa dữ liệu trên 64 đến 128 bản sao; các engine phục vụ như vLLM cũng dùng cách phân chia tương tự khi mô hình ngôn ngữ lớn (LLM) cần nhiều hơn một node. Stage chậm nhất quyết định tốc độ của toàn pipeline; các stage đầu và cuối của model ngôn ngữ cũng chứa bảng embedding và lớp đầu ra, vì vậy Llama 3 bố trí cho mỗi stage một lớp Transformer ít hơn.

Các phương pháp liên quan phân chia công việc theo những cách khác:

• Song song hóa tensor: Chia các ma trận trọng số bên trong mỗi lớp để mọi GPU cùng tham gia xử lý từng lớp.
• Song song hóa ngữ cảnh: Chia một chuỗi đầu vào dài cho nhiều GPU.
• Học tập phân tách: Cũng chia mạng theo chiều sâu, nhưng phân chia giữa các tổ chức, để chủ sở hữu dữ liệu không bao giờ phải gửi dữ liệu thô đến máy chủ chạy các lớp phía sau.

Song song hóa dữ liệu giữ mọi lớp trên mọi GPU và thay vào đó chia batch; đây là tất cả những gì model cần khi có thể vừa trên một thiết bị. Đó là cách Ultralytics YOLO26 huấn luyện trên nhiều GPU: với device=[0, 1, 2, 3] và batch=64 trong chế độ huấn luyện, mỗi GPU chạy toàn bộ model phát hiện đối tượng trên 16 ảnh, còn PyTorch DistributedDataParallel tính trung bình gradient giữa các GPU sau mỗi lượt lan truyền ngược.