Context Parallelism
上下文并行会将一个长输入序列拆分到多个 GPU 上,并在注意力计算期间交换键和值,从而减少每个 GPU 所需的内存。
上下文并行 (CP) 是一种分布式训练技术,会将单个长输入序列拆分到多个 GPU上。每个 GPU 保存一段连续或交错的 token以及由这些 token 计算出的所有激活值,因此添加设备后,每个设备所需的内存会减少。对 token 逐个独立处理的层,例如归一化层和前馈块,可在本地 token 上运行,无需通信。自注意力则不同,因为每个查询都可能查看每个键,因此 GPU 需要交换键和值,才能得到与对完整序列执行注意力相同的输出。这是一种系统层面的技术,用于处理给定的上下文窗口;上下文窗口的长度由模型架构和训练决定。
GPU 如何共享键和值#
各实现的主要区别在于键和值如何传送到需要它们的 GPU:
- 环形注意力:GPU 组成一个环,在处理自己持有的数据块时,将键值块传给相邻 GPU,从而让传输隐藏在计算过程中。
- All-gather:每个 GPU 收集所有键和值,然后为自己的查询计算注意力。Meta 为 Llama 3 选择了这种方法,因为它能轻松支持文档掩码,而且分组查询注意力所需的键和值远小于查询。
- All-to-all:DeepSpeed Ulysses 会重新排列数据,使每个 GPU 持有所有 token,但只对应一部分注意力头,因此并行规模最多只能达到注意力头的数量。
PyTorch的实验性上下文并行 API会在 context_parallel() 块中用环形注意力替代缩放点积注意力;NVIDIA 的 Megatron-Core则会在前向传播中通过环形点对点传输收集键和值,并在反向传播中对它们的梯度执行 reduce-scatter。CP 与 Megatron 较早的序列并行不同:后者只会在张量并行的同时拆分层归一化和 dropout 激活值,而 CP 会沿序列拆分输入和所有激活值。
平衡因果注意力#
使用因果掩码时,token i 只能关注它之前的 i 个 token 和自身,因此越靠后的 token 计算成本越高。如果将序列连续地四等分并分配给各 GPU,第一个 GPU 的工作量会很少,最后一个 GPU 的工作量则最多,而最繁忙的 GPU 决定了整体速度。Llama 3 和 Megatron-Core 会将序列切分为 GPU 数量两倍的块,并为每个 GPU 分配一个前段块和一个与之镜像对应的末段块:
import torch
seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1 # 在因果掩码下,token i 会关注 i + 1 个键
# 连续拆分:rank r 获取序列的第 r 个四分之一部分
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]
# 负载均衡拆分:将序列切分为 2 * ranks 个块,rank r 获取第 r 个块及其从末尾开始的镜像块
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]
print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank: ", [round(w / 1e6, 1) for w in balanced])连续拆分时,四个 GPU 分别计算 [2.1, 6.3, 10.5, 14.7] 百万个注意力分数,负载相差 7 倍;镜像拆分时,每个 GPU 都计算 8.4 百万个注意力分数。
上下文并行的应用场景#
在长文档和代码库上训练大型语言模型 (LLM)是其主要用途。Meta 在 16,384 个 H100 GPU 上,将 Llama 3 405B 扩展到 131,072-token 序列,并采用 16 路上下文并行以及张量、流水线和数据并行;BF16 峰值吞吐量达到 38%,而同一集群在 8,192 个 token 下为 41%。另一个应用场景是视频:Meta 的 Movie Gen 使用上下文并行,以及张量、序列和全分片数据并行,训练了一个 300 亿参数的视频生成模型;训练片段编码后约包含 73,000 个 token。长视频视觉语言模型和视频理解系统也会遇到相同限制,因为每一帧都会增加数百个 token。
上下文并行可与其他策略结合使用:
- 流水线并行:将模型的各层拆分到多个 GPU 上。
- 数据并行:将批次拆分到多个完整模型副本上。
- Flash attention:避免在单个 GPU 上存储注意力矩阵。上下文并行实现会在每个 GPU 的本地数据块上运行类似的内核。
图像模型只有在极高分辨率下才会达到这些序列长度,因为序列长度会随图像块或特征图位置数量增加。Ultralytics YOLO26只在最粗尺度、步幅为 32 的特征图上使用自注意力,位置为其模型配置中的第 10 层和第 22 层,因此默认 imgsz=640 下注意力覆盖 400 个位置,imgsz=1280 下则覆盖 1,600 个位置。










