获取 YOLO 许可
返回 Ultralytics 术语表

Context Parallelism

上下文并行会将一个长输入序列拆分到多个 GPU 上,并在注意力计算期间交换键和值,从而减少每个 GPU 所需的内存。

上下文并行 (CP) 是一种分布式训练技术,会将单个长输入序列拆分到多个 GPU上。每个 GPU 保存一段连续或交错的 token以及由这些 token 计算出的所有激活值,因此添加设备后,每个设备所需的内存会减少。对 token 逐个独立处理的层,例如归一化层和前馈块,可在本地 token 上运行,无需通信。自注意力则不同,因为每个查询都可能查看每个键,因此 GPU 需要交换键和值,才能得到与对完整序列执行注意力相同的输出。这是一种系统层面的技术,用于处理给定的上下文窗口;上下文窗口的长度由模型架构和训练决定。

GPU 如何共享键和值#

各实现的主要区别在于键和值如何传送到需要它们的 GPU:

  • 环形注意力:GPU 组成一个环,在处理自己持有的数据块时,将键值块传给相邻 GPU,从而让传输隐藏在计算过程中。
  • All-gather:每个 GPU 收集所有键和值,然后为自己的查询计算注意力。Meta 为 Llama 3 选择了这种方法,因为它能轻松支持文档掩码,而且分组查询注意力所需的键和值远小于查询。
  • All-to-all:DeepSpeed Ulysses 会重新排列数据,使每个 GPU 持有所有 token,但只对应一部分注意力头,因此并行规模最多只能达到注意力头的数量。

PyTorch的实验性上下文并行 API会在 context_parallel() 块中用环形注意力替代缩放点积注意力;NVIDIA 的 Megatron-Core则会在前向传播中通过环形点对点传输收集键和值,并在反向传播中对它们的梯度执行 reduce-scatter。CP 与 Megatron 较早的序列并行不同:后者只会在张量并行的同时拆分层归一化和 dropout 激活值,而 CP 会沿序列拆分输入和所有激活值。

平衡因果注意力#

使用因果掩码时,token i 只能关注它之前的 i 个 token 和自身,因此越靠后的 token 计算成本越高。如果将序列连续地四等分并分配给各 GPU,第一个 GPU 的工作量会很少,最后一个 GPU 的工作量则最多,而最繁忙的 GPU 决定了整体速度。Llama 3 和 Megatron-Core 会将序列切分为 GPU 数量两倍的块,并为每个 GPU 分配一个前段块和一个与之镜像对应的末段块:

import torch

seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1  # 在因果掩码下,token i 会关注 i + 1 个键

# 连续拆分:rank r 获取序列的第 r 个四分之一部分
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]

# 负载均衡拆分:将序列切分为 2 * ranks 个块,rank r 获取第 r 个块及其从末尾开始的镜像块
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]

print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank:  ", [round(w / 1e6, 1) for w in balanced])

连续拆分时,四个 GPU 分别计算 [2.1, 6.3, 10.5, 14.7] 百万个注意力分数,负载相差 7 倍;镜像拆分时,每个 GPU 都计算 8.4 百万个注意力分数。

上下文并行的应用场景#

在长文档和代码库上训练大型语言模型 (LLM)是其主要用途。Meta 在 16,384 个 H100 GPU 上,将 Llama 3 405B 扩展到 131,072-token 序列,并采用 16 路上下文并行以及张量、流水线和数据并行;BF16 峰值吞吐量达到 38%,而同一集群在 8,192 个 token 下为 41%。另一个应用场景是视频:Meta 的 Movie Gen 使用上下文并行,以及张量、序列和全分片数据并行,训练了一个 300 亿参数的视频生成模型;训练片段编码后约包含 73,000 个 token。长视频视觉语言模型和视频理解系统也会遇到相同限制,因为每一帧都会增加数百个 token。

上下文并行可与其他策略结合使用:

  • 流水线并行:将模型的各层拆分到多个 GPU 上。
  • 数据并行:将批次拆分到多个完整模型副本上。
  • Flash attention:避免在单个 GPU 上存储注意力矩阵。上下文并行实现会在每个 GPU 的本地数据块上运行类似的内核。

图像模型只有在极高分辨率下才会达到这些序列长度,因为序列长度会随图像块或特征图位置数量增加。Ultralytics YOLO26只在最粗尺度、步幅为 32 的特征图上使用自注意力,位置为其模型配置中的第 10 层和第 22 层,因此默认 imgsz=640 下注意力覆盖 400 个位置,imgsz=1280 下则覆盖 1,600 个位置。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来