Context Parallelism
O paralelismo de contexto divide uma sequência de entrada longa entre GPUs que trocam chaves e valores durante a atenção, reduzindo a memória necessária em cada GPU.
O paralelismo de contexto (CP) é uma técnica de treino distribuído que divide uma única sequência de entrada longa por várias GPUs. Cada GPU contém uma parte contígua ou intercalada dos tokens e todas as ativações calculadas a partir deles, pelo que a memória necessária em cada dispositivo diminui à medida que se adicionam dispositivos. Camadas que tratam os tokens de forma independente, como a normalização e os blocos feed-forward, são executadas com tokens locais sem comunicação. A autoatenção é a exceção, porque cada consulta pode examinar todas as chaves; por isso, as GPUs trocam chaves e valores para produzir exatamente a mesma saída que a atenção sobre a sequência completa. É uma técnica de sistemas para executar uma determinada janela de contexto, cujo comprimento é fixado pela arquitetura e pelo treino do modelo.
Como as GPUs partilham chaves e valores#
As implementações diferem sobretudo na forma como as chaves e os valores chegam às GPUs que precisam deles:
- Atenção em anel: As GPUs formam um anel e transmitem blocos de pares chave-valor aos vizinhos enquanto calculam com o bloco que têm, ocultando as transferências sob os cálculos.
- All-gather: Cada GPU recolhe todas as chaves e os valores e, em seguida, calcula a atenção para as suas próprias consultas. A Meta escolheu este método para o Llama 3 porque permite aplicar facilmente máscaras de documentos, e a atenção de consultas agrupadas mantém as chaves e os valores muito menores do que as consultas.
- All-to-all: O DeepSpeed Ulysses reorganiza os dados para que cada GPU contenha todos os tokens de um subconjunto de cabeças de atenção, o que limita o grau de paralelismo ao número de cabeças.
A API experimental de paralelismo de contexto do PyTorch substitui a atenção de produto escalar escalado por atenção em anel dentro de um bloco context_parallel(), e o Megatron-Core da NVIDIA reúne chaves e valores através de transferências ponto a ponto em forma de anel na passagem direta e reduz e distribui os respetivos gradientes na passagem inversa. O CP difere do paralelismo de sequências mais antigo do Megatron, que divide apenas as ativações de normalização de camadas e dropout juntamente com o paralelismo de tensores, porque divide as entradas e todas as ativações ao longo da sequência.
Equilibrar a atenção causal#
Com uma máscara causal, o token i atende apenas aos i tokens anteriores e a si próprio, pelo que os tokens posteriores exigem mais cálculo. Atribuir a cada GPU um quarto contíguo da sequência deixa a primeira GPU com pouco trabalho e a última com a maior parte, e a GPU mais sobrecarregada determina o ritmo. O Llama 3 e o Megatron-Core dividem a sequência em duas vezes mais segmentos do que GPUs e atribuem a cada GPU um segmento inicial e a respetiva imagem espelhada do final:
import torch
seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1 # sob uma máscara causal, o token i atende a i + 1 chaves
# Divisão contígua: a classificação r recebe o r-ésimo quarto da sequência
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]
# Divisão equilibrada: dividir em 2 * classificações de segmentos; a classificação r recebe o segmento r e o seu espelho do final
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]
print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank: ", [round(w / 1e6, 1) for w in balanced])A divisão contígua atribui às quatro GPUs [2.1, 6.3, 10.5, 14.7] milhões de pontuações de atenção, uma diferença de 7×, enquanto a divisão espelhada atribui 8.4 milhões a cada uma.
Onde se utiliza o paralelismo de contexto#
O principal uso é treinar modelos de linguagem grandes (LLMs) com documentos longos e bases de código. A Meta alargou o Llama 3 405B para sequências de 131.072 tokens com paralelismo de contexto de 16 vias, em conjunto com paralelismo de tensores, de pipeline e de dados, em 16.384 GPUs H100, alcançando 38% do débito máximo de BF16, contra 41% para o mesmo cluster com 8.192 tokens. O vídeo é a outra aplicação: o Movie Gen da Meta treinou o seu modelo de geração de vídeo com 30 mil milhões de parâmetros em clipes codificados como cerca de 73.000 tokens, usando paralelismo de contexto com paralelismo de tensores, de sequências e de dados totalmente fragmentado. Os modelos de visão e linguagem e os sistemas de compreensão de vídeo com vídeos longos atingem o mesmo limite, porque cada fotograma acrescenta centenas de tokens.
O paralelismo de contexto combina-se com as outras estratégias:
- Paralelismo de pipeline: Divide as camadas do modelo pelas GPUs.
- Paralelismo de dados: Divide o lote por cópias completas do modelo.
- Atenção Flash: Evita armazenar a matriz de atenção numa única GPU. As implementações de paralelismo de contexto executam um kernel semelhante em cada bloco local da GPU.
Os modelos de imagem só atingem estes comprimentos com resoluções muito elevadas, porque o comprimento da sequência aumenta com o número de patches ou posições do mapa de características. O Ultralytics YOLO26 coloca a autoatenção apenas no mapa de características mais grosseiro, com stride 32, nas camadas 10 e 22 da sua configuração de modelo; assim, a atenção abrange 400 posições no valor predefinido imgsz=640 e 1.600 em imgsz=1280.










