Context Parallelism
El paralelismo de contexto divide una secuencia de entrada larga entre varias GPU, que intercambian claves y valores durante la atención, y reduce la memoria que necesita cada GPU.
El paralelismo de contexto (CP) es una técnica de entrenamiento distribuido que divide una única secuencia de entrada larga entre varias GPU. Cada GPU contiene una parte contigua o intercalada de los tokens y todas las activaciones calculadas a partir de ellos, por lo que la memoria necesaria en cada dispositivo disminuye al añadir más dispositivos. Las capas que procesan cada token de forma independiente, como la normalización y las capas feed-forward, trabajan con los tokens locales sin comunicación. La excepción es la autoatención, porque cada consulta puede fijarse en todas las claves, así que las GPU intercambian claves y valores para obtener exactamente la misma salida que la atención sobre la secuencia completa. Es una técnica de sistemas para procesar una ventana de contexto determinada, cuya longitud fija la arquitectura y el entrenamiento del modelo.
Cómo comparten las GPU las claves y los valores#
Las implementaciones se diferencian principalmente en cómo llegan las claves y los valores a las GPU que los necesitan:
- Atención en anillo: Las GPU forman un anillo y pasan bloques de claves y valores a las GPU vecinas mientras calculan sobre el bloque que tienen; así ocultan las transferencias durante el cómputo.
- All-gather: Cada GPU recopila todas las claves y los valores y, después, calcula la atención para sus propias consultas. Meta eligió esta opción para Llama 3 porque permite aplicar fácilmente máscaras de documentos, y la atención de consultas agrupadas mantiene las claves y los valores mucho más pequeños que las consultas.
- All-to-all: DeepSpeed Ulysses reorganiza los datos para que cada GPU contenga todos los tokens de un subconjunto de cabezas de atención, lo que limita el grado de paralelismo al número de cabezas.
La API experimental de paralelismo de contexto de PyTorch sustituye la atención de producto escalar escalado por atención en anillo dentro de un bloque context_parallel(), mientras que Megatron-Core de NVIDIA recopila las claves y los valores mediante transferencias punto a punto con forma de anillo durante el pase hacia delante y reduce y dispersa sus gradientes durante el pase hacia atrás. El CP se diferencia del paralelismo de secuencias anterior de Megatron, que divide únicamente las activaciones de normalización de capas y dropout junto con el paralelismo tensorial, porque divide las entradas y todas las activaciones a lo largo de la secuencia.
Equilibrar la atención causal#
Con una máscara causal, el token i solo atiende a los i tokens anteriores y a sí mismo, por lo que los tokens posteriores requieren más cálculo. Si se asigna a cada GPU un cuarto contiguo de la secuencia, la primera GPU realiza poco trabajo y la última, la mayor parte; la GPU más ocupada marca el ritmo. Llama 3 y Megatron-Core dividen la secuencia en el doble de fragmentos que el número de GPU y asignan a cada GPU un fragmento inicial y su reflejo del final:
import torch
seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1 # con una máscara causal, el token i atiende a i + 1 claves
# División contigua: el rank r toma el cuarto r de la secuencia
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]
# División equilibrada por carga: dividir en 2 * ranks fragmentos; el rank r toma el fragmento r y su reflejo desde el final
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]
print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank: ", [round(w / 1e6, 1) for w in balanced])La división contigua asigna a las cuatro GPU [2.1, 6.3, 10.5, 14.7] millones de puntuaciones de atención, una diferencia de 7×, mientras que la división reflejada asigna a cada una 8.4 millones.
Dónde se utiliza el paralelismo de contexto#
El principal uso es entrenar modelos de lenguaje grandes (LLM) con documentos y bases de código extensos. Meta amplió Llama 3 405B para procesar secuencias de 131.072 tokens con paralelismo de contexto de grado 16, junto con paralelismo tensorial, de canalización y de datos, en 16.384 GPU H100. Alcanzó el 38 % del rendimiento máximo en BF16, frente al 41 % del mismo clúster con 8.192 tokens. El vídeo es el otro caso de uso: Movie Gen, de Meta, entrenó su modelo de generación de vídeo de 30.000 millones de parámetros con clips codificados como secuencias de unos 73.000 tokens, mediante paralelismo de contexto, tensorial, de secuencias y de datos totalmente fragmentado. Los modelos de visión y lenguaje para vídeos largos y los sistemas de comprensión de vídeo alcanzan el mismo límite, porque cada fotograma añade cientos de tokens.
El paralelismo de contexto se combina con otras estrategias:
- Paralelismo de canalización: Divide las capas del modelo entre las GPU.
- Paralelismo de datos: Divide el lote entre copias completas del modelo.
- Flash attention: Evita almacenar la matriz de atención en una sola GPU. Las implementaciones de paralelismo de contexto ejecutan en cada GPU un kernel similar sobre su bloque local.
Los modelos de imagen solo alcanzan estas longitudes con resoluciones muy altas, ya que la longitud de la secuencia aumenta con el número de parches o posiciones del mapa de características. Ultralytics YOLO26 aplica autoatención únicamente a su mapa de características más grueso, con stride 32, en las capas 10 y 22 de su configuración del modelo, así que la atención abarca 400 posiciones con el valor predeterminado imgsz=640 y 1.600 con imgsz=1280.










