Licencia YOLO
Volver al glosario de Ultralytics

Context Parallelism

El paralelismo de contexto divide una secuencia de entrada larga entre varias GPU, que intercambian claves y valores durante la atención, y reduce la memoria que necesita cada GPU.

El paralelismo de contexto (CP) es una técnica de entrenamiento distribuido que divide una única secuencia de entrada larga entre varias GPU. Cada GPU contiene una parte contigua o intercalada de los tokens y todas las activaciones calculadas a partir de ellos, por lo que la memoria necesaria en cada dispositivo disminuye al añadir más dispositivos. Las capas que procesan cada token de forma independiente, como la normalización y las capas feed-forward, trabajan con los tokens locales sin comunicación. La excepción es la autoatención, porque cada consulta puede fijarse en todas las claves, así que las GPU intercambian claves y valores para obtener exactamente la misma salida que la atención sobre la secuencia completa. Es una técnica de sistemas para procesar una ventana de contexto determinada, cuya longitud fija la arquitectura y el entrenamiento del modelo.

Cómo comparten las GPU las claves y los valores#

Las implementaciones se diferencian principalmente en cómo llegan las claves y los valores a las GPU que los necesitan:

  • Atención en anillo: Las GPU forman un anillo y pasan bloques de claves y valores a las GPU vecinas mientras calculan sobre el bloque que tienen; así ocultan las transferencias durante el cómputo.
  • All-gather: Cada GPU recopila todas las claves y los valores y, después, calcula la atención para sus propias consultas. Meta eligió esta opción para Llama 3 porque permite aplicar fácilmente máscaras de documentos, y la atención de consultas agrupadas mantiene las claves y los valores mucho más pequeños que las consultas.
  • All-to-all: DeepSpeed Ulysses reorganiza los datos para que cada GPU contenga todos los tokens de un subconjunto de cabezas de atención, lo que limita el grado de paralelismo al número de cabezas.

La API experimental de paralelismo de contexto de PyTorch sustituye la atención de producto escalar escalado por atención en anillo dentro de un bloque context_parallel(), mientras que Megatron-Core de NVIDIA recopila las claves y los valores mediante transferencias punto a punto con forma de anillo durante el pase hacia delante y reduce y dispersa sus gradientes durante el pase hacia atrás. El CP se diferencia del paralelismo de secuencias anterior de Megatron, que divide únicamente las activaciones de normalización de capas y dropout junto con el paralelismo tensorial, porque divide las entradas y todas las activaciones a lo largo de la secuencia.

Equilibrar la atención causal#

Con una máscara causal, el token i solo atiende a los i tokens anteriores y a sí mismo, por lo que los tokens posteriores requieren más cálculo. Si se asigna a cada GPU un cuarto contiguo de la secuencia, la primera GPU realiza poco trabajo y la última, la mayor parte; la GPU más ocupada marca el ritmo. Llama 3 y Megatron-Core dividen la secuencia en el doble de fragmentos que el número de GPU y asignan a cada GPU un fragmento inicial y su reflejo del final:

import torch

seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1  # con una máscara causal, el token i atiende a i + 1 claves

# División contigua: el rank r toma el cuarto r de la secuencia
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]

# División equilibrada por carga: dividir en 2 * ranks fragmentos; el rank r toma el fragmento r y su reflejo desde el final
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]

print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank:  ", [round(w / 1e6, 1) for w in balanced])

La división contigua asigna a las cuatro GPU [2.1, 6.3, 10.5, 14.7] millones de puntuaciones de atención, una diferencia de 7×, mientras que la división reflejada asigna a cada una 8.4 millones.

Dónde se utiliza el paralelismo de contexto#

El principal uso es entrenar modelos de lenguaje grandes (LLM) con documentos y bases de código extensos. Meta amplió Llama 3 405B para procesar secuencias de 131.072 tokens con paralelismo de contexto de grado 16, junto con paralelismo tensorial, de canalización y de datos, en 16.384 GPU H100. Alcanzó el 38 % del rendimiento máximo en BF16, frente al 41 % del mismo clúster con 8.192 tokens. El vídeo es el otro caso de uso: Movie Gen, de Meta, entrenó su modelo de generación de vídeo de 30.000 millones de parámetros con clips codificados como secuencias de unos 73.000 tokens, mediante paralelismo de contexto, tensorial, de secuencias y de datos totalmente fragmentado. Los modelos de visión y lenguaje para vídeos largos y los sistemas de comprensión de vídeo alcanzan el mismo límite, porque cada fotograma añade cientos de tokens.

El paralelismo de contexto se combina con otras estrategias:

  • Paralelismo de canalización: Divide las capas del modelo entre las GPU.
  • Paralelismo de datos: Divide el lote entre copias completas del modelo.
  • Flash attention: Evita almacenar la matriz de atención en una sola GPU. Las implementaciones de paralelismo de contexto ejecutan en cada GPU un kernel similar sobre su bloque local.

Los modelos de imagen solo alcanzan estas longitudes con resoluciones muy altas, ya que la longitud de la secuencia aumenta con el número de parches o posiciones del mapa de características. Ultralytics YOLO26 aplica autoatención únicamente a su mapa de características más grueso, con stride 32, en las capas 10 y 22 de su configuración del modelo, así que la atención abarca 400 posiciones con el valor predeterminado imgsz=640 y 1.600 con imgsz=1280.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático