Licenciar o YOLO
Voltar ao glossário da Ultralytics

Context Parallelism

O paralelismo de contexto divide uma sequência de entrada longa entre GPUs que trocam chaves e valores durante a atenção, reduzindo a memória necessária em cada GPU.

O paralelismo de contexto (CP) é uma técnica de treino distribuído que divide uma única sequência de entrada longa por várias GPUs. Cada GPU contém uma parte contígua ou intercalada dos tokens e todas as ativações calculadas a partir deles, pelo que a memória necessária em cada dispositivo diminui à medida que se adicionam dispositivos. Camadas que tratam os tokens de forma independente, como a normalização e os blocos feed-forward, são executadas com tokens locais sem comunicação. A autoatenção é a exceção, porque cada consulta pode examinar todas as chaves; por isso, as GPUs trocam chaves e valores para produzir exatamente a mesma saída que a atenção sobre a sequência completa. É uma técnica de sistemas para executar uma determinada janela de contexto, cujo comprimento é fixado pela arquitetura e pelo treino do modelo.

Como as GPUs partilham chaves e valores#

As implementações diferem sobretudo na forma como as chaves e os valores chegam às GPUs que precisam deles:

  • Atenção em anel: As GPUs formam um anel e transmitem blocos de pares chave-valor aos vizinhos enquanto calculam com o bloco que têm, ocultando as transferências sob os cálculos.
  • All-gather: Cada GPU recolhe todas as chaves e os valores e, em seguida, calcula a atenção para as suas próprias consultas. A Meta escolheu este método para o Llama 3 porque permite aplicar facilmente máscaras de documentos, e a atenção de consultas agrupadas mantém as chaves e os valores muito menores do que as consultas.
  • All-to-all: O DeepSpeed Ulysses reorganiza os dados para que cada GPU contenha todos os tokens de um subconjunto de cabeças de atenção, o que limita o grau de paralelismo ao número de cabeças.

A API experimental de paralelismo de contexto do PyTorch substitui a atenção de produto escalar escalado por atenção em anel dentro de um bloco context_parallel(), e o Megatron-Core da NVIDIA reúne chaves e valores através de transferências ponto a ponto em forma de anel na passagem direta e reduz e distribui os respetivos gradientes na passagem inversa. O CP difere do paralelismo de sequências mais antigo do Megatron, que divide apenas as ativações de normalização de camadas e dropout juntamente com o paralelismo de tensores, porque divide as entradas e todas as ativações ao longo da sequência.

Equilibrar a atenção causal#

Com uma máscara causal, o token i atende apenas aos i tokens anteriores e a si próprio, pelo que os tokens posteriores exigem mais cálculo. Atribuir a cada GPU um quarto contíguo da sequência deixa a primeira GPU com pouco trabalho e a última com a maior parte, e a GPU mais sobrecarregada determina o ritmo. O Llama 3 e o Megatron-Core dividem a sequência em duas vezes mais segmentos do que GPUs e atribuem a cada GPU um segmento inicial e a respetiva imagem espelhada do final:

import torch

seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1  # sob uma máscara causal, o token i atende a i + 1 chaves

# Divisão contígua: a classificação r recebe o r-ésimo quarto da sequência
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]

# Divisão equilibrada: dividir em 2 * classificações de segmentos; a classificação r recebe o segmento r e o seu espelho do final
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]

print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank:  ", [round(w / 1e6, 1) for w in balanced])

A divisão contígua atribui às quatro GPUs [2.1, 6.3, 10.5, 14.7] milhões de pontuações de atenção, uma diferença de 7×, enquanto a divisão espelhada atribui 8.4 milhões a cada uma.

Onde se utiliza o paralelismo de contexto#

O principal uso é treinar modelos de linguagem grandes (LLMs) com documentos longos e bases de código. A Meta alargou o Llama 3 405B para sequências de 131.072 tokens com paralelismo de contexto de 16 vias, em conjunto com paralelismo de tensores, de pipeline e de dados, em 16.384 GPUs H100, alcançando 38% do débito máximo de BF16, contra 41% para o mesmo cluster com 8.192 tokens. O vídeo é a outra aplicação: o Movie Gen da Meta treinou o seu modelo de geração de vídeo com 30 mil milhões de parâmetros em clipes codificados como cerca de 73.000 tokens, usando paralelismo de contexto com paralelismo de tensores, de sequências e de dados totalmente fragmentado. Os modelos de visão e linguagem e os sistemas de compreensão de vídeo com vídeos longos atingem o mesmo limite, porque cada fotograma acrescenta centenas de tokens.

O paralelismo de contexto combina-se com as outras estratégias:

  • Paralelismo de pipeline: Divide as camadas do modelo pelas GPUs.
  • Paralelismo de dados: Divide o lote por cópias completas do modelo.
  • Atenção Flash: Evita armazenar a matriz de atenção numa única GPU. As implementações de paralelismo de contexto executam um kernel semelhante em cada bloco local da GPU.

Os modelos de imagem só atingem estes comprimentos com resoluções muito elevadas, porque o comprimento da sequência aumenta com o número de patches ou posições do mapa de características. O Ultralytics YOLO26 coloca a autoatenção apenas no mapa de características mais grosseiro, com stride 32, nas camadas 10 e 22 da sua configuração de modelo; assim, a atenção abrange 400 posições no valor predefinido imgsz=640 e 1.600 em imgsz=1280.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina