Context Parallelism
컨텍스트 병렬화는 긴 입력 시퀀스를 여러 GPU에 나누고, 어텐션 중 GPU끼리 키와 값을 교환하여 각 GPU에 필요한 메모리를 줄입니다.
컨텍스트 병렬화(CP)는 하나의 긴 입력 시퀀스를 여러 GPU에 나누는 분산 학습 기법입니다. 각 GPU는 토큰과 해당 토큰에서 계산된 모든 활성화의 연속 또는 교차 분할 영역을 보유하므로, 장치 수가 늘어날수록 장치별 필요 메모리가 줄어듭니다. 정규화와 피드포워드 블록처럼 토큰을 독립적으로 처리하는 층은 통신 없이 로컬 토큰에서 실행됩니다. 셀프 어텐션은 모든 쿼리가 모든 키를 참조할 수 있어 예외입니다. 전체 시퀀스에 적용한 어텐션과 정확히 동일한 출력을 만들기 위해 GPU 간에 키와 값을 교환합니다. 이는 모델 아키텍처와 학습으로 길이가 고정되는 컨텍스트 윈도우를 실행하기 위한 시스템 수준의 기법입니다.
GPU 간 키와 값 공유 방식#
구현 방식은 주로 키와 값이 필요한 GPU에 전달되는 방법에 따라 달라집니다.
- 링 어텐션: GPU가 링 형태로 연결되어 각자 보유한 블록에서 연산하는 동안 이웃 GPU에 키-값 블록을 전달해, 전송을 연산과 겹쳐 처리합니다.
- All-gather: 모든 GPU가 키와 값을 전부 수집한 다음 각자의 쿼리에 대해 어텐션을 계산합니다. Meta는 문서 마스크를 쉽게 지원할 수 있어 Llama 3에 이 방식을 선택했으며, 그룹화된 쿼리 어텐션을 사용하면 키와 값이 쿼리보다 훨씬 작아집니다.
- All-to-all: DeepSpeed Ulysses는 데이터를 재배열해 각 GPU가 어텐션 헤드 일부에 해당하는 모든 토큰을 보유하도록 합니다. 이 방식에서는 병렬 처리 규모가 헤드 수로 제한됩니다.
PyTorch의 실험적 컨텍스트 병렬 API는 context_parallel() 블록 내부에서 스케일드 닷 프로덕트 어텐션을 링 어텐션으로 대체합니다. NVIDIA의 Megatron-Core는 순전파에서 링 형태의 점대점 전송으로 키와 값을 수집하고, 역전파에서는 해당 그래디언트를 리듀스-스캐터합니다. CP는 텐서 병렬화와 함께 레이어 정규화 및 드롭아웃 활성화만 나누는 Megatron의 기존 시퀀스 병렬화와 다릅니다. CP는 입력과 모든 활성화를 시퀀스 축을 따라 나누기 때문입니다.
인과적 어텐션 부하 균형 조정#
인과적 마스크에서는 토큰 i가 앞에 있는 i개 토큰과 자기 자신에만 어텐션을 적용하므로 뒤쪽 토큰일수록 연산량이 많습니다. 시퀀스의 연속된 4분의 1씩을 각 GPU에 할당하면 첫 번째 GPU의 작업량은 적고 마지막 GPU의 작업량은 가장 많아져, 가장 바쁜 GPU의 처리 속도에 전체 작업이 맞춰집니다. Llama 3와 Megatron-Core는 GPU 수의 두 배만큼 시퀀스를 청크로 나누고 각 GPU에 앞쪽 청크 하나와 끝에서 대칭되는 청크 하나를 할당합니다.
import torch
seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1 # 인과적 마스크에서 토큰 i는 i + 1개의 키에 어텐션을 적용합니다
# 연속 분할: rank r은 시퀀스의 r번째 4분의 1을 가져옵니다
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]
# 부하 균형 분할: 시퀀스를 2 * ranks개의 청크로 나누고, rank r은 청크 r과 끝에서 대칭되는 청크를 가져옵니다
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]
print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank: ", [round(w / 1e6, 1) for w in balanced])연속 분할에서는 네 GPU에 각각 [2.1, 6.3, 10.5, 14.7]백만 개의 어텐션 점수가 할당되어 부하 차이가 7배에 이릅니다. 대칭 분할에서는 각 GPU에 8.4백만 개가 할당됩니다.
컨텍스트 병렬화의 활용 분야#
긴 문서와 코드베이스를 대상으로 대규모 언어 모델(LLM)을 학습하는 것이 주요 활용 사례입니다. Meta는 16,384개의 H100 GPU에서 텐서, 파이프라인, 데이터 병렬화와 함께 16방향 컨텍스트 병렬화를 사용해 Llama 3 405B를 131,072개 토큰 시퀀스로 확장했습니다. 최고 BF16 처리량 대비 38%를 달성했으며, 같은 클러스터에서 시퀀스 길이가 8,192개 토큰일 때는 41%였습니다. 또 다른 활용 분야는 동영상입니다. Meta의 Movie Gen은 약 73,000개 토큰으로 인코딩된 클립을 대상으로 300억 개 매개변수의 동영상 생성 모델을 학습했으며, 컨텍스트 병렬화를 텐서, 시퀀스, 완전 샤딩 데이터 병렬화와 함께 사용했습니다. 긴 동영상을 처리하는 비전-언어 모델과 동영상 이해 시스템도 같은 한계에 부딪힙니다. 프레임마다 수백 개의 토큰이 추가되기 때문입니다.
컨텍스트 병렬화는 다른 전략과 함께 사용할 수 있습니다.
- 파이프라인 병렬화: 모델의 층을 여러 GPU에 나눕니다.
- 데이터 병렬화: 배치를 완전한 모델 복사본 여러 개에 나눕니다.
- Flash attention: 한 GPU에 어텐션 행렬을 저장하지 않습니다. 컨텍스트 병렬화 구현에서는 각 GPU의 로컬 블록에서 이와 유사한 커널을 실행합니다.
이미지 모델은 시퀀스 길이가 패치 수 또는 특징 맵 위치 수에 따라 증가하므로 매우 높은 해상도에서만 이 길이에 도달합니다. Ultralytics YOLO26은 10번 및 22번 층에서 가장 거친 스트라이드 32 특징 맵에만 셀프 어텐션을 적용합니다. 따라서 어텐션은 기본 imgsz=640에서 400개 위치를, imgsz=1280에서 1,600개 위치를 대상으로 합니다. 자세한 내용은 모델 구성을 참조하세요.










