YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Context Parallelism

컨텍스트 병렬화는 긴 입력 시퀀스를 여러 GPU에 나누고, 어텐션 중 GPU끼리 키와 값을 교환하여 각 GPU에 필요한 메모리를 줄입니다.

컨텍스트 병렬화(CP)는 하나의 긴 입력 시퀀스를 여러 GPU에 나누는 분산 학습 기법입니다. 각 GPU는 토큰과 해당 토큰에서 계산된 모든 활성화의 연속 또는 교차 분할 영역을 보유하므로, 장치 수가 늘어날수록 장치별 필요 메모리가 줄어듭니다. 정규화와 피드포워드 블록처럼 토큰을 독립적으로 처리하는 층은 통신 없이 로컬 토큰에서 실행됩니다. 셀프 어텐션은 모든 쿼리가 모든 키를 참조할 수 있어 예외입니다. 전체 시퀀스에 적용한 어텐션과 정확히 동일한 출력을 만들기 위해 GPU 간에 키와 값을 교환합니다. 이는 모델 아키텍처와 학습으로 길이가 고정되는 컨텍스트 윈도우를 실행하기 위한 시스템 수준의 기법입니다.

GPU 간 키와 값 공유 방식#

구현 방식은 주로 키와 값이 필요한 GPU에 전달되는 방법에 따라 달라집니다.

  • 링 어텐션: GPU가 링 형태로 연결되어 각자 보유한 블록에서 연산하는 동안 이웃 GPU에 키-값 블록을 전달해, 전송을 연산과 겹쳐 처리합니다.
  • All-gather: 모든 GPU가 키와 값을 전부 수집한 다음 각자의 쿼리에 대해 어텐션을 계산합니다. Meta는 문서 마스크를 쉽게 지원할 수 있어 Llama 3에 이 방식을 선택했으며, 그룹화된 쿼리 어텐션을 사용하면 키와 값이 쿼리보다 훨씬 작아집니다.
  • All-to-all: DeepSpeed Ulysses는 데이터를 재배열해 각 GPU가 어텐션 헤드 일부에 해당하는 모든 토큰을 보유하도록 합니다. 이 방식에서는 병렬 처리 규모가 헤드 수로 제한됩니다.

PyTorch의 실험적 컨텍스트 병렬 API는 context_parallel() 블록 내부에서 스케일드 닷 프로덕트 어텐션을 링 어텐션으로 대체합니다. NVIDIA의 Megatron-Core는 순전파에서 링 형태의 점대점 전송으로 키와 값을 수집하고, 역전파에서는 해당 그래디언트를 리듀스-스캐터합니다. CP는 텐서 병렬화와 함께 레이어 정규화 및 드롭아웃 활성화만 나누는 Megatron의 기존 시퀀스 병렬화와 다릅니다. CP는 입력과 모든 활성화를 시퀀스 축을 따라 나누기 때문입니다.

인과적 어텐션 부하 균형 조정#

인과적 마스크에서는 토큰 i가 앞에 있는 i개 토큰과 자기 자신에만 어텐션을 적용하므로 뒤쪽 토큰일수록 연산량이 많습니다. 시퀀스의 연속된 4분의 1씩을 각 GPU에 할당하면 첫 번째 GPU의 작업량은 적고 마지막 GPU의 작업량은 가장 많아져, 가장 바쁜 GPU의 처리 속도에 전체 작업이 맞춰집니다. Llama 3와 Megatron-Core는 GPU 수의 두 배만큼 시퀀스를 청크로 나누고 각 GPU에 앞쪽 청크 하나와 끝에서 대칭되는 청크 하나를 할당합니다.

import torch

seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1  # 인과적 마스크에서 토큰 i는 i + 1개의 키에 어텐션을 적용합니다

# 연속 분할: rank r은 시퀀스의 r번째 4분의 1을 가져옵니다
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]

# 부하 균형 분할: 시퀀스를 2 * ranks개의 청크로 나누고, rank r은 청크 r과 끝에서 대칭되는 청크를 가져옵니다
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]

print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank:  ", [round(w / 1e6, 1) for w in balanced])

연속 분할에서는 네 GPU에 각각 [2.1, 6.3, 10.5, 14.7]백만 개의 어텐션 점수가 할당되어 부하 차이가 7배에 이릅니다. 대칭 분할에서는 각 GPU에 8.4백만 개가 할당됩니다.

컨텍스트 병렬화의 활용 분야#

긴 문서와 코드베이스를 대상으로 대규모 언어 모델(LLM)을 학습하는 것이 주요 활용 사례입니다. Meta는 16,384개의 H100 GPU에서 텐서, 파이프라인, 데이터 병렬화와 함께 16방향 컨텍스트 병렬화를 사용해 Llama 3 405B를 131,072개 토큰 시퀀스로 확장했습니다. 최고 BF16 처리량 대비 38%를 달성했으며, 같은 클러스터에서 시퀀스 길이가 8,192개 토큰일 때는 41%였습니다. 또 다른 활용 분야는 동영상입니다. Meta의 Movie Gen은 약 73,000개 토큰으로 인코딩된 클립을 대상으로 300억 개 매개변수의 동영상 생성 모델을 학습했으며, 컨텍스트 병렬화를 텐서, 시퀀스, 완전 샤딩 데이터 병렬화와 함께 사용했습니다. 긴 동영상을 처리하는 비전-언어 모델과 동영상 이해 시스템도 같은 한계에 부딪힙니다. 프레임마다 수백 개의 토큰이 추가되기 때문입니다.

컨텍스트 병렬화는 다른 전략과 함께 사용할 수 있습니다.

  • 파이프라인 병렬화: 모델의 층을 여러 GPU에 나눕니다.
  • 데이터 병렬화: 배치를 완전한 모델 복사본 여러 개에 나눕니다.
  • Flash attention: 한 GPU에 어텐션 행렬을 저장하지 않습니다. 컨텍스트 병렬화 구현에서는 각 GPU의 로컬 블록에서 이와 유사한 커널을 실행합니다.

이미지 모델은 시퀀스 길이가 패치 수 또는 특징 맵 위치 수에 따라 증가하므로 매우 높은 해상도에서만 이 길이에 도달합니다. Ultralytics YOLO26은 10번 및 22번 층에서 가장 거친 스트라이드 32 특징 맵에만 셀프 어텐션을 적용합니다. 따라서 어텐션은 기본 imgsz=640에서 400개 위치를, imgsz=1280에서 1,600개 위치를 대상으로 합니다. 자세한 내용은 모델 구성을 참조하세요.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요