Pipeline Parallelism

**파이프라인 병렬화(Pipeline Parallelism)**는 GPU와 같은 여러 연산 장치에 걸쳐 모델의 깊이 방향으로 분할함으로써 대규모 신경망(NN)을 분산 학습시키도록 설계된 고급 분산 학습(distributed training) 기법입니다. 최신 아키텍처의 모델 가중치(model weights) 및 옵티마이저 상태가 단일 가속기의 메모리 한계를 초과할 때, 엔지니어들은 네트워크의 순차적 레이어를 "스테이지"로 분할합니다. 예를 들어, 처음 10개의 레이어는 GPU 0에 상주하고 후속 10개의 레이어는 GPU 1에 상주할 수 있습니다. 순방향 패스(forward pass) 동안 데이터는 한 장치에서 다음 장치로 흐릅니다. 이러한 장치를 서로 연결함으로써 연구원들은 하드웨어 제한적인 메모리 부족 오류(out-of-memory errors) 발생 없이 대규모 딥러닝(DL) 알고리즘을 학습시킬 수 있습니다.

파이프라인 병렬 처리의 작동 방식#

장치 간 레이어를 분할하는 단순한 구현은 "파이프라인 버블"로 알려진 심각한 비효율성을 초래합니다. 레이어가 순차적으로 처리되기 때문에, GPU 0이 초기 레이어를 처리하는 동안 GPU 1은 완전히 유휴 상태로 대기합니다. 하드웨어 활용도를 극대화하기 위해 현대의 파이프라인 스케줄러는 전역 배치 크기(batch size)를 더 작은 "마이크로 배치"로 분할합니다.

전체 배치가 완료되기를 기다리는 대신, GPU 0은 첫 번째 마이크로 배치를 GPU 1로 전달하자마자 즉시 두 번째 마이크로 배치를 처리하기 시작합니다. Microsoft DeepSpeed 및 PyTorch Distributed Pipelining API와 같은 도구는 일반적으로 1F1B(One Forward, One Backward) 스케줄링 전략을 사용합니다. 이 방법은 서로 다른 마이크로 배치에 대한 순방향 및 역방향 패스 연산을 동시에 번갈아가며 수행하여 파이프라인 버블과 메모리 소비를 크게 최소화합니다. 최근 2024년 및 2025년의 발전 사항에서는 연산 클러스터 전반의 유휴 시간을 거의 없애주는 옵티마이저 인식 가중치 예측 전략인 제로 버블 파이프라인 병렬화(Zero Bubble Pipeline Parallelism)가 도입되기도 했습니다.

관련 병렬 처리 기법과의 차이점#

파이프라인 병렬 처리는 더 넓은 분산 컴퓨팅 전략 생태계 내에서 작동합니다. AI 모델을 효과적으로 확장하려면 그 차이점을 이해하는 것이 중요합니다.

• 모델 병렬 처리(Model Parallelism): 이는 모델을 여러 장치에 분할하는 것을 포괄하는 용어입니다. 파이프라인 병렬 처리는 아키텍처를 깊이에 따라 순차적으로 분할하는 매우 구체적인 형태의 모델 병렬 처리 방식입니다.
• 텐서 병렬화(Tensor Parallelism): 파이프라인 병렬화의 깊이 방향 분할과 달리, 텐서 병렬화는 개별 행렬 연산을 GPU에 걸쳐 수평으로 쪼갭니다(shards). 이 두 가지 기법은 처리량을 극대화하기 위해 자주 조합됩니다.
• 데이터 병렬화(Data Parallelism): 데이터 병렬화는 모든 GPU에 전체 모델을 복제하고 학습 데이터를 분배합니다. 단일 장치의 VRAM에 기본적으로 적합한 Ultralytics YOLO26 모델과 같은 컴팩트하고 고도로 최적화된 객체 검출(object detection) 및 이미지 세분화(image segmentation) 아키텍처의 경우, PyTorch의 DistributedDataParallel(DDP)을 통한 데이터 병렬화가 학습을 가속화하는 선호되는 방법입니다.

AI 및 ML에서의 실제 애플리케이션#

현대의 최첨단 AI 시스템을 구축하려면 복잡한 인프라를 확장하는 것이 필수적입니다.

• 파운데이션 모델 학습: 거대한 거대 언어 모델(LLM) 및 Meta의 Llama 3와 같은 파운데이션 모델(foundation models)을 개발하려면 텐서, 데이터, 파이프라인 병렬화를 결합해야 합니다. NVIDIA Megatron-LM과 같은 프레임워크는 이러한 전략을 활용하여 AWS SageMaker 같은 클라우드 플랫폼상의 수천 개 GPU에 걸쳐 대규모 혼합 전문가(Mixture-of-Experts, MoE) 아키텍처를 학습시킵니다.
• 고해상도 의료 진단: 의료 분야의 AI(AI in healthcare) 및 과학적 모델링에서 3D 볼류메트릭 스캔은 종종 하나의 가속기가 감당하기에는 너무 방대한 활성화 값을 생성합니다. 노드 전반에 네트워크 레이어를 파이프라인화함으로써 연구 병원은 이미지 해상도를 손상시키지 않으면서 방대한 MRI 데이터셋에서 딥 네트워크를 학습시킬 수 있습니다.

코드 예시: 레이어 분할 개념#

역사적으로 장치 간에 레이어를 분배하려면 복잡하고 맞춤화된 코드가 필요했습니다. 오늘날에는 기본 로직이 특정 레이어를 서로 다른 장치 식별자에 매핑합니다. 아래는 파이프라인 병렬 연산의 기초를 다지면서 PyTorch에서 네트워크 스테이지가 장치 간에 어떻게 분할되는지를 보여주는 개념적 표현입니다.

import torch.nn as nn


class SimplePipelineModel(nn.Module):
    def __init__(self):
        super().__init__()
        # Stage 1 is assigned to the first GPU
        self.stage1 = nn.Sequential(nn.Linear(1024, 1024), nn.ReLU()).to("cuda:0")
        # Stage 2 is assigned to the second GPU
        self.stage2 = nn.Sequential(nn.Linear(1024, 1024), nn.ReLU()).to("cuda:1")

    def forward(self, x):
        # The forward pass seamlessly crosses device boundaries
        x_out = self.stage1(x.to("cuda:0"))
        return self.stage2(x_out.to("cuda:1"))

파운데이션 모델을 생성하는 데는 복잡한 오케스트레이션이 필요하지만, 빠르고 확장 가능한 컴퓨터 비전(CV) 프로젝트를 배포하는 것은 일반적으로 더 간단합니다. 간소화된 모델 배포(model deployment) 및 자동화된 멀티 GPU 활용을 위해 개발자들은 자동으로 워크로드를 확장하는 Ultralytics Platform을 신뢰합니다. 강력한 모델 학습 팁(model training tips)을 활용하여, 이 플랫폼은 인프라 관리를 추상화하므로 엔지니어들은 실시간 추론(real-time inference)이 가능한 정확한 AI 솔루션을 구축하는 데 온전히 집중할 수 있습니다.