Tensor Parallelism
텐서 병렬 처리가 GPU 간에 가중치 행렬을 분할하여 거대 모델을 학습시키는 방법을 배우세요. Ultralytics와 함께 데이터 병렬 처리와 어떻게 다른지 살펴보세요.
Tensor Parallelism은 머신러닝에서 대규모 개별 수학적 구조(즉, 텐서)를 GPUs나 TPU와 같은 여러 하드웨어 가속기에 분산시키기 위해 사용되는 고급 distributed training 기법입니다. 대규모 deep learning 모델을 학습할 때 매개변수 개수가 단일 장치의 메모리 용량을 쉽게 초과할 수 있습니다. neural network 레이어 전체를 하나의 GPU에 배치하는 대신, 텐서 병렬 처리는 가중치 행렬을 샤딩하고 클러스터 내 여러 장치에 걸쳐 수학적 연산(행렬 곱셈 등)을 분할합니다. 이를 통해 모델은 전체 하드웨어 설정의 결합된 메모리 및 연산 성능을 활용할 수 있으며, NVIDIA NVLink와 같은 고속 상호 연결을 통해 결과를 동기화하는 동시에 Single-Program Multiple-Data (SPMD) 패러다임으로 병렬 연산을 실행합니다.
텐서 병렬 처리의 작동 원리#
신경망의 핵심은 행렬 곱셈입니다. 텐서 병렬 처리는 행렬을 행 단위 또는 열 단위로 분할하여 이러한 연산을 분산시킵니다. 예를 들어 완전 연결 레이어 또는 transformer 어텐션 메커니즘에서 하나의 GPU는 행렬의 왼쪽 절반을 연산하고 다른 GPU는 오른쪽 절반을 연산할 수 있습니다. 병렬 연산이 완료되면 장치들은—종종 빠른 All-Reduce collective operations를 사용하여—통신을 수행하여 부분 결과를 집계한 후 완전한 텐서를 다음 레이어로 전달합니다. 2025년의 최근 학술적 발전은 대규모 컴퓨팅 클러스터의 병목 현상을 유발하는 통신 오버헤드를 줄이기 위해 부분적으로 동기화된 활성화 함수를 도입함으로써 이 프로세스를 더욱 최적화하고 있습니다.
관련 병렬 처리 기법과의 차이점#
텐서 병렬 처리가 분산 컴퓨팅의 넓은 범주에서 어떻게 위치하는지 이해하려면 다른 일반적인 전략들과 구분해야 합니다:
- 텐서 병렬 처리 vs. 모델 병렬 처리: 텐서 병렬 처리는 모델 병렬 처리의 매우 구체적인 하위 범주입니다. 일반적인 모델 병렬 처리가 모델을 어떤 방식으로든 장치 간에 분할하는 것을 의미하는 반면, 텐서 병렬 처리는 단일 레이어 내부의 개별 텐서를 샤딩하는 것만을 엄격하게 의미합니다.
- 텐서 병렬 처리 vs. 파이프라인 병렬 처리: 파이프라인 병렬 처리는 네트워크를 깊이별로 분할하여(예: 첫 번째 레이어들은 GPU 0에, 다음 레이어들은 GPU 1에 배치하는 방식) 수행하는 또 다른 모델 병렬 처리 형태입니다. 이는 파이프라인 버블(pipeline bubbles)로 알려진 순차적 종속성을 생성합니다. 텐서 병렬 처리는 레이어 자체를 분할하여 순차적 지연 없이 동시에 실행하지만, 훨씬 높은 네트워크 대역폭이 필요합니다.
- Tensor Parallelism vs. Data Parallelism: 데이터 병렬 처리에서는 전체 모델이 모든 GPU에 완전히 복제되며 학습 데이터셋만 장치들에 걸쳐 분할됩니다. 최신 GPU에 쉽게 적재되는 Ultralytics YOLO26과 같은 고도로 최적화된 아키텍처의 경우, PyTorch의
DistributedDataParallel을 통한 데이터 병렬 처리가 기본 메서드입니다. 텐서 병렬 처리는 일반적으로 단일 레이어의 매개변수가 하드웨어의 VRAM을 초과하여 OOM(Out-Of-Memory) 오류를 유발할 때만 필요합니다.
실제 애플리케이션 사례#
텐서 병렬 처리는 현대 AI 인프라, 특히 거대한 연산 규모를 요구하는 최첨단 아키텍처에서 필수적입니다:
- Training Large Language Models (LLMs): Massive foundation models like Meta's Llama 3 및 DeepSeek V3는 텐서 병렬 처리를 구현하기 위해 NVIDIA Megatron-LM과 같은 프레임워크를 활용합니다. 이러한 모델의 숨겨진 차원(hidden dimensions)과 어텐션 헤드가 매우 크기 때문에, real-time inference 동안 효율적으로 학습하고 낮은 지연 시간을 유지하려면 8-GPU 노드에 걸쳐 이를 분할하는 것이 필수적입니다.
- Large Vision Models (LVMs) and 3D Generation: As computer vision이 대규모 멀티모달 추론 시스템으로 확장됨에 따라, 연구원들은 거대한 비전 트랜스포머(ViTs)를 학습하기 위해 AWS SageMaker와 같은 서비스에서 파이프라인 병렬 처리와 결합된 텐서 병렬 처리를 사용합니다. 이 기법을 통해 거대한 연속 메모리 블록을 필요로 하는 고해상도 이미지 처리 및 비디오 생성을 수행할 수 있습니다.
PyTorch에서 텐서 병렬 처리 구현하기#
역사적으로 엔지니어들은 텐서를 샤딩하기 위해 복잡한 커스텀 분산 로직을 작성해야 했습니다. 최근 PyTorch는 이 워크플로를 기본적으로 단순화하는 DTensor(Distributed Tensor)을 도입했습니다. 다음은 official PyTorch Distributed Tensor API를 사용하여 행 단위로 샤딩된 텐서를 생성하는 예시입니다:
import torch
from torch.distributed.device_mesh import init_device_mesh
from torch.distributed.tensor import Shard, distribute_tensor
# Initialize a 1D device mesh across 2 GPUs
mesh = init_device_mesh("cuda", (2,))
# Create a standard PyTorch tensor (e.g., representing a layer's weights)
local_tensor = torch.randn(1024, 1024)
# Distribute the tensor across the GPUs by sharding along the first dimension (row-wise)
# Each GPU now holds a (512, 1024) chunk of the original tensor
distributed_tensor = distribute_tensor(local_tensor, mesh, [Shard(0)])
print(f"Global shape: {distributed_tensor.shape}, Local shape: {distributed_tensor.to_local().shape}")엣지 최적화 비전 작업과 신속한 model deployment를 위해 개발자들은 일반적으로 Ultralytics Platform에 의존하여 최적의 하드웨어 활용을 자동으로 처리합니다. 수십억 개 매개변수의 파운데이션 모델은 수동 텐서 병렬 처리 구성이 필요하지만, 간단한 CLI commands를 사용하여 기본 제공되는 기능만으로 YOLO26과 같은 모델의 학습을 효율적으로 확장할 수 있습니다. 이를 통해 강력한 model training tips와 함께 네이티브 데이터 병렬 처리 기법을 원활하게 활용하여 최대 처리량을 보장합니다.
