Diffusion Transformer (DiT)
Diffusion Transformer(DiT)는 디퓨전 모델의 U-Net을 Transformer로 대체해 Sora와 같은 모델의 이미지 및 동영상 생성 규모를 확장합니다.
확산 Transformer(DiT)는 Transformer의 순차 처리 능력과 확산 모델의 고충실도 이미지 합성 기능을 결합한 고급 생성 아키텍처입니다. 기존 확산 기반 시스템은 입력을 반복적으로 노이즈 제거하고 이미지를 생성하기 위해 합성곱 U-Net 아키텍처에 크게 의존했습니다. DiT는 U-Net 백본을 확장 가능한 Transformer 아키텍처로 대체하고, 비전 Transformer(ViT)가 이미지를 분석하는 방식과 유사하게 시각 데이터를 패치 시퀀스로 처리합니다. 이러한 패러다임 전환을 통해 모델은 더 예측 가능한 방식으로 확장되고, 연산 리소스가 늘어날수록 더욱 사실적이고 일관된 결과물을 생성합니다.
DiT와 기존 확산 모델의 차이점#
기존 확산 모델은 현대 생성형 AI의 토대이지만, U-Net 백본은 매개변수 수가 매우 큰 규모로 확장될 때 병목 현상을 겪는 경우가 많습니다. 반면 확산 Transformer는 대규모 언어 모델(LLMs)에서 관찰된 스케일링 법칙을 기본적으로 계승합니다. 공간 다운샘플링 편향을 없애고 전역 셀프 어텐션 메커니즘을 활용함으로써 DiT는 이미지나 비디오 프레임 전체에 걸친 복잡한 공간 관계를 학습합니다. Peebles와 Xie의 DiT 원 논문은 Transformer 연산량이 증가할수록 이미지 품질이 꾸준히 향상됨을 보여주었습니다.
실제 적용 사례#
Diffusion Transformer의 유연성과 확장성은 다양한 컴퓨터 비전 분야에서 중요한 혁신을 이끌었습니다:
-
고충실도 비디오 생성: DiT 아키텍처의 가장 두드러진 활용 분야는 텍스트-비디오 모델이며, OpenAI의 Sora 모델이 그 예입니다. DiT는 시간적 일관성과 3D 공간을 이해해 프레임별 물리적 논리를 유지하는 초현실적인 장편 비디오 클립을 합성함으로써 디지털 콘텐츠 제작과 시각 효과를 혁신합니다.
-
고급 이미지 합성: 상업 디자인 및 인공지능 기반 예술 생성에서 DiT는 전례 없는 텍스트-이미지 충실도를 제공합니다. 크리에이티브 에이전시는 이를 활용해 정확한 타이포그래피와 구도상의 사실성이 필요한 복잡한 프롬프트를 구현하여, 이전 U-Net 모델로는 구현하기 어려웠던 마케팅 에셋을 높은 정확도로 생성합니다.
Transformer 개념 구현하기#
DiT는 주로 대규모 생성 작업에 사용되지만, 표준 딥러닝 라이브러리를 사용해 DiT의 기반이 되는 셀프 어텐션 메커니즘을 살펴볼 수 있습니다. 다음 Python 스니펫은 PyTorch를 사용하여 펼친 이미지 패치가 Transformer 레이어를 통해 처리되는 방식을 보여줍니다. 이는 DiT 네트워크의 핵심 연산입니다.
import torch
import torch.nn as nn
# Define a standard Transformer layer acting as a DiT building block
transformer_layer = nn.TransformerEncoderLayer(d_model=256, nhead=8)
# Simulate flattened latent image patches (Sequence Length, Batch Size, Features)
latent_patches = torch.rand(196, 1, 256)
# Apply self-attention to process and relate patches globally
output_features = transformer_layer(latent_patches)
print(f"Processed feature shape: {output_features.shape}")nn.TransformerEncoderLayer은 여러 PyTorch Transformer 레이어 중 하나이며, 각 레이어는 멀티헤드 셀프 어텐션과 피드포워드 네트워크를 결합합니다.
생성과 탐지의 연결#
Diffusion Transformer는 콘텐츠 생성 분야의 최첨단 기술이지만, 많은 엔터프라이즈 워크플로에는 합성보다 실시간 시각 분석이 필요합니다. 객체 탐지 및 이미지 분할과 같이 고속 추론이 필요한 작업에서는 경량 엣지 최적화 모델이 여전히 업계 표준입니다.
Ultralytics YOLO26은 이러한 분석용 컴퓨터 비전 작업에 적합하도록 설계되었습니다. 대규모 생성형 Transformer에 필요한 막대한 연산 오버헤드 없이 기본적으로 탁월한 속도와 정확도를 제공합니다. 데이터셋 생성부터 엔터프라이즈급 배포까지 손쉽게 진행하기 위해 개발자는 견고한 시각 AI 파이프라인을 관리하는 엔드투엔드 솔루션인 Ultralytics Platform을 활용합니다.
