Swin Transformer

Microsoft의 연구진이 2021년 발표한 획기적인 논문 "Swin Transformer: 계층적 비전 Transformer와 이동 창"에서 소개한 이 딥러닝 (DL) 아키텍처는 어텐션 메커니즘을 적용하여 고해상도 시각 데이터의 복잡성을 처리합니다. 동일한 길이의 텍스트 토큰을 처리하는 자연어 처리 모델과 달리, 이 아키텍처는 시각 요소의 크기가 크게 다를 수 있다는 점을 고려합니다. 계층적 표현을 구축하고 고유한 윈도잉 기법을 활용함으로써 이미지 크기에 대해 선형 계산 복잡도를 달성하여 다양한 컴퓨터 비전 (CV) 작업에 매우 효율적인 백본이 됩니다.

이동 창과 계층적 설계의 작동 방식#

이 모델의 주요 혁신은 특징 추출을 구조화하는 방식에 있습니다. 먼저 입력 이미지를 서로 겹치지 않는 작은 패치로 나눕니다. 그러나 이전 모델과 달리 더 깊은 레이어로 진행하면서 인접한 패치를 점진적으로 더 큰 영역으로 병합합니다. 이러한 계층적 접근 방식은 작은 시각적 세부 정보부터 큰 객체까지 다양한 스케일에서 전역 컨텍스트를 나타내는 풍부한 특징 맵을 네트워크가 추출할 수 있도록 합니다.

계산 효율성을 유지하기 위해 셀프 어텐션은 이미지 전체가 아니라 서로 분리된 로컬 윈도우 내에서만 계산됩니다. 이러한 경계를 넘어 정보가 흐르도록 연속된 레이어 사이에서 윈도우를 "이동"시킵니다. 이 이동 창 방식은 독립적인 영역을 효과적으로 연결하여 전역 어텐션에 수반되는 높은 계산 부담 없이 포괄적인 다중 스케일 공간 계층 구조를 제공합니다.

Swin Transformer와 Vision Transformer (ViT) 비교#

최신 아키텍처를 비교할 때는 이 모델을 표준 Vision Transformer (ViT)와 구분하는 것이 중요합니다. 원래의 ViT는 이미지를 고정 크기 패치의 시퀀스로 처리하고 모든 패치에 대해 전역 어텐션을 동시에 계산합니다. 정확도가 매우 높지만, 이 방식은 제곱 계산 복잡도를 초래하므로 이미지 해상도가 증가할수록 처리 시간과 메모리 요구량이 급격히 증가합니다.

반면 Swin 아키텍처의 계층적 윈도우 기반 설계는 복잡도를 선형으로 유지합니다. 따라서 고해상도 입력과 출력이 필요한 밀집 예측 작업에 훨씬 실용적입니다. 그 결과 다중 스케일 객체 탐지를 위한 COCO test-dev 데이터셋 및 정밀한 이미지 세그멘테이션을 위한 ADE20K 시맨틱 세그멘테이션 데이터셋과 같은 벤치마크에서 최신 수준의 결과를 달성합니다.

현대 AI의 실제 적용 사례#

유연성과 효율성 덕분에 공식 Microsoft Research GitHub 리포지토리의 구현은 복잡하고 중대한 의사결정이 필요한 다양한 산업에 적용되었습니다.

• 의료 이미지 분석: 임상 환경에서 Swin-Unet과 같은 네트워크는 이 아키텍처를 활용하여 볼류메트릭 3D MRI 스캔과 고해상도 조직병리학 분석을 수행합니다. 조밀한 공간 계층 구조를 유지하는 이 모델의 능력은 초기 종양과 같은 미세한 이상을 식별하는 데 도움이 됩니다. 최근의 의료 영상 연구 성과에 대해 더 알아볼 수 있습니다.
• 위성 이미지 분석: 환경 모니터링 및 원격 감지에서는 대규모 지리적 컨텍스트를 포착하는 것이 중요합니다. 계층적 구조는 방대한 항공 데이터셋을 효율적으로 처리하여 산림 벌채 추적, 도시 계획 및 작물 생육 상태 모니터링을 지원합니다.

PyTorch 및 Ultralytics와의 통합#

커스텀 신경망을 구축하는 개발자는 공식 PyTorch 문서를 사용하여 이 아키텍처를 간단하게 구현할 수 있습니다. torchvision 라이브러리에는 ImageNet에 최적화된 경량 Tiny 변형과 같은 사전 학습 버전이 포함되어 있습니다.

import torch
from torchvision.models import Swin_T_Weights, swin_t

# Load a pre-trained Tiny variant with ImageNet weights
weights = Swin_T_Weights.IMAGENET1K_V1
model = swin_t(weights=weights)
model.eval()

# Run a single batch containing a 3-channel, 224x224 dummy image tensor
dummy_image = torch.randn(1, 3, 224, 224)
output = model(dummy_image)

# The output shape is [1, 1000], representing the 1000 ImageNet classes
print(f"Prediction tensor shape: {output.shape}")

Transformer 기반 백본은 뛰어난 다중 스케일 표현을 제공하지만, 최신 애플리케이션에서는 엣지 AI 디바이스를 위한 완전한 엔드투엔드 최적화가 필요한 경우가 많습니다. 예를 들어 Ultralytics YOLO26은 기본 제공 상태에서 더 작고 빠르며 정확도가 높은 네이티브 엔드투엔드 아키텍처를 제공하여 실시간 엣지 환경에서 뛰어난 성능을 발휘합니다. Transformer 중심 아키텍처를 사용하든 빠른 컨볼루션 모델을 사용하든 개발자는 Ultralytics Platform을 통해 데이터 어노테이션부터 학습까지 전체 워크플로를 관리할 수 있습니다. 이 포괄적인 클라우드 툴체인은 모델 배포와 지속적인 모델 모니터링을 간단하고 효율적으로 지원합니다.