Swin Transformer

Microsoft 연구원들이 2021년의 획기적인 논문 "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows"에서 소개한 이 deep learning (DL) 아키텍처는 고해상도 시각 데이터의 복잡성을 처리할 수 있도록 attention mechanism을 조정합니다. 길이가 일정한 텍스트 토큰을 처리하는 natural language processing 모델과 달리, 이 아키텍처는 시각적 요소의 크기가 크게 다양하다는 점을 인식합니다. 계층적 표현을 구축하고 고유한 윈도잉 기법을 활용함으로써 이미지 크기에 비례하는 linear computational complexity를 달성하여 다양한 computer vision (CV) 작업에 매우 효율적인 백본이 됩니다.

Shifted Windows와 계층적 설계의 작동 방식#

주요 혁신은 모델이 feature extraction을 구조화하는 방식에 있습니다. 먼저 입력 이미지를 겹치지 않는 작은 패치로 분할하는 것으로 시작합니다. 하지만 이전 모델들과 달리, 더 깊은 레이어에서 이러한 인접 패치들을 점진적으로 병합하여 더 큰 영역으로 만듭니다. 이러한 계층적 접근 방식을 통해 네트워크는 아주 작은 시각적 세부 사항부터 큰 객체에 이르기까지 다양한 스케일에서 전역적 컨텍스트를 나타내는 풍부한 feature maps을 추출할 수 있습니다.

연산 효율성을 유지하기 위해 self-attention은 전체 이미지 전반이 아니라 로컬의 격리된 윈도우 내에서만 계산됩니다. 이러한 경계를 넘어 정보가 흐르도록 하기 위해 윈도우들은 연속된 레이어 사이에서 "이동(shifted)"됩니다. 이 이동된 윈도우 체계는 전역 어텐션과 관련된 무거운 연산 부담 없이 독립된 영역들을 효과적으로 연결하여 포괄적인 multi-scale spatial hierarchies를 제공합니다.

Swin Transformer와 Vision Transformer(ViT) 비교#

현대 아키텍처를 비교할 때, 이 모델을 표준 Vision Transformer (ViT)와 구별하는 것이 중요합니다. 원래의 ViT는 이미지를 고정 크기 패치의 시퀀스로 취급하고 그 모두에 걸쳐 전역 어텐션을 동시에 계산합니다. 정확도는 매우 높지만 이로 인해 quadratic computational complexity가 발생하므로, 이미지 해상도가 증가함에 따라 처리 시간과 메모리 요구량이 치솟게 됩니다.

대조적으로, Swin 아키텍처의 계층적 및 윈도우 기반 설계는 복잡성을 선형으로 유지합니다. 이로 인해 고해상도 입력과 출력이 필요한 밀집 예측 작업에 훨씬 더 실용적입니다. 결과적으로 다중 스케일 object detection을 위한 COCO test-dev dataset과 정밀한 image segmentation을 위한 ADE20K semantic segmentation dataset 같은 벤치마크에서 최고 수준(state-of-the-art)의 결과를 달성합니다.

현대 AI에서의 실세계 응용 분야#

유연성과 효율성 덕분에 공식 Microsoft Research GitHub repository 구현체는 복잡하고 중요한 의미를 지닌 산업 전반에 걸쳐 적용되어 왔습니다.

• Medical Image Analysis: 임상 환경에서 Swin-Unet과 같은 네트워크는 volumetric 3D MRI scans 및 고해상도 조직병리학 분석에 이 아키텍처를 활용합니다. 밀집된 공간 계층 구조를 유지하는 모델의 능력은 초기 단계 종양과 같은 미세한 이상 징후를 식별하는 데 도움이 됩니다. medical imaging research의 최근 혁신에 대해 자세히 읽어볼 수 있습니다.
• Satellite Image Analysis: environmental monitoring and remote sensing을 위해 대규모 지리적 컨텍스트를 포착하는 것은 매우 중요합니다. 계층적 구조는 삼림 벌채 추적, 도시 계획, 작물 건강 모니터링을 위해 방대한 항공 데이터셋을 효율적으로 처리합니다.

PyTorch 및 Ultralytics와의 통합#

맞춤형 신경망을 구축하는 개발자의 경우, official PyTorch documentation을 사용하면 이 아키텍처를 쉽게 구현할 수 있습니다. torchvision library에는 ImageNet에서 최적화된 경량 Tiny 변형과 같은 사전 학습된 버전이 포함되어 있습니다.

import torch
from torchvision.models import Swin_T_Weights, swin_t

# Load a pre-trained Tiny variant with ImageNet weights
weights = Swin_T_Weights.IMAGENET1K_V1
model = swin_t(weights=weights)
model.eval()

# Run a single batch containing a 3-channel, 224x224 dummy image tensor
dummy_image = torch.randn(1, 3, 224, 224)
output = model(dummy_image)

# The output shape is [1, 1000], representing the 1000 ImageNet classes
print(f"Prediction tensor shape: {output.shape}")

Transformer 기반 백본은 우수한 다중 스케일 표현을 제공하지만, 최신 애플리케이션에서는 종종 edge AI devices를 위한 순수 엔드투엔드 최적화를 요구합니다. 예를 들어 Ultralytics YOLO26은 더 작고 빠르며 즉시 사용 가능한 높은 정확도의 기본 엔드투엔드 아키텍처를 제공하여 실시간 에지 환경에서 탁월한 성능을 발휘합니다. Transformer 중심 아키텍처를 사용하든 빠른 컨볼루션 모델을 사용하든, 개발자는 데이터 주석부터 학습까지 전체 워크플로를 Ultralytics Platform을 통해 관리할 수 있습니다. 이 포괄적인 클라우드 툴체인은 model deployment와 지속적인 model monitoring을 간단하고 효율적으로 만들어 줍니다.