Swin Transformer

2021년 획기적인 논문 "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows"에서 Microsoft 연구진이 처음 제안한 이 딥러닝(DL) 아키텍처는 고해상도 시각 데이터의 복잡성을 처리하기 위해 어텐션 메커니즘을 적용합니다. 균일한 길이의 텍스트 토큰을 처리하는 자연어 처리 모델과 달리, 이 아키텍처는 시각적 요소가 규모에 따라 크게 달라진다는 점을 인식합니다. 계층적 표현을 구축하고 고유한 윈도우 기법을 활용함으로써 이미지 크기에 비례하는 선형 계산 복잡도를 달성하여 다양한 컴퓨터 비전(CV) 작업에 매우 효율적인 백본이 됩니다.

Link to this sectionShifted Windows와 계층적 설계의 작동 방식#

주요 혁신은 모델이 특징 추출을 구조화하는 방식에 있습니다. 입력 이미지를 겹치지 않는 작은 패치로 나누는 것부터 시작하지만, 초기 모델들과 달리 더 깊은 레이어에서 이러한 인접 패치들을 점진적으로 병합합니다. 이러한 계층적 접근 방식을 통해 네트워크는 작은 시각적 세부 사항부터 큰 객체에 이르기까지 다양한 규모의 글로벌 컨텍스트를 나타내는 풍부한 특징 맵(feature maps)을 추출할 수 있습니다.

계산 효율성을 유지하기 위해 셀프 어텐션은 전체 이미지가 아닌 로컬의 고립된 윈도우 내에서만 계산됩니다. 이러한 경계 전반에 걸쳐 정보가 흐르도록 하기 위해 윈도우는 연속적인 레이어 간에 "이동(shifted)"됩니다. 이 shifted window 방식은 독립적인 영역을 효과적으로 연결하며, 글로벌 어텐션과 관련된 과도한 계산 부담 없이 포괄적인 다중 규모 공간 계층(multi-scale spatial hierarchies)을 제공합니다.

Link to this sectionSwin Transformer와 Vision Transformer(ViT) 비교#

현대적인 아키텍처를 비교할 때, 이 모델을 표준 Vision Transformer(ViT)와 구별하는 것이 중요합니다. 원래의 ViT는 이미지를 고정 크기 패치의 시퀀스로 취급하고 모든 패치에 대해 동시에 글로벌 어텐션을 계산합니다. 매우 정확하지만 이로 인해 이차 계산 복잡도가 발생하며, 이는 이미지 해상도가 높아짐에 따라 처리 시간과 메모리 요구 사항이 급증함을 의미합니다.

반면, Swin 아키텍처의 계층적 및 윈도우 기반 설계는 복잡도를 선형으로 유지합니다. 이는 고해상도 입력 및 출력이 필요한 밀집 예측 작업에 훨씬 더 실용적입니다. 결과적으로 COCO test-dev 데이터셋을 이용한 다중 규모 객체 탐지와 ADE20K 시맨틱 세그멘테이션 데이터셋을 이용한 정밀한 이미지 세그멘테이션 벤치마크에서 최첨단 결과를 달성합니다.

Link to this section현대 AI에서의 실세계 응용 분야#

유연성과 효율성 덕분에 공식 Microsoft Research GitHub 저장소 구현은 복잡하고 중요한 산업 전반에 걸쳐 채택되었습니다.

• 의료 영상 분석: 임상 환경에서 Swin-Unet과 같은 네트워크는 볼륨 3D MRI 스캔 및 고해상도 조직 병리학 분석을 위해 이 아키텍처를 활용합니다. 모델이 밀집된 공간 계층을 유지하는 능력은 초기 단계 종양과 같은 작은 이상 징후를 식별하는 데 도움이 됩니다. 의료 영상 연구의 최근 돌파구에 대해 더 자세히 읽어보실 수 있습니다.
• 위성 영상 분석: 환경 모니터링 및 원격 탐사의 경우, 대규모 지리적 컨텍스트를 포착하는 것이 중요합니다. 계층적 구조는 삼림 벌채 추적, 도시 계획, 작물 건강 모니터링을 위해 방대한 항공 데이터셋을 효율적으로 처리합니다.

Link to this sectionPyTorch 및 Ultralytics와의 통합#

맞춤형 신경망을 구축하는 개발자의 경우, 공식 PyTorch 문서를 사용하여 이 아키텍처를 구현하는 것은 간단합니다. torchvision 라이브러리에는 ImageNet에서 최적화된 경량 Tiny 변형과 같은 사전 학습된 버전이 포함되어 있습니다.

import torch
from torchvision.models import Swin_T_Weights, swin_t

# Load a pre-trained Tiny variant with ImageNet weights
weights = Swin_T_Weights.IMAGENET1K_V1
model = swin_t(weights=weights)
model.eval()

# Run a single batch containing a 3-channel, 224x224 dummy image tensor
dummy_image = torch.randn(1, 3, 224, 224)
output = model(dummy_image)

# The output shape is [1, 1000], representing the 1000 ImageNet classes
print(f"Prediction tensor shape: {output.shape}")

Transformer 기반 백본은 뛰어난 다중 규모 표현을 제공하지만, 현대적인 애플리케이션은 종종 엣지 AI 디바이스를 위한 순수 엔드 투 엔드 최적화를 요구합니다. 예를 들어, Ultralytics YOLO26은 더 작고 빠르며 즉시 사용 가능한 매우 정확한 엔드 투 엔드 아키텍처를 제공하여 실시간 엣지 환경에서 뛰어난 성능을 발휘합니다. Transformer 중심의 아키텍처를 사용하든 빠른 컨볼루션 모델을 사용하든, 개발자는 Ultralytics Platform을 통해 데이터 주석부터 학습까지 전체 워크플로우를 관리할 수 있습니다. 이 포괄적인 클라우드 툴체인은 모델 배포와 지속적인 모델 모니터링을 간단하고 효율적으로 만듭니다.