Swin Transformer

Microsoftの研究者が画期的な2021年の論文「Swin Transformer: 階層型ビジョンTransformerとシフトウィンドウ」で発表したこの深層学習（DL）アーキテクチャは、アテンションメカニズムを応用して、高解像度の視覚データが持つ複雑さに対応します。均一な長さのテキストトークンを処理する自然言語処理モデルとは異なり、このアーキテクチャは視覚要素のスケールが大きく異なることを認識します。階層型の表現を構築し、独自のウィンドウ分割手法を利用することで、画像サイズに対して線形の計算量を実現し、さまざまなコンピュータービジョン（CV）タスクに対応する非常に効率的なバックボーンとなっています。

シフトウィンドウと階層型設計の仕組み#

このモデルの主な革新は、特徴抽出の構造化方法にあります。まず、入力画像を小さく重ならないパッチに分割します。ただし、従来のモデルとは異なり、より深い層では隣接するパッチを段階的に結合し、より大きな領域にまとめます。この階層型アプローチにより、ネットワークは小さな視覚的ディテールから大きな物体まで、さまざまなスケールでグローバルコンテキストを表現する豊かな特徴マップを抽出できます。

計算効率を維持するため、自己アテンションは画像全体ではなく、局所的に分離されたウィンドウ内でのみ計算されます。これらの境界を越えて情報が流れるように、連続する層の間でウィンドウを「シフト」します。このシフトウィンドウ方式は独立した領域同士を効果的につなぎ、グローバルアテンションに伴う大きな計算負荷なしに、包括的なマルチスケール空間階層を提供します。

Swin TransformerとVision Transformer（ViT）の比較#

最新のアーキテクチャを比較する際には、このモデルと標準的なVision Transformer（ViT）を区別することが重要です。元のViTは、画像を固定サイズのパッチ列として扱い、それらすべてに対してグローバルアテンションを同時に計算します。精度は非常に高い一方で、これにより二次の計算量が生じます。つまり、画像の解像度が高くなるにつれて、処理時間とメモリ要件が急増します。

これに対して、Swinアーキテクチャの階層型かつウィンドウベースの設計では、計算量が線形に保たれます。そのため、高解像度の入力と出力を必要とする高密度予測タスクに、はるかに実用的です。その結果、マルチスケール物体検出向けのCOCO test-devデータセットや、精密な画像セグメンテーション向けのADE20Kセマンティックセグメンテーションデータセットなどのベンチマークで、最先端の結果を達成しています。

現代のAIにおける実世界の応用#

その柔軟性と効率性により、公式のMicrosoft Research GitHubリポジトリ実装は、複雑で重要性の高いさまざまな業界で応用されています。

• 医用画像解析: 臨床現場では、Swin-Unetなどのネットワークがこのアーキテクチャを活用して、ボリューメトリック3D MRIスキャンや高解像度の病理組織解析を行います。高密度な空間階層を保持できるこのモデルの能力は、初期段階の腫瘍などの微小な異常の特定に役立ちます。最近の医用画像研究における画期的な進展について、さらに詳しく確認できます。
• 衛星画像解析: 環境モニタリングとリモートセンシングでは、大規模な地理的コンテキストを捉えることが重要です。階層型構造により、大規模な航空画像データセットを効率的に処理し、森林破壊の追跡、都市計画、作物の健全性モニタリングに対応できます。

PyTorchとUltralyticsの統合#

カスタムニューラルネットワークを構築する開発者にとって、このアーキテクチャは公式PyTorchドキュメントを使用して簡単に実装できます。torchvisionライブラリには、ImageNetで最適化された軽量なTinyバリアントなど、学習済みのバージョンが含まれています。

import torch
from torchvision.models import Swin_T_Weights, swin_t

# Load a pre-trained Tiny variant with ImageNet weights
weights = Swin_T_Weights.IMAGENET1K_V1
model = swin_t(weights=weights)
model.eval()

# Run a single batch containing a 3-channel, 224x224 dummy image tensor
dummy_image = torch.randn(1, 3, 224, 224)
output = model(dummy_image)

# The output shape is [1, 1000], representing the 1000 ImageNet classes
print(f"Prediction tensor shape: {output.shape}")

Transformerベースのバックボーンは優れたマルチスケール表現を提供しますが、現代のアプリケーションでは、エッジAIデバイス向けに完全なエンドツーエンド最適化が求められることがよくあります。例えば、Ultralytics YOLO26は、ネイティブなエンドツーエンドアーキテクチャを提供しており、初期状態からより小型で高速かつ高精度で、リアルタイムのエッジ環境で優れた性能を発揮します。Transformerを多用するアーキテクチャでも高速な畳み込みモデルでも、開発者はデータアノテーションからトレーニングまで、ワークフロー全体をUltralytics Platformで管理できます。この包括的なクラウドツールチェーンにより、モデルデプロイと継続的なモデルモニタリングを簡単かつ効率的に行えます。