Masked Autoencoders (MAE)

Masked Autoencoders (MAE)は、自己教師あり学習において、コンピュータービジョンという広範な分野で非常に効率的かつスケーラブルなアプローチを提示します。大規模なラベル付きデータセットを必要とせずに、多数のパラメーターを持つニューラルネットワークを訓練するための手法として導入されたMAEは、入力画像からランダムな大部分を意図的に隠し、欠落したピクセルを再構築するようにモデルを訓練することで機能します。隠された視覚情報を首尾よく予測することで、ネットワークは形状、テクスチャ、空間的関係に関する深い意味的理解を本質的に学習します。

この技術は、テキストベースシステムにおけるマスク言語モデリングの成功に大きく触発されていますが、画像データの高次元の性質に合わせて適応されています。このアーキテクチャは、非常に人気のあるTransformerフレームワークに依存しており、非対称のエンコーダー・デコーダー構造を利用しています。

マスク付きオートエンコーダはどのように機能するか

MAEの核となる革新は、その処理効率にあります。学習中、入力画像はパッチのグリッドに分割されます。これらのパッチの大部分（しばしば最大75%）はランダムにマスクされ、破棄されます。エンコーダ（通常はVision Transformer (ViT)）は、可視の、マスクされていないパッチのみを処理します。エンコーダはマスクされた部分を完全にスキップするため、計算量とメモリが著しく少なくなり、学習プロセスが驚くほど高速になります。

エンコーダが可視パッチの潜在表現を生成した後、軽量なデコーダが引き継ぎます。デコーダは、エンコードされた可視パッチと「マスクトークン」（欠落データのプレースホルダー）を受け取り、元の画像を再構築しようとします。デコーダはこの事前学習フェーズでのみ使用されるため、非常に小さく保つことができ、計算オーバーヘッドをさらに削減します。事前学習が完了すると、デコーダは破棄され、強力なエンコーダが下流アプリケーションのために保持されます。

関連用語の区別

MAEを完全に理解するには、それらが古いまたはより広範な深層学習の概念とどのように異なるかを理解することが役立ちます。

• オートエンコーダ: 従来のオートエンコーダは、入力全体をより小さな潜在空間に圧縮し、その後再構築して効率的なデータ符号化を学習します。しかし、MAEは、入力全体を単に圧縮および解凍するのではなく、欠損データを予測するようにネットワークに強制します。
• 自己教師あり学習: これは、人間がアノテーションしたラベルなしに、モデルがデータ自体から学習する包括的なトレーニングパラダイムです。MAEはこの概念の特定のアーキテクチャ実装です。
• 基盤モデル: MAEは視覚基盤モデルの事前学習によく使用され、その後、専門的なタスクのためにファインチューニングされます。

実際のアプリケーション

MAEは視覚データの非常に堅牢な表現を学習するため、複雑な実世界のAIシステムにとって理想的な出発点となります。

• 高度な物体検出のための事前学習: MAE事前学習によって学習された豊富な特徴抽出能力は、ダウンストリームのobject detectionシステムの性能を劇的に向上させることができます。例えば、MAEを通じて学習された特徴は、ラベル付きデータが不足しているカスタムのニッチなデータセットでUltralytics YOLO26のようなモデルをトレーニングする際に利用できます。
• Medical Image Analysis: 放射線医学のような分野では、アノテーション付きMRIやCTスキャンの大規模なデータセットを収集することは費用がかかり、プライバシー法によって制限されます。研究者はMAEを使用して、arXivで公開された最近の学術文献にある大量のラベルなし医用画像でモデルを事前訓練し、その後、ごく少数のラベル付き例で腫瘍や異常をdetectするためにファインチューニングします。

データの管理とデプロイ

MAEアプローチを使用してバックボーンが事前学習されたら、次のステップは、画像分類や画像segmentationなどの特定のタスク向けにモデルをファインチューニングし、デプロイすることです。現代のクラウドエコシステムは、この移行をシームレスにします。例えば、チームはUltralytics Platformを活用して、タスク固有のデータセットを簡単にアノテーションし、クラウドトレーニングをオーケストレーションし、結果として得られる本番環境対応モデルをエッジデバイスやサーバーにデプロイできます。これにより、機械学習オペレーション (MLOps)に通常関連する多くの定型的なインフラストラクチャ作業が不要になります。

コード例: パッチマスキングのシミュレーション

完全なMAEをトレーニングするには完全なトランスフォーマーアーキテクチャが必要ですが、パッチマスキングのコアコンセプトは、PyTorch tensor 演算を使用して簡単に視覚化できます。この簡単なスニペットは、入力 tensor から可視パッチをランダムに選択する方法を示しています。

import torch


def create_random_mask(batch_size, num_patches, mask_ratio=0.75):
    """Generates a random mask to simulate MAE patch dropping."""
    # Calculate how many patches to keep visible
    num_keep = int(num_patches * (1 - mask_ratio))

    # Generate random noise to determine patch shuffling
    noise = torch.rand(batch_size, num_patches)

    # Sort noise to get random indices
    ids_shuffle = torch.argsort(noise, dim=1)

    # Select the indices of the patches that remain visible
    ids_keep = ids_shuffle[:, :num_keep]

    return ids_keep


# Simulate a batch of 4 images, each divided into 196 patches
visible_patches = create_random_mask(batch_size=4, num_patches=196)
print(f"Visible patch indices shape: {visible_patches.shape}")

アーキテクチャをゼロから記述することなく、強力な事前学習済みビジョン機能をワークフローに統合しようとしている開発者にとって、広範なUltralyticsドキュメントを探索することは、最先端のビジョンモデルを独自の課題に適用するための優れた出発点となります。さらに、TensorFlowのような主要なフレームワークも、最先端の機械学習研究をスケーラブルな本番環境に実装するための堅牢なエコシステムを提供しています。