Masked Autoencoders (MAE)

Masked Autoencoders (MAE) represent a highly efficient and scalable approach to self-supervised learning within the broader field of computer vision. Introduced as a method to train heavily parameterized neural networks without requiring extensively labeled datasets, an MAE functions by intentionally obscuring a large, random portion of an input image and training the model to reconstruct the missing pixels. By successfully predicting the hidden visual information, the network inherently learns a deep, semantic understanding of shapes, textures, and spatial relationships.

この手法は、テキストベースのシステムにおけるマスク言語モデルの成功に大きく触発されていますが、画像データの高次元性に合わせて調整されています。このアーキテクチャは、非常に人気のあるTransformerフレームワークに依存しており、非対称なエンコーダ・デコーダ構造を利用しています。

Link to this sectionMasked Autoencodersの仕組み#

MAEの核心的な革新性は、その処理効率にあります。トレーニング中、入力画像はパッチのグリッドに分割されます。これらのパッチの大部分（多くの場合最大75%）はランダムにマスクされ、破棄されます。通常Vision Transformer (ViT)であるエンコーダは、マスクされていない可視パッチのみを処理します。エンコーダはマスクされた部分を完全にスキップするため、必要な計算量とメモリが大幅に削減され、トレーニングプロセスが非常に高速になります。

エンコーダが可視パッチの潜在表現を生成した後、軽量なデコーダが引き継ぎます。デコーダは、エンコードされた可視パッチと「マスクされたトークン」（欠落データ用のプレースホルダー）を受け取り、元の画像の再構築を試みます。デコーダはこの事前トレーニング段階でのみ使用されるため、非常に小さく保つことができ、計算オーバーヘッドをさらに削減できます。事前トレーニングが完了すると、デコーダは破棄され、強力なエンコーダがダウンストリームのアプリケーション用に保持されます。

Link to this section関連用語の区別#

MAEを完全に把握するには、従来またはより広範なディープラーニングの概念とどのように異なるかを理解することが役立ちます。

• オートエンコーダ: 従来のオートエンコーダは、入力を小さな潜在空間に圧縮してから再構築し、効率的なデータコーディングを学習します。しかし、MAEは、単に入力を圧縮・解凍するのではなく、ネットワークに欠落しているデータを予測することを強制します。
• 自己教師あり学習: これは、モデルが人間によるアノテーションラベルなしでデータ自体から学習する、包括的なトレーニングパラダイムです。MAEは、この概念の特定のアーキテクチャ実装です。
• 基盤モデル: MAEは、視覚的な基盤モデルの事前トレーニングによく使用され、その後、専門的なタスクのために微調整（ファインチューニング）されます。

Link to this section実社会での応用#

MAEは視覚データの非常に堅牢な表現を学習するため、複雑で現実世界のAIシステムにとって理想的な出発点となります。

• 高度な物体検出のための事前トレーニング: MAEの事前トレーニングを通じて学習された豊富な特徴抽出機能は、ダウンストリームの物体検出システムのパフォーマンスを劇的に向上させることができます。例えば、MAEを通じて学習された特徴は、ラベル付きデータが不足しているカスタムのニッチなデータセットでUltralytics YOLO26のようなモデルをトレーニングする際に活用できます。
• 医療画像解析: 放射線医学などの分野では、MRIやCTスキャンの注釈付きの膨大なデータセットを収集することは高コストであり、プライバシー法によって制限されています。研究者はMAEを使用して、arXivの最近の学術論文で公開されているように、ラベルなし医療画像の巨大なプールでモデルを事前トレーニングし、少数のラベル付き例で腫瘍や異常を検出するように微調整します。

Link to this sectionデータとデプロイメントの管理#

MAEアプローチを使用してバックボーンが事前トレーニングされると、次のステップでは画像分類や画像セグメンテーションなどの特定のタスクに向けてモデルを微調整し、デプロイします。現代のクラウドエコシステムにより、この移行はシームレスになります。例えば、チームはUltralytics Platformを活用して、タスク固有のデータセットのアノテーション、クラウドトレーニングのオーケストレーション、および結果として得られた本番環境対応モデルのエッジデバイスやサーバーへのデプロイを容易に行うことができます。これにより、機械学習運用 (MLOps)に通常伴うボイラープレートなインフラストラクチャ作業の多くが排除されます。

Link to this sectionコード例: パッチマスキングのシミュレーション#

完全なMAEをトレーニングするには完全なTransformerアーキテクチャが必要ですが、パッチマスキングの核心的な概念はPyTorchテンソル操作を使用して簡単に視覚化できます。このシンプルなスニペットは、入力テンソルからどのように可視パッチをランダムに選択できるかを示しています。

import torch


def create_random_mask(batch_size, num_patches, mask_ratio=0.75):
    """Generates a random mask to simulate MAE patch dropping."""
    # Calculate how many patches to keep visible
    num_keep = int(num_patches * (1 - mask_ratio))

    # Generate random noise to determine patch shuffling
    noise = torch.rand(batch_size, num_patches)

    # Sort noise to get random indices
    ids_shuffle = torch.argsort(noise, dim=1)

    # Select the indices of the patches that remain visible
    ids_keep = ids_shuffle[:, :num_keep]

    return ids_keep


# Simulate a batch of 4 images, each divided into 196 patches
visible_patches = create_random_mask(batch_size=4, num_patches=196)
print(f"Visible patch indices shape: {visible_patches.shape}")

アーキテクチャを一から記述することなく、強力な事前トレーニング済みの視覚機能をワークフローに統合しようとしている開発者は、広範なUltralyticsドキュメントを探索することで、最先端のビジョンモデルを独自の課題に適用するための優れた出発点を得ることができます。さらに、TensorFlowのような主要なフレームワークも、最先端の機械学習研究をスケーラブルな本番環境に実装するための堅牢なエコシステムを提供しています。