Masked Autoencoders (MAE)

Masked Autoencoders (MAE) represent a highly efficient and scalable approach to self-supervised learning within the broader field of computer vision. Introduced as a method to train heavily parameterized neural networks without requiring extensively labeled datasets, an MAE functions by intentionally obscuring a large, random portion of an input image and training the model to reconstruct the missing pixels. By successfully predicting the hidden visual information, the network inherently learns a deep, semantic understanding of shapes, textures, and spatial relationships.

这项技术深受基于文本系统中掩码语言建模成功经验的启发，并针对图像数据的高维特性进行了适配。其架构依赖于广受欢迎的 Transformer 框架，采用了非对称的编码器-解码器结构。

Link to this section掩码自编码器的工作原理#

MAE 的核心创新在于其处理效率。在训练期间，输入图像被分割成补丁网格。这些补丁中很大一部分（通常高达 75%）会被随机掩盖并丢弃。编码器（通常是 Vision Transformer (ViT)）仅处理可见的、未掩盖的补丁。由于编码器完全跳过了被掩盖的部分，因此它所需的计算和内存显著减少，从而使训练过程异常迅速。

在编码器生成可见补丁的潜在表示后，一个轻量级的解码器接管工作。解码器接收编码后的可见补丁以及“掩码标记”（缺失数据的占位符），并尝试重建原始图像。由于解码器仅在此预训练阶段使用，因此可以保持非常小巧，从而进一步降低了计算开销。一旦预训练完成，解码器即被丢弃，强大的编码器则会被保留用于下游应用。

Link to this section区分相关术语#

要充分掌握 MAE，了解它们与较旧或更广泛的深度学习概念有何区别会很有帮助：

• 自编码器： 传统的自编码器将整个输入压缩到一个较小的潜在空间，然后将其重建以学习高效的数据编码。然而，MAE 强制网络去预测缺失的数据，而不是仅仅压缩和解压缩整个输入。
• 自监督学习： 这是一种总括性的训练范式，模型在其中无需人工标注标签即可从数据本身进行学习。MAE 是这一概念的一种特定架构实现。
• 基础模型： MAE 常用于预训练视觉基础模型，随后这些模型会被微调以执行特定任务。

Link to this section实际应用#

由于 MAE 能学习到视觉数据极其稳健的表示，它们是处理复杂现实世界 AI 系统的理想起点。

• 高级目标检测的预训练： 通过 MAE 预训练所学到的丰富特征提取能力，可以显著提升下游目标检测系统的性能。例如，在标注数据稀缺的自定义垂直领域数据集上训练 Ultralytics YOLO26 等模型时，可以利用通过 MAE 学到的特征。
• 医学图像分析： 在放射学等领域，收集大量已标注的 MRI 或 CT 扫描数据集不仅昂贵，而且受到隐私法的限制。研究人员使用 MAE 在大量未标注的医学图像池上对模型进行预训练，并发布在 arXiv 上的近期学术文献中，然后再对它们进行微调，以便仅用极少数标注样本来检测肿瘤或异常。

Link to this section数据管理与部署#

一旦使用 MAE 方法预训练好主干网络，下一步就是针对图像分类或图像分割等特定任务进行微调和部署模型。现代云生态系统使这一过渡变得天衣无缝。例如，团队可以利用 Ultralytics Platform 轻松标注特定任务的数据集、编排云端训练，并将由此生成的生产就绪型模型部署到边缘设备或服务器上。这消除了通常与机器学习运维 (MLOps) 相关的大量样板基础设施工作。

Link to this section代码示例：模拟补丁掩码#

虽然训练完整的 MAE 需要一套完整的 Transformer 架构，但补丁掩码的核心概念可以使用 PyTorch 张量运算轻松实现可视化。这个简单的代码片段展示了如何从输入张量中随机选择可见的补丁。

import torch


def create_random_mask(batch_size, num_patches, mask_ratio=0.75):
    """Generates a random mask to simulate MAE patch dropping."""
    # Calculate how many patches to keep visible
    num_keep = int(num_patches * (1 - mask_ratio))

    # Generate random noise to determine patch shuffling
    noise = torch.rand(batch_size, num_patches)

    # Sort noise to get random indices
    ids_shuffle = torch.argsort(noise, dim=1)

    # Select the indices of the patches that remain visible
    ids_keep = ids_shuffle[:, :num_keep]

    return ids_keep


# Simulate a batch of 4 images, each divided into 196 patches
visible_patches = create_random_mask(batch_size=4, num_patches=196)
print(f"Visible patch indices shape: {visible_patches.shape}")

对于那些希望在不从零编写架构的情况下将强大的预训练视觉功能整合到工作流中的开发人员来说，探索丰富的 Ultralytics 文档可以为将最前沿的视觉模型应用于你的独特挑战提供绝佳的起点。此外，像 TensorFlow 这样的大型框架也提供了强大的生态系统，用于将尖端的机器学习研究转化为可扩展的生产环境。