Masked Autoencoders (MAE)

掩码自编码器（MAE）代表了更广泛的计算机视觉领域中一种高效且可扩展的自监督学习方法。作为一种无需大规模标注数据集即可训练参数量很大的神经网络的方法，MAE 会有意遮挡输入图像中大面积的随机区域，并训练模型重建缺失的像素。通过成功预测隐藏的视觉信息，网络能够自然地学习形状、纹理和空间关系的深层语义理解。

这项技术深受文本系统中掩码语言建模成功经验的启发，但针对图像数据的高维特性进行了调整。其架构依赖广受欢迎的 Transformer框架，并采用非对称编码器-解码器结构。

掩码自编码器的工作原理#

MAE 的核心创新在于其处理效率。训练期间，输入图像会被划分为由多个图像块组成的网格。其中很大比例的图像块（通常最高可达 75%）会被随机遮挡并丢弃。编码器通常采用视觉 Transformer (ViT)，只处理可见且未被遮挡的图像块。由于编码器完全跳过被遮挡的部分，因此所需的计算和内存显著减少，使训练过程非常快速。

编码器为可见图像块生成潜在表示后，轻量级解码器会接手处理。解码器接收编码后的可见图像块以及“掩码标记”（缺失数据的占位符），并尝试重建原始图像。由于解码器仅在预训练阶段使用，因此可以设计得非常小，从而进一步降低计算开销。预训练完成后，解码器会被丢弃，而功能强大的编码器则会保留用于下游应用。

区分相关术语#

要全面理解 MAE，了解它与较早出现或更广泛的深度学习概念之间的差异会很有帮助：

• 自编码器： 传统自编码器会将完整输入压缩到更小的潜在空间中，然后再将其重建，以学习高效的数据编码。而 MAE 则迫使网络预测缺失的数据，而不仅仅是对完整输入进行压缩和解压缩。
• 自监督学习： 这是一种总体训练范式，模型从数据本身中学习，而无需人工标注的标签。MAE 是这一概念的一种具体架构实现。
• 基础模型： MAE 通常用于预训练视觉基础模型，然后再针对专门任务进行微调。

实际应用#

由于 MAE 能够学习视觉数据极其稳健的表示，因此非常适合作为复杂现实世界 AI 系统的起点。

• 高级目标检测的预训练： 通过 MAE 预训练学习到的丰富特征提取能力，可以显著提升下游目标检测系统的性能。例如，在标注数据稀缺的定制小众数据集上训练 Ultralytics YOLO26 等模型时，可以利用通过 MAE 学习到的特征。
• 医学图像分析： 在放射学等领域，收集大量带标注的 MRI 或 CT 扫描数据集成本高昂，并且受到隐私法律的限制。研究人员会使用 MAE 在大规模未标注医学图像集合上预训练模型，这些图像研究成果已发表在近期 arXiv 学术文献中，然后再对模型进行微调，以便使用极少量的标注样本检测肿瘤或异常。

数据管理与部署#

使用 MAE 方法预训练骨干网络后，下一步是针对特定任务（例如图像分类或图像分割）对模型进行微调和部署。现代云生态系统让这一过渡变得十分顺畅。例如，团队可以利用 Ultralytics Platform轻松标注特定任务的数据集、编排云端训练，并将最终可用于生产的模型部署到边缘设备或服务器上。这消除了通常与机器学习运维 (MLOps)相关的大量基础设施样板工作。

代码示例：模拟图像块遮挡#

虽然训练完整的 MAE 需要完整的 Transformer 架构，但使用 PyTorch 张量操作可以轻松演示图像块遮挡的核心概念。以下简单代码片段展示了如何从输入张量中随机选择可见图像块。

import torch


def create_random_mask(batch_size, num_patches, mask_ratio=0.75):
    """Generates a random mask to simulate MAE patch dropping."""
    # Calculate how many patches to keep visible
    num_keep = int(num_patches * (1 - mask_ratio))

    # Generate random noise to determine patch shuffling
    noise = torch.rand(batch_size, num_patches)

    # Sort noise to get random indices
    ids_shuffle = torch.argsort(noise, dim=1)

    # Select the indices of the patches that remain visible
    ids_keep = ids_shuffle[:, :num_keep]

    return ids_keep


# Simulate a batch of 4 images, each divided into 196 patches
visible_patches = create_random_mask(batch_size=4, num_patches=196)
print(f"Visible patch indices shape: {visible_patches.shape}")

对于希望将强大的预训练视觉能力集成到工作流程中、又不想从头编写架构的开发者来说，探索丰富的 Ultralytics 文档可以为将最先进的视觉模型应用于独特挑战提供良好起点。此外，TensorFlow等主要框架也提供了稳健的生态系统，可将前沿的机器学习研究实现到可扩展的生产环境中。