Masked Autoencoders (MAE)

Les autoencodeurs masqués (MAE) sont une méthode d’apprentissage auto-supervisé pour les images : le modèle masque une grande part aléatoire des patchs d’une image, généralement 75 %, et apprend à reconstruire les pixels manquants à partir des autres pixels visibles. Kaiming He et ses collègues de Meta AI ont présenté cette méthode dans l’article de 2021 Les autoencodeurs masqués sont des apprenants visuels évolutifs, en adaptant la prédiction de mots masqués de BERT aux transformeurs de vision. Comme l’encodeur traite uniquement les patchs visibles, le préentraînement MAE était au moins trois fois plus rapide que le traitement de tous les patchs ; un modèle ViT-Huge préentraîné de cette manière a atteint une précision de 87,8 % sur ImageNet, le meilleur résultat à l’époque parmi les méthodes utilisant uniquement les données ImageNet-1K. L’encodeur préentraîné sert ensuite de backbone pour la classification, la détection et la segmentation.

Fonctionnement des autoencodeurs masqués#

MAE divise une image en une grille de patchs sans chevauchement — 196 patchs de 16x16 pixels pour une entrée de 224x224 — et en masque aléatoirement la plupart. Son encodeur et son décodeur sont volontairement asymétriques. L’encodeur, un ViT standard, ne traite que les patchs visibles, ce qui réduit ses besoins en calcul et en mémoire à environ un quart. Un décodeur léger, composé par défaut de 8 blocs de transformeur et nécessitant moins de 10 % des calculs de l’encodeur par jeton, reçoit les patchs visibles encodés ainsi qu’un jeton de masque apprenable partagé pour chaque position masquée, puis prédit les valeurs des pixels de chaque patch masqué. La fonction de perte est l’erreur quadratique moyenne calculée uniquement sur les patchs masqués, et l’utilisation de pixels normalisés par patch comme cibles a encore amélioré les caractéristiques apprises. Après le préentraînement, le décodeur est supprimé :

C’est le taux de masquage élevé qui rend la tâche utile. Les patchs d’image voisins sont très redondants ; si seuls quelques patchs sont masqués, le modèle peut donc combler chaque lacune par interpolation à partir des patchs voisins. Avec 75 % de patchs masqués, il doit déduire des objets et des scènes entiers à partir de fragments, ce qui l’oblige à apprendre les formes, les parties et le contexte. À l’inverse, BERT ne masque que 15 % des mots, car chaque mot porte déjà une forte densité de sens.

Le cœur de MAE est son étape de masquage, illustrée ici avec PyTorch sur un lot de quatre images :

import torch

torch.manual_seed(0)
images = torch.rand(4, 3, 224, 224)  # a batch of 4 RGB images

# Patchify: each 224x224 image becomes 196 patches of 16x16 pixels, flattened to 768 values
patches = images.unfold(2, 16, 16).unfold(3, 16, 16).permute(0, 2, 3, 1, 4, 5).reshape(4, 196, 768)

# Random masking as in the MAE reference code: rank patches by random noise and keep the first 25%
keep = int(196 * (1 - 0.75))
ids_keep = torch.argsort(torch.rand(4, 196), dim=1)[:, :keep]
visible = torch.gather(patches, 1, ids_keep.unsqueeze(-1).expand(-1, -1, 768))

# Mask of hidden patches (1 = hidden): the decoder predicts these, and the loss is averaged over them only
mask = torch.ones(4, 196).scatter(1, ids_keep, 0)
print(f"Encoder input: {visible.shape[1]} of {patches.shape[1]} patches per image")
print(f"Reconstruction targets: {int(mask[0].sum())} hidden patches per image")

Le code affiche Encoder input: 49 of 196 patches per image et Reconstruction targets: 147 hidden patches per image. Les couches de transformeur de l’encodeur traitent donc une séquence quatre fois plus courte que celle de l’image complète ; comme l’attention compare chaque jeton à tous les autres, chaque matrice de scores d’attention est seize fois plus petite que si elle portait sur les 196 patchs.

Résultats et variantes#

Les caractéristiques MAE sont les plus performantes après affinage. Avec l’évaluation linéaire, un encodeur ViT-L préentraîné avec MAE a atteint une précision de 73,5 % sur ImageNet, en deçà des méthodes contrastives ; mais après affinage et transfert vers la détection d’objets et la segmentation sur COCO, le préentraînement MAE a surpassé le préentraînement supervisé. Cette méthode a été adaptée bien au-delà des images fixes : VideoMAE masque au moins 90 % des patchs spatio-temporels d’un extrait vidéo, SatMAE se préentraîne sur des images satellite, et ConvNeXt V2 transpose l’autoencodage masqué aux réseaux convolutifs au moyen de convolutions éparses.

Le préentraînement masqué est également à la base de nombreux modèles fondamentaux largement utilisés. Le Segment Anything Model (SAM) de Meta, disponible dans le package Ultralytics, construit son encodeur d’image sur un ViT préentraîné avec MAE ; sa version ViT-B, sam_b.pt, est le modèle de masque par défaut dans Ultralytics auto_annotate, qui convertit les boîtes d’un détecteur YOLO26 en étiquettes de segmentation.

Autoencodeurs masqués et termes apparentés#

• Autoencodeur : compresse toute l’entrée en un petit code, puis la reconstruit. Un MAE reçoit une entrée incomplète et doit prédire les parties qu’il n’a jamais vues ; sa sortie d’encodeur conserve un vecteur pour chaque patch visible.
• Modélisation d’images masquées : famille générale à laquelle appartient MAE. BEiT prédit des jetons visuels discrets pour les patchs masqués, et SimMIM fait passer des jetons de masque dans l’encodeur, tandis que MAE prédit les pixels et ne transmet pas les jetons de masque à l’encodeur.
• Apprentissage contrastif : apprend en rapprochant les vues augmentées d’une même image et n’a pas besoin de décodeur. Il produit des caractéristiques qui fonctionnent mieux lorsque le modèle est gelé, tandis que les caractéristiques MAE s’améliorent davantage avec l’affinage.
• Architecture prédictive à plongements conjoints (JEPA) : masque également des régions d’image, mais prédit leurs plongements plutôt que leurs pixels, ce qui évite au modèle de consacrer sa capacité aux détails de texture.