Masked Autoencoders (MAE)

Les autoencodeurs masqués (MAE) constituent une approche hautement efficace et évolutive de l’apprentissage auto-supervisé dans le vaste domaine de la vision par ordinateur. Introduit comme méthode pour entraîner des réseaux neuronaux fortement paramétrés sans nécessiter de jeux de données abondamment étiquetés, un MAE fonctionne en masquant intentionnellement une grande partie aléatoire de l’image d’entrée, puis en entraînant le modèle à reconstruire les pixels manquants. En prédisant correctement les informations visuelles masquées, le réseau acquiert naturellement une compréhension approfondie et sémantique des formes, des textures et des relations spatiales.

Cette technique s’inspire fortement du succès de la modélisation linguistique masquée dans les systèmes fondés sur le texte, mais elle est adaptée à la nature fortement dimensionnelle des données d’image. L’architecture repose sur le très populaire framework Transformer, qui utilise une structure asymétrique d’encodeur-décodeur.

Fonctionnement des autoencodeurs masqués#

L’innovation centrale du MAE réside dans son efficacité de traitement. Pendant l’entraînement, l’image d’entrée est divisée en une grille de patches. Un pourcentage élevé de ces patches, souvent jusqu’à 75 %, est masqué aléatoirement puis supprimé. L’encodeur, généralement un Transformer de vision (ViT), traite uniquement les patches visibles et non masqués. Comme l’encodeur ignore entièrement les parties masquées, il nécessite beaucoup moins de puissance de calcul et de mémoire, ce qui rend le processus d’entraînement remarquablement rapide.

Une fois que l’encodeur a généré les représentations latentes des patches visibles, un décodeur léger prend le relais. Le décodeur reçoit les patches visibles encodés ainsi que des « jetons de masque » (espaces réservés pour les données manquantes) et tente de reconstruire l’image originale. Comme le décodeur n’est utilisé que pendant la phase de pré-entraînement, il peut rester très compact, ce qui réduit encore la charge de calcul. Une fois le pré-entraînement terminé, le décodeur est supprimé et l’encodeur puissant est conservé pour les applications en aval.

Distinction entre les termes associés#

Pour bien comprendre les MAE, il est utile de voir en quoi ils diffèrent des concepts plus anciens ou plus généraux de deep learning :

• Autoencodeur : Un autoencodeur traditionnel compresse une entrée entière dans un espace latent plus petit, puis la reconstruit afin d’apprendre des codages efficaces des données. Un MAE, en revanche, oblige le réseau à prédire les données manquantes plutôt qu’à simplement compresser et décompresser l’entrée dans son ensemble.
• Apprentissage auto-supervisé : Il s’agit du paradigme d’entraînement général dans lequel un modèle apprend directement à partir des données, sans étiquettes annotées par des humains. Le MAE est une implémentation architecturale spécifique de ce concept.
• Modèle de fondation : Les MAE sont souvent utilisés pour pré-entraîner des modèles de fondation visuels, qui sont ensuite ajustés pour des tâches spécialisées.

Applications concrètes#

Comme les MAE apprennent des représentations extrêmement robustes des données visuelles, ils constituent des points de départ idéaux pour les systèmes d’IA complexes du monde réel.

• Pré-entraînement pour la détection avancée d’objets : Les riches capacités d’extraction de caractéristiques acquises lors du pré-entraînement avec un MAE peuvent considérablement améliorer les performances des systèmes de détection d’objets en aval. Par exemple, les caractéristiques apprises grâce au MAE peuvent être utilisées lors de l’entraînement de modèles comme Ultralytics YOLO26 sur des jeux de données personnalisés et spécialisés, lorsque les données étiquetées sont rares.
• Analyse d’images médicales : Dans des domaines comme la radiologie, la collecte de vastes jeux de données annotés d’IRM ou de scanners CT est coûteuse et limitée par les lois sur la protection de la vie privée. Les chercheurs utilisent les MAE pour pré-entraîner des modèles sur de grandes collections d’images médicales non étiquetées, publiées dans la littérature académique récente sur arXiv, avant de les ajuster pour détecter des tumeurs ou des anomalies avec très peu d’exemples étiquetés.

Gestion des données et déploiement#

Une fois qu’un backbone a été pré-entraîné avec une approche MAE, l’étape suivante consiste à ajuster et à déployer le modèle pour des tâches spécifiques comme la classification d’images ou la segmentation d’images. Les écosystèmes cloud modernes rendent cette transition fluide. Par exemple, les équipes peuvent tirer parti de l’Ultralytics Platform pour annoter facilement des jeux de données propres à chaque tâche, orchestrer l’entraînement dans le cloud et déployer les modèles ainsi obtenus, prêts pour la production, sur des appareils edge ou des serveurs. Cela élimine une grande partie du travail d’infrastructure standard généralement associé aux opérations de machine learning (MLOps).

Exemple de code : simulation du masquage de patches#

Bien que l’entraînement d’un MAE complet nécessite une architecture Transformer complète, le concept central du masquage de patches peut être facilement visualisé à l’aide des opérations sur des tenseurs PyTorch. Cet extrait simple montre comment sélectionner aléatoirement des patches visibles à partir d’un tenseur d’entrée.

import torch


def create_random_mask(batch_size, num_patches, mask_ratio=0.75):
    """Generates a random mask to simulate MAE patch dropping."""
    # Calculate how many patches to keep visible
    num_keep = int(num_patches * (1 - mask_ratio))

    # Generate random noise to determine patch shuffling
    noise = torch.rand(batch_size, num_patches)

    # Sort noise to get random indices
    ids_shuffle = torch.argsort(noise, dim=1)

    # Select the indices of the patches that remain visible
    ids_keep = ids_shuffle[:, :num_keep]

    return ids_keep


# Simulate a batch of 4 images, each divided into 196 patches
visible_patches = create_random_mask(batch_size=4, num_patches=196)
print(f"Visible patch indices shape: {visible_patches.shape}")

Pour les développeurs qui souhaitent intégrer des capacités visuelles puissantes et pré-entraînées à leurs workflows sans écrire d’architectures à partir de zéro, l’exploration de la vaste documentation Ultralytics constitue un excellent point de départ pour appliquer des modèles de vision de pointe à leurs problématiques spécifiques. En outre, des frameworks majeurs comme TensorFlow proposent également des écosystèmes robustes pour intégrer les recherches de pointe en machine learning dans des environnements de production évolutifs.