Masked Autoencoders (MAE)

Maskierte Autoencoder (MAE) sind ein Verfahren des selbstüberwachten Lernens für Bilder: Das Modell verdeckt einen großen zufälligen Anteil der Bildausschnitte, in der Regel 75 %, und lernt, die fehlenden Pixel aus den sichtbaren Bereichen zu rekonstruieren. Kaiming He und seine Kolleginnen und Kollegen bei Meta AI stellten das Verfahren 2021 in der Studie Maskierte Autoencoder sind skalierbare Bildverarbeitungsmodelle vor und übertrugen damit die Vorhersage maskierter Wörter aus BERT auf Vision-Transformer. Da der Encoder nur die sichtbaren Ausschnitte verarbeitet, war das Vortraining mit MAE mindestens dreimal schneller als die Verarbeitung aller Ausschnitte. Ein auf diese Weise vortrainiertes ViT-Huge-Modell erreichte eine Genauigkeit von 87.8 % auf ImageNet – damals das beste Ergebnis unter den Verfahren, die ausschließlich ImageNet-1K-Daten verwendeten. Der vortrainierte Encoder dient anschließend als Backbone für Klassifizierung, Erkennung und Segmentierung.

So funktionieren Masked Autoencoders#

MAE unterteilt ein Bild in ein Raster überlappungsfreier Ausschnitte – bei einer Eingabe von 224x224 Pixeln sind es 196 Ausschnitte mit jeweils 16x16 Pixeln – und verdeckt zufällig den Großteil davon. Encoder und Decoder sind bewusst unterschiedlich aufgebaut. Der Encoder, ein Standard-ViT, verarbeitet nur die sichtbaren Ausschnitte. Dadurch sinken sein Rechen- und Speicherbedarf auf etwa ein Viertel. Ein schlanker Decoder – standardmäßig mit 8 Transformer-Blöcken und einem Rechenaufwand von weniger als 10 % des Encoders pro Token – erhält die codierten sichtbaren Ausschnitte sowie ein gemeinsames, lernbares Maskentoken für jede verborgene Position und sagt die Pixelwerte jedes verborgenen Ausschnitts voraus. Die Verlustfunktion ist der mittlere quadratische Fehler ausschließlich bei den verborgenen Ausschnitten. Die Verwendung pro Ausschnitt normalisierter Pixel als Zielwerte verbesserte die gelernten Merkmale zusätzlich. Nach dem Vortraining wird der Decoder verworfen:

Der hohe Maskierungsanteil macht die Aufgabe nützlich. Benachbarte Bildausschnitte sind stark redundant. Sind nur wenige Ausschnitte verborgen, kann das Modell jede Lücke durch Interpolation aus den Nachbarbereichen füllen. Bei einem Maskierungsanteil von 75 % muss es ganze Objekte und Szenen aus Fragmenten erschließen. Dadurch lernt es Formen, Teile und Kontext. BERT maskiert dagegen nur 15 % der Wörter, da jedes Wort bereits viel Bedeutung trägt.

Der Kern von MAE ist der hier in PyTorch gezeigte Maskierungsschritt für einen Stapel aus vier Bildern:

import torch

torch.manual_seed(0)
images = torch.rand(4, 3, 224, 224)  # a batch of 4 RGB images

# Patchify: each 224x224 image becomes 196 patches of 16x16 pixels, flattened to 768 values
patches = images.unfold(2, 16, 16).unfold(3, 16, 16).permute(0, 2, 3, 1, 4, 5).reshape(4, 196, 768)

# Random masking as in the MAE reference code: rank patches by random noise and keep the first 25%
keep = int(196 * (1 - 0.75))
ids_keep = torch.argsort(torch.rand(4, 196), dim=1)[:, :keep]
visible = torch.gather(patches, 1, ids_keep.unsqueeze(-1).expand(-1, -1, 768))

# Mask of hidden patches (1 = hidden): the decoder predicts these, and the loss is averaged over them only
mask = torch.ones(4, 196).scatter(1, ids_keep, 0)
print(f"Encoder input: {visible.shape[1]} of {patches.shape[1]} patches per image")
print(f"Reconstruction targets: {int(mask[0].sum())} hidden patches per image")

Die Ausgabe besteht aus Encoder input: 49 of 196 patches per image und Reconstruction targets: 147 hidden patches per image. Die Transformer-Schichten des Encoders verarbeiten daher eine Sequenz, die nur ein Viertel der Länge des vollständigen Bildes hat. Da die Aufmerksamkeit jedes Token mit allen anderen vergleicht, ist jede Aufmerksamkeitsmatrix ein Sechzehntel so groß wie bei allen 196 Ausschnitten.

Ergebnisse und Varianten#

Die Merkmale von MAE sind nach dem Feinabstimmen am stärksten. Beim linearen Klassifikator erreichte ein mit MAE vortrainierter ViT-L-Encoder eine ImageNet-Genauigkeit von 73.5 % und lag damit unter kontrastiven Verfahren. Bei der Feinabstimmung und Übertragung auf die Objekterkennung und Segmentierung auf COCO übertraf das MAE-Vortraining jedoch das überwachte Vortraining. Das Verfahren wurde erfolgreich über Standbilder hinaus angepasst: VideoMAE maskiert mindestens 90 % der Raum-Zeit-Ausschnitte eines Videoclips, SatMAE wird auf Satellitenbildern vortrainiert und ConvNeXt V2 überträgt maskierte Autoencoder mithilfe dünn besetzter Faltungen auf Faltungsnetzwerke.

Maskiertes Vortraining bildet auch die Grundlage für weit verbreitete Basismodelle. Metas Segment Anything Model (SAM), das im Ultralytics-Paket verfügbar ist, baut seinen Bildencoder auf einem mit MAE vortrainierten ViT auf. Die ViT-B-Version, sam_b.pt, ist das standardmäßige Maskenmodell in Ultralytics auto_annotate. Dieses wandelt die Boxen eines YOLO26-Detektors in Segmentierungslabels um.

Maskierte Autoencoder im Vergleich zu verwandten Begriffen#

• Autoencoder: Komprimiert die gesamte Eingabe zu einem kleinen Code und rekonstruiert sie. Ein MAE erhält eine unvollständige Eingabe und muss die Teile vorhersagen, die es nie gesehen hat. Die Ausgabe seines Encoders enthält einen Vektor pro sichtbarem Ausschnitt.
• Maskierte Bildmodellierung: Die übergeordnete Verfahrensfamilie, zu der MAE gehört. BEiT sagt diskrete visuelle Token für maskierte Ausschnitte voraus, und SimMIM leitet Maskentoken durch den Encoder. MAE dagegen sagt Pixel voraus und lässt Maskentoken aus dem Encoder heraus.
• Kontrastives Lernen: Lernt durch den Abgleich augmentierter Ansichten desselben Bildes und benötigt keinen Decoder. Dabei entstehen Merkmale, die sich besser ohne weitere Anpassung verwenden lassen, während sich MAE-Merkmale durch Feinabstimmung stärker verbessern.
• Joint Embedding Predictive Architecture (JEPA): Verbirgt ebenfalls Bildbereiche, sagt aber deren Einbettungen statt ihrer Pixel voraus. So muss das Modell keine Kapazität für Texturdetails aufwenden.