Masked Autoencoders (MAE)

Gli Autoencoder mascherati (MAE) rappresentano un approccio altamente efficiente e scalabile all'apprendimento autosupervisionato nell'ambito più ampio della visione artificiale. Introdotto come metodo per addestrare reti neurali con un numero elevato di parametri senza richiedere dataset ampiamente etichettati, un MAE funziona oscurando intenzionalmente una porzione ampia e casuale di un'immagine di input e addestrando il modello a ricostruire i pixel mancanti. Predicendo correttamente le informazioni visive nascoste, la rete apprende intrinsecamente una comprensione profonda e semantica di forme, texture e relazioni spaziali.

Questa tecnica trae forte ispirazione dal successo del masked language modeling nei sistemi basati sul testo, ma è adattata alla natura ad alta dimensionalità dei dati delle immagini. L'architettura si basa sul framework Transformer, ampiamente diffuso, e utilizza una struttura asimmetrica encoder-decoder.

Come funzionano gli Autoencoder mascherati#

L'innovazione fondamentale del MAE risiede nella sua efficienza di elaborazione. Durante l'addestramento, l'immagine di input viene suddivisa in una griglia di patch. Un'alta percentuale di queste patch (spesso fino al 75%) viene mascherata casualmente ed eliminata. L'encoder, in genere un Vision Transformer (ViT), elabora solo le patch visibili e non mascherate. Poiché l'encoder ignora completamente le porzioni mascherate, richiede una quantità significativamente inferiore di risorse di calcolo e memoria, rendendo il processo di addestramento straordinariamente veloce.

Dopo che l'encoder ha generato le rappresentazioni latenti delle patch visibili, entra in funzione un decoder leggero. Il decoder riceve le patch visibili codificate insieme ai "token maschera" (segnaposto per i dati mancanti) e cerca di ricostruire l'immagine originale. Poiché il decoder viene utilizzato solo durante questa fase di pre-addestramento, può essere mantenuto molto piccolo, riducendo ulteriormente il sovraccarico computazionale. Una volta completato il pre-addestramento, il decoder viene eliminato e l'encoder, più potente, viene mantenuto per le applicazioni a valle.

Distinguere i termini correlati#

Per comprendere appieno i MAE, è utile capire in cosa differiscono dai concetti più datati o generali di deep learning:

• Autoencoder: Un autoencoder tradizionale comprime un intero input in uno spazio latente più piccolo e poi lo ricostruisce per apprendere codifiche efficienti dei dati. Un MAE, invece, obbliga la rete a prevedere i dati mancanti anziché limitarsi a comprimere e decomprimere l'intero input.
• Apprendimento autosupervisionato: Questo è il paradigma di addestramento generale in cui un modello apprende dai dati stessi senza etichette annotate da esseri umani. Il MAE è un'implementazione architetturale specifica di questo concetto.
• Modello di base: I MAE vengono spesso utilizzati per il pre-addestramento di modelli di base per la visione, che vengono poi sottoposti a fine-tuning per attività specializzate.

Applicazioni nel mondo reale#

Poiché i MAE apprendono rappresentazioni estremamente robuste dei dati visivi, costituiscono punti di partenza ideali per sistemi di intelligenza artificiale complessi e applicabili al mondo reale.

• Pre-addestramento per il rilevamento avanzato degli oggetti: Le ricche capacità di estrazione delle caratteristiche apprese tramite il pre-addestramento MAE possono migliorare notevolmente le prestazioni dei sistemi di rilevamento degli oggetti a valle. Ad esempio, le caratteristiche apprese tramite MAE possono essere utilizzate durante l'addestramento di modelli come Ultralytics YOLO26 su dataset personalizzati e di nicchia, nei quali i dati etichettati sono scarsi.
• Analisi delle immagini mediche: In ambiti come la radiologia, la raccolta di enormi dataset di scansioni MRI o CT annotate è costosa e soggetta a limitazioni imposte dalle leggi sulla privacy. I ricercatori utilizzano i MAE per il pre-addestramento di modelli su grandi raccolte di immagini mediche non etichettate, pubblicate nella recente letteratura accademica su arXiv, prima di sottoporli a fine-tuning per rilevare tumori o anomalie con pochissimi esempi etichettati.

Gestione dei dati e distribuzione#

Una volta pre-addestrato un backbone utilizzando un approccio MAE, il passaggio successivo consiste nel sottoporre il modello a fine-tuning e distribuirlo per attività specifiche come la classificazione delle immagini o la segmentazione delle immagini. I moderni ecosistemi cloud rendono questa transizione fluida. Ad esempio, i team possono sfruttare la Ultralytics Platform per annotare facilmente dataset specifici per le attività, orchestrare l'addestramento nel cloud e distribuire i modelli risultanti, pronti per la produzione, su dispositivi edge o server. Questo elimina gran parte del lavoro infrastrutturale ripetitivo tipicamente associato alle operazioni di machine learning (MLOps).

Esempio di codice: simulazione del mascheramento delle patch#

Sebbene l'addestramento di un MAE completo richieda un'architettura Transformer completa, il concetto fondamentale del mascheramento delle patch può essere visualizzato facilmente utilizzando le operazioni sui tensori PyTorch. Questo semplice frammento mostra come si potrebbero selezionare casualmente le patch visibili da un tensore di input.

import torch


def create_random_mask(batch_size, num_patches, mask_ratio=0.75):
    """Generates a random mask to simulate MAE patch dropping."""
    # Calculate how many patches to keep visible
    num_keep = int(num_patches * (1 - mask_ratio))

    # Generate random noise to determine patch shuffling
    noise = torch.rand(batch_size, num_patches)

    # Sort noise to get random indices
    ids_shuffle = torch.argsort(noise, dim=1)

    # Select the indices of the patches that remain visible
    ids_keep = ids_shuffle[:, :num_keep]

    return ids_keep


# Simulate a batch of 4 images, each divided into 196 patches
visible_patches = create_random_mask(batch_size=4, num_patches=196)
print(f"Visible patch indices shape: {visible_patches.shape}")

Per gli sviluppatori che desiderano integrare potenti funzionalità visive pre-addestrate nei propri flussi di lavoro senza scrivere architetture da zero, esplorare l'ampia documentazione Ultralytics offre eccellenti punti di partenza per applicare modelli di visione all'avanguardia alle proprie sfide specifiche. Inoltre, anche framework importanti come TensorFlow offrono ecosistemi solidi per implementare la ricerca all'avanguardia nel campo del machine learning in ambienti di produzione scalabili.