Unsupervised Domain Adaptation (UDA)

L'adattamento non supervisionato al dominio (UDA) adatta un modello addestrato su dati etichettati in un contesto, il dominio sorgente, affinché funzioni in un contesto diverso, il dominio target, per il quale sono disponibili solo dati senza etichette. I due domini condividono lo stesso compito e le stesse classi, ma gli input hanno un aspetto diverso: rendering sintetici rispetto a foto reali, scanner di un ospedale rispetto a quelli di un altro, strade diurne rispetto a quelle notturne o un modello di telecamera rispetto a un altro. I modelli addestrati solo sul dominio sorgente spesso perdono gran parte della loro accuratezza sul target; UDA la recupera senza i costi di annotazione dei dati nel nuovo dominio. È una branca del transfer learning e il termine «non supervisionato» si riferisce solo all'assenza di etichette nel dominio target.

Perché lo spostamento di dominio è penalizzante#

Shai Ben-David e colleghi hanno formulato nel 2010 la teoria di riferimento per questo problema. L'errore di un classificatore sul dominio target è limitato da tre termini: l'errore sul dominio sorgente, una misura di quanto i due domini differiscono secondo la famiglia di classificatori e l'errore del miglior classificatore singolo per entrambi i domini. Il primo termine si riduce con il normale addestramento sulle etichette sorgente. La maggior parte dei metodi UDA interviene sul secondo, apprendendo feature per cui gli input sorgente e target appaiono simili; il terzo termine ricorda che l'adattamento fallisce quando cambia la relazione tra le etichette nei due domini.

Approcci principali#

• Allineamento delle statistiche: Allinea statistiche semplici delle feature sorgente e target. La discrepanza della media massima e CORAL, che allinea le covarianze delle feature, aggiungono una penalità alla loss di addestramento; AdaBN, proposto da Yanghao Li e colleghi nel 2016, ricalcola semplicemente media e varianza di ogni livello di normalizzazione dei batch sui dati target.
• Allineamento avversario: Le reti neurali avversarie al dominio (DANN), introdotte da Yaroslav Ganin e Victor Lempitsky nel 2015, addestrano un classificatore di dominio a distinguere le feature sorgente da quelle target, mentre un livello di inversione del gradiente spinge l'estrattore di feature a ingannarlo.
• Trasferimento di stile tra immagini: Modelli generativi come CycleGAN modificano lo stile delle immagini sorgente affinché assomiglino a quelle target, così le immagini di addestramento etichettate somigliano già a quelle in produzione, come avviene con CyCADA per le scene di guida.
• Autoapprendimento: Il modello sorgente etichetta le immagini target, le sue predizioni sicure diventano pseudo-etichette e il modello viene riaddestrato su queste, spesso con un modello insegnante aggiornato lentamente che mantiene stabili le etichette.
• Adattamento senza dati sorgente e in fase di test: SHOT adatta un modello addestrato senza accedere ai dati sorgente; TENT aggiorna solo i parametri di normalizzazione dei batch durante l'inferenza, rendendo più sicure le predizioni sui batch di test.

AdaBN mostra quanto divario tra domini possa dipendere dalle statistiche dei livelli di normalizzazione dei batch. Questo esempio PyTorch addestra una piccola rete su 1.000 cifre scritte a mano e la testa sulle cifre rimanenti, riprodotte come le acquisirebbe una telecamera con immagini sbiadite, contrasto più basso e luminosità più alta:

import torch
from sklearn.datasets import load_digits
from torch import nn

torch.manual_seed(0)
X, y = load_digits(return_X_y=True)
X, y = torch.tensor(X / 16, dtype=torch.float32), torch.tensor(y)
target_x = 0.3 * X[1000:] + 0.6  # target domain: the last 797 digits as a washed-out camera would capture them

# Train on the labeled source domain, the first 1,000 digits
model = nn.Sequential(nn.Linear(64, 64), nn.BatchNorm1d(64), nn.ReLU(), nn.Linear(64, 10))
optimizer = torch.optim.Adam(model.parameters(), lr=1e-2)
for _ in range(200):
    optimizer.zero_grad()
    nn.functional.cross_entropy(model(X[:1000]), y[:1000]).backward()
    optimizer.step()
model.eval()
print(f"Target accuracy before adaptation: {(model(target_x).argmax(1) == y[1000:]).float().mean():.3f}")

# AdaBN: replace the source BatchNorm statistics with those of the unlabeled target images
model[1].reset_running_stats()
model[1].momentum = None  # use a plain average over the target batch
model.train()
with torch.no_grad():
    model(target_x)
model.eval()
print(f"Target accuracy after adaptation: {(model(target_x).argmax(1) == y[1000:]).float().mean():.3f}")

L'accuratezza sulle cifre con distribuzione alterata passa da 0,290 a 0,940 senza usare una sola etichetta target, avvicinandosi al 94% ottenuto dallo stesso modello sulle cifre prima dell'alterazione. Il miglioramento è così ampio perché una variazione di contrasto e luminosità si traduce in uno spostamento e una riscalatura per feature dopo il primo livello lineare, esattamente ciò che la rinormalizzazione corregge; gli spostamenti di forma o contenuto richiedono i metodi più potenti descritti sopra.

Benchmark e applicazioni#

Office-31, pubblicato da Kate Saenko e colleghi nel 2010, contiene 4.110 immagini di 31 oggetti da ufficio provenienti da tre domini: foto di prodotti Amazon, scatti con webcam e foto DSLR. VisDA-2017 chiede ai modelli addestrati su rendering 3D sintetici di 12 categorie di oggetti di classificare foto reali; GTA5-to-Cityscapes addestra la segmentazione semantica su 24.966 fotogrammi di un videogioco e la testa su strade cittadine reali.

Lo stesso schema è alla base di applicazioni pratiche. I veicoli autonomi integrano filmati di guida reali con dati sintetici e rendering di simulatori; i modelli di analisi delle immagini mediche devono funzionare con scanner di produttori diversi e in ospedali diversi; i modelli per l'agricoltura devono adattarsi a nuovi campi, varietà di colture e stagioni. I rilevatori vengono spesso adattati tramite autoaddestramento: la funzione auto_annotate nel pacchetto Python di Ultralytics esegue un rilevatore YOLO26 su una cartella di immagini senza etichette, usa ciascun riquadro rilevato come prompt per il modello per segmentare qualsiasi elemento (SAM) di Meta e salva etichette di segmentazione in formato YOLO, così un rilevatore addestrato sul dominio sorgente può assegnare pseudo-etichette alle immagini del dominio di destinazione, da sottoporre a revisione e messa a punto.

UDA e contesti correlati#

Il fine-tuning supervisionato richiede etichette del dominio target, mentre l'apprendimento semi-supervisionato presuppone che i dati etichettati e quelli senza etichette provengano dalla stessa distribuzione. La generalizzazione al dominio non usa affatto dati target e punta invece alla robustezza rispetto a domini non visti tramite data augmentation e randomizzazione del dominio. L'ottimizzazione robusta rispetto alla distribuzione prepara a un insieme di possibili spostamenti, mentre UDA si adatta a un singolo dominio target di cui ha già visto le immagini; il monitoraggio del data drift mostra quando un modello distribuito è entrato in un nuovo dominio che richiede adattamento.