MixUp
MixUp combina esempi di addestramento e i relativi target per ridurre l’overfitting. Crea etichette di classe soft per la classificazione e mantiene i box per il rilevamento.
MixUp è una tecnica di data augmentation che combina due esempi di addestramento in uno e unisce i relativi target. Nella classificazione delle immagini, lo stesso rapporto controlla entrambe le combinazioni: se un’immagine contribuisce per il 70% alla combinazione dei pixel, la sua classe riceve il 70% del peso del target. Addestrare il modello su questi esempi intermedi incoraggia le sue previsioni a cambiare gradualmente da un campione all’altro.
Come funziona MixUp#
La versione standard di MixUp estrae un peso compreso tra zero e uno da una distribuzione Beta simmetrica parametrizzata da alpha. Per valori inferiori a 1, le estrazioni tendono verso gli estremi, quindi in genere un’immagine prevale sull’altra. Con valore pari a 1, gli intervalli della stessa ampiezza hanno la stessa probabilità. Per valori superiori a 1, le estrazioni si concentrano intorno a 0,5, producendo combinazioni più equilibrate. Il rapporto di combinazione determina il contributo di ciascun campione; una probabilità di applicazione separata, se disponibile, stabilisce con quale frequenza viene eseguita la trasformazione.
Hongyi Zhang, Moustapha Cissé, Yann N. Dauphin e David Lopez-Paz hanno introdotto la tecnica in mixup: oltre la minimizzazione del rischio empirico, pubblicato per la prima volta nel 2017 e presentato a ICLR 2018. Nel loro esperimento su CIFAR-10 di 200 epoche, condotto con una ResNet-18 pre-attivazione e un decadimento dei pesi pari a 0.0001, MixUp con alpha=1 ha ridotto l’errore mediano sul test nelle ultime 10 epoche dal 5.53% al 4.24%.
MixUp per la classificazione delle immagini#
Un’etichetta di classificazione delle immagini è spesso memorizzata come ID intero della classe. MixUp combina invece i vettori delle classi: quando le immagini appartengono a classi diverse, il risultato è un target soft con due pesi la cui somma è uno. Quando entrambe le immagini appartengono alla stessa classe, quella classe mantiene il peso completo. Con la loss di entropia incrociata, l’uso del target soft equivale a calcolare la loss per ciascuna etichetta originale a partire dalla stessa previsione dell’immagine combinata, quindi a sommare le due loss con i rispettivi pesi.
La trasformazione batch MixUp di Torchvision applica un peso di combinazione condiviso a un batch. L’esempio usa le immagini del gatto e del caffè dalla raccolta di esempi di scikit-image.
import torch
from skimage import data
from torchvision.transforms import v2
resize = v2.Resize((128, 128))
to_image = v2.ToImage()
cat = resize(to_image(data.chelsea()))
coffee = resize(to_image(data.coffee()))
images = torch.stack((cat, coffee)).float() / 255
labels = torch.tensor([0, 1])
mixup = v2.MixUp(alpha=1.0, num_classes=2)
mixed_images, mixed_targets = mixup(images, labels)
print(mixed_targets)Ogni riga stampata mostra i pesi del gatto e del caffè per un’immagine combinata. I pesi si invertono da una riga all’altra perché la trasformazione scambia i ruoli delle due immagini in questo batch.
Come il rilevamento degli oggetti gestisce le etichette combinate#
Un target di rilevamento degli oggetti contiene un riquadro di delimitazione e una classe per ogni oggetto. Fare la media di due riquadri potrebbe collocare quello risultante tra gli oggetti. La trasformazione MixUp di Ultralytics YOLO combina le immagini mantenendo separati i due insiemi di riquadri e ID di classe come target. L’impostazione mixup controlla la frequenza di esecuzione della trasformazione e ha come valore predefinito 0.0; il rapporto dei pixel viene campionato separatamente da Beta(32, 32), producendo combinazioni quasi equilibrate, e anche il limite di addestramento close_mosaic disattiva MixUp quando viene raggiunto.
Confronto tra MixUp e altre trasformazioni#
MixUp agisce come regolarizzazione, addestrando il modello su combinazioni di esempi che altrimenti potrebbe memorizzare. La combinazione dell’intera immagine può anche creare schemi che ricordano una terza classe. In un esperimento su MNIST, una combinazione delle cifre scritte a mano 1 e 5 assomigliava a un 8, sebbene il target assegnasse il 53% alla cifra 1 e il 47% alla cifra 5. L’immagine forniva quindi indizi visivi per una classe a cui era assegnato un peso target pari a zero.
- CutMix sostituisce una regione rettangolare con una porzione ritagliata da un’altra immagine. Nella classificazione, i pesi del target seguono l’area apportata da ciascuna immagine.
- Mosaic dispone più immagini su un’unica tela e rimappa le relative annotazioni in base alla nuova disposizione.
- L’ammorbidimento delle etichette ridistribuisce parte del peso del target tra le classi lasciando invariato l’input.
Manifold Mixup sposta l’interpolazione dagli input grezzi a un livello nascosto della rete. Continua a usare lo stesso peso di combinazione per le attivazioni nascoste e i target delle classi.














