MixUp
MixUp mischt Trainingsbeispiele und ihre Zielwerte, um Überanpassung zu verringern. Dabei entstehen weiche Klassenlabels für die Klassifikation; bei der Objekterkennung bleiben die Begrenzungsrahmen erhalten.
MixUp ist eine Datenaugmentation, bei der zwei Trainingsbeispiele zu einem kombiniert und ihre Zielwerte zusammengeführt werden. Bei der Bildklassifikation steuert dasselbe Verhältnis beide Mischungen: Trägt ein Bild beispielsweise 70 % zur Pixelmischung bei, erhält seine Klasse 70 % des Zielgewichts. Das Training mit diesen Zwischenbeispielen regt das Modell dazu an, seine Vorhersagen schrittweise zwischen den Beispielen zu verändern.
So funktioniert MixUp#
Beim standardmäßigen MixUp wird ein Gewicht zwischen null und eins aus einer symmetrischen Beta-Verteilung gezogen, die durch alpha parametrisiert wird. Unter 1 werden Werte nahe den Endpunkten bevorzugt, sodass meist ein Bild überwiegt. Bei 1 sind Intervalle gleicher Breite gleich wahrscheinlich. Über 1 konzentrieren sich die Werte nahe 0,5, wodurch gleichmäßigere Mischungen entstehen. Das Mischungsverhältnis bestimmt, wie viel jedes Beispiel beiträgt; eine separate Anwendungswahrscheinlichkeit legt, sofern verfügbar, fest, wie oft die Transformation ausgeführt wird.
Hongyi Zhang, Moustapha Cissé, Yann N. Dauphin und David Lopez-Paz stellten die Technik in mixup: Beyond Empirical Risk Minimization vor, das erstmals 2017 veröffentlicht und auf der ICLR 2018 präsentiert wurde. In ihrem CIFAR-10-Experiment mit 200 Epochen, einem Pre-Activation-ResNet-18 und einer Gewichtsabnahme von 0.0001 verringerte MixUp mit alpha=1 den medianen Testfehler über die letzten 10 Epochen von 5.53 % auf 4.24 %.
MixUp für die Bildklassifikation#
Ein Label für die Bildklassifikation wird häufig als ganzzahlige Klassen-ID gespeichert. MixUp kombiniert stattdessen Klassenvektoren: Stammen die Bilder aus unterschiedlichen Klassen, entsteht ein weiches Ziel mit zwei Gewichten, deren Summe eins ergibt. Gehören beide Bilder derselben Klasse an, behält diese Klasse ihr volles Gewicht. Bei Verwendung des Kreuzentropieverlusts ist das weiche Ziel gleichbedeutend damit, den Verlust für jede ursprüngliche Beschriftung anhand derselben Vorhersage des gemischten Bildes zu berechnen und anschließend die beiden Verluste gewichtet zu summieren.
Die MixUp-Batch-Transformation von Torchvision wendet für einen gesamten Batch dasselbe Mischgewicht an. Das Beispiel verwendet die Katzen- und Kaffeebilder aus der Beispielsammlung von scikit-image.
import torch
from skimage import data
from torchvision.transforms import v2
resize = v2.Resize((128, 128))
to_image = v2.ToImage()
cat = resize(to_image(data.chelsea()))
coffee = resize(to_image(data.coffee()))
images = torch.stack((cat, coffee)).float() / 255
labels = torch.tensor([0, 1])
mixup = v2.MixUp(alpha=1.0, num_classes=2)
mixed_images, mixed_targets = mixup(images, labels)
print(mixed_targets)Jede ausgegebene Zeile zeigt die Gewichte für Katze und Kaffee eines gemischten Bildes. Die Gewichte wechseln sich zwischen den Zeilen ab, weil die Transformation in diesem Batch die Rollen der beiden Bilder vertauscht.
So geht die Objekterkennung mit gemischten Labels um#
Ein Ziel für die Objekterkennung enthält für jedes Objekt eine Begrenzungsbox und eine Klasse. Der Mittelwert zweier Boxen könnte die resultierende Box zwischen den Objekten platzieren. Die MixUp-Transformation von Ultralytics YOLO mischt die Bilder, behält jedoch beide Boxenmengen und Klassen-IDs als separate Ziele bei. Die Einstellung mixup legt fest, wie oft die Transformation ausgeführt wird, und hat standardmäßig den Wert 0.0; das Pixelverhältnis wird separat aus Beta(32, 32) gezogen und ergibt nahezu gleichmäßige Mischungen. Auch der Trainingsgrenzwert close_mosaic deaktiviert MixUp, sobald er greift.
Vergleich von MixUp mit anderen Augmentierungen#
MixUp dient der Regularisierung, indem das Modell mit Kombinationen von Beispielen trainiert wird, die es sich sonst einprägen könnte. Das Mischen ganzer Bilder kann auch Muster erzeugen, die einer dritten Klasse ähneln. In einem MNIST-Experiment ähnelte eine Mischung der handgeschriebenen Ziffern 1 und 5 einer 8, obwohl das Ziel der 1 ein Gewicht von 53 % und der 5 ein Gewicht von 47 % zuwies. Das Bild lieferte somit visuelle Hinweise auf eine Klasse, deren Zielgewicht null betrug.
- CutMix ersetzt einen rechteckigen Bereich durch einen Ausschnitt aus einem anderen Bild. Bei der Klassifikation richten sich die Zielgewichte nach dem Flächenanteil, den jedes Bild beiträgt.
- Mosaic ordnet mehrere Bilder auf einer gemeinsamen Leinwand an und passt ihre Annotationen an die neue Anordnung an.
- Label-Glättung verteilt einen Teil des Zielgewichts auf mehrere Klassen, während die Eingabe unverändert bleibt.
Manifold Mixup verlagert die Interpolation von den rohen Eingaben auf eine verborgene Schicht des Netzwerks. Dabei wird dasselbe Mischgewicht sowohl für die verborgenen Aktivierungen als auch für die Klassenziele verwendet.














