MixUp
MixUp mélange des exemples d’entraînement et leurs cibles afin de réduire le surapprentissage. Cette technique crée des étiquettes de classe souples pour la classification et conserve les boîtes pour la détection.
MixUp est une technique d’augmentation des données qui fusionne deux exemples d’entraînement en un seul et combine leurs cibles. En classification d’images, le même ratio contrôle les deux mélanges : si une image contribue à 70 % du mélange de pixels, sa classe reçoit 70 % du poids de la cible. L’entraînement sur ces exemples intermédiaires incite les prédictions du modèle à évoluer progressivement d’un échantillon à l’autre.
Fonctionnement de MixUp#
La méthode MixUp standard tire un poids compris entre zéro et un dans une loi bêta symétrique paramétrée par alpha. En dessous de 1, les tirages favorisent les extrémités, si bien qu’une image domine généralement. À 1, les intervalles de largeur égale sont équiprobables. Au-dessus de 1, les tirages se concentrent autour de 0,5, ce qui produit des mélanges plus équilibrés. Le ratio de mélange détermine la contribution de chaque échantillon ; une probabilité d’application distincte, lorsqu’elle est disponible, détermine la fréquence d’exécution de la transformation.
Hongyi Zhang, Moustapha Cissé, Yann N. Dauphin et David Lopez-Paz ont présenté cette technique dans mixup : au-delà de la minimisation du risque empirique, publiée pour la première fois en 2017 et présentée à ICLR 2018. Dans leur expérience de 200 époques sur CIFAR-10, avec un ResNet-18 à préactivation et une décroissance des poids de 0.0001, MixUp avec alpha=1 a réduit l’erreur médiane sur l’ensemble de test, calculée sur les 10 dernières époques, de 5.53 % à 4.24 %.
MixUp pour la classification d’images#
Une étiquette de classification d’images est souvent stockée sous forme d’identifiant de classe entier. MixUp combine plutôt les vecteurs de classe : lorsque les images appartiennent à des classes différentes, le résultat est une cible souple composée de deux poids dont la somme vaut un. Lorsque les deux images appartiennent à la même classe, cette classe conserve son poids total. Avec l’entropie croisée, utiliser la cible souple revient à calculer la perte pour chaque étiquette d’origine à partir de la même prédiction de l’image mélangée, puis à effectuer une somme pondérée des deux pertes.
La transformation MixUp par lot de Torchvision applique un poids de mélange commun à tout un lot. L’exemple utilise les images du chat et du café de la collection d’exemples de scikit-image.
import torch
from skimage import data
from torchvision.transforms import v2
resize = v2.Resize((128, 128))
to_image = v2.ToImage()
cat = resize(to_image(data.chelsea()))
coffee = resize(to_image(data.coffee()))
images = torch.stack((cat, coffee)).float() / 255
labels = torch.tensor([0, 1])
mixup = v2.MixUp(alpha=1.0, num_classes=2)
mixed_images, mixed_targets = mixup(images, labels)
print(mixed_targets)Chaque ligne affichée indique les poids du chat et du café pour une image mélangée. Les poids s’inversent d’une ligne à l’autre, car la transformation échange les rôles des deux images dans ce lot.
Gestion des étiquettes mélangées dans la détection d’objets#
Une cible de détection d’objets contient une boîte englobante et une classe pour chaque objet. La moyenne de deux boîtes pourrait placer la boîte résultante entre les objets. La transformation MixUp d’Ultralytics YOLO mélange les images tout en conservant les deux ensembles de boîtes et d’identifiants de classe comme cibles distinctes. Le paramètre mixup contrôle la fréquence d’exécution de la transformation et vaut par défaut 0.0 ; le ratio des pixels est échantillonné séparément dans Beta(32, 32), ce qui produit des mélanges presque équilibrés, et le seuil d’entraînement close_mosaic désactive également MixUp lorsqu’il est atteint.
Comparaison de MixUp avec d’autres augmentations#
MixUp agit comme une régularisation en entraînant le modèle sur des combinaisons d’exemples qu’il pourrait autrement mémoriser. Le mélange d’images complètes peut aussi créer des motifs qui ressemblent à une troisième classe. Dans une expérience sur MNIST, le mélange des chiffres manuscrits 1 et 5 ressemblait à un 8, alors que la cible attribuait 53 % au 1 et 47 % au 5. L’image fournissait ainsi des indices visuels en faveur d’une classe dont le poids dans la cible était nul.
- CutMix remplace une région rectangulaire par un fragment provenant d’une autre image. En classification, les poids de la cible suivent la proportion de la surface apportée par chaque image.
- Mosaic dispose plusieurs images sur une même toile et adapte leurs annotations à la nouvelle disposition.
- Le lissage des étiquettes redistribue une partie du poids de la cible entre les classes sans modifier l’entrée.
Manifold Mixup déplace l’interpolation des entrées brutes vers une couche cachée du réseau. Cette méthode utilise toujours le même poids de mélange pour les activations cachées et les cibles de classe.














