MixUp
O MixUp combina exemplos de treino e os respetivos alvos para reduzir o sobreajuste. Cria rótulos de classe suaves para classificação e mantém as caixas para deteção.
O MixUp é uma técnica de aumento de dados que combina dois exemplos de treino num só e combina os respetivos alvos. Na classificação de imagens, a mesma proporção controla ambas as combinações: se uma imagem contribuir com 70% da combinação de píxeis, a respetiva classe recebe 70% do peso do alvo. O treino com estes exemplos intermédios incentiva as previsões do modelo a variar gradualmente entre amostras.
Como funciona o MixUp#
O MixUp padrão extrai um peso entre zero e um de uma distribuição Beta simétrica parametrizada por alpha. Abaixo de 1, as extrações tendem para os extremos, pelo que uma imagem normalmente predomina. Em 1, os intervalos de igual largura têm a mesma probabilidade. Acima de 1, as extrações concentram-se perto de 0,5, produzindo combinações mais equilibradas. A proporção de mistura determina a contribuição de cada amostra; uma probabilidade de aplicação separada, quando disponível, determina a frequência com que a transformação é executada.
Hongyi Zhang, Moustapha Cissé, Yann N. Dauphin e David Lopez-Paz apresentaram a técnica em mixup: Beyond Empirical Risk Minimization, publicada inicialmente em 2017 e apresentada na ICLR 2018. Na experiência CIFAR-10 de 200 épocas, com uma ResNet-18 com pré-ativação e decaimento de pesos de 0.0001, o MixUp com alpha=1 reduziu o erro mediano de teste nas 10 épocas finais de 5.53% para 4.24%.
MixUp para classificação de imagens#
Um rótulo de classificação de imagens é frequentemente armazenado como um ID de classe inteiro. O MixUp combina vetores de classe: quando as imagens pertencem a classes diferentes, o resultado é um alvo suave com dois pesos cuja soma é um. Quando ambas as imagens pertencem à mesma classe, essa classe mantém o peso total. Com a função de perda de entropia cruzada, utilizar o alvo suave equivale a calcular a perda para cada rótulo original com base na mesma previsão da imagem combinada e, em seguida, calcular a soma ponderada das duas perdas.
A transformação MixUp em lote do Torchvision aplica um peso de mistura partilhado a todo o lote. O exemplo utiliza as imagens do gato e do café da coleção de amostras do scikit-image.
import torch
from skimage import data
from torchvision.transforms import v2
resize = v2.Resize((128, 128))
to_image = v2.ToImage()
cat = resize(to_image(data.chelsea()))
coffee = resize(to_image(data.coffee()))
images = torch.stack((cat, coffee)).float() / 255
labels = torch.tensor([0, 1])
mixup = v2.MixUp(alpha=1.0, num_classes=2)
mixed_images, mixed_targets = mixup(images, labels)
print(mixed_targets)Cada linha apresentada mostra os pesos do gato e do café para uma imagem combinada. Os pesos trocam entre linhas porque a transformação inverte os papéis das duas imagens neste lote.
Como a deteção de objetos lida com rótulos misturados#
Um alvo de deteção de objetos contém uma caixa delimitadora e uma classe para cada objeto. A média de duas caixas poderia colocar a caixa resultante entre os objetos. A transformação MixUp do Ultralytics YOLO combina as imagens, mantendo ambos os conjuntos de caixas e IDs de classe como alvos separados. A definição mixup controla a frequência de execução da transformação e, por predefinição, é 0.0; a proporção de píxeis é amostrada separadamente a partir de Beta(32, 32), produzindo combinações quase equilibradas, e o limite de treino close_mosaic também desativa o MixUp quando entra em vigor.
Como o MixUp se compara a outros aumentos de dados#
O MixUp funciona como regularização, treinando o modelo com combinações de exemplos que, de outra forma, poderia memorizar. A combinação de imagens completas também pode criar padrões que se assemelham a uma terceira classe. Numa experiência com MNIST, uma combinação dos algarismos manuscritos 1 e 5 assemelhava-se a um 8, embora o alvo atribuísse 53% ao 1 e 47% ao 5. Assim, a imagem fornecia evidência visual de uma classe que recebeu peso zero no alvo.
- O CutMix substitui uma região retangular por um recorte de outra imagem. Na classificação, os pesos do alvo correspondem à área contribuída por cada imagem.
- O Mosaic dispõe várias imagens numa única tela e adapta as respetivas anotações ao novo esquema.
- O suavizado de rótulos redistribui parte do peso do alvo entre as classes sem alterar a entrada.
O Manifold Mixup desloca a interpolação das entradas brutas para uma camada oculta da rede. Continua a utilizar o mesmo peso de mistura para as ativações ocultas e os alvos de classe.














