MixUp
MixUp смешивает обучающие примеры и соответствующие им целевые значения, чтобы снизить переобучение. Для классификации метод создает мягкие метки классов, а для детекции сохраняет боксы.
MixUp — это метод аугментации данных, который объединяет два обучающих примера в один и смешивает соответствующие им целевые значения. При классификации изображений один и тот же коэффициент определяет долю каждого изображения в обоих смешиваниях: если одно изображение составляет 70% смеси пикселей, его класс получает 70% веса целевого значения. Обучение на таких промежуточных примерах побуждает модель постепенно менять предсказания при переходе от одного примера к другому.
Как работает MixUp#
В стандартном MixUp вес выбирается из симметричного бета-распределения, заданного параметром alpha, и лежит между нулем и единицей. При значениях параметра ниже 1 выборки чаще приходятся на края диапазона, поэтому обычно преобладает одно изображение. При значении 1 все интервалы одинаковой ширины равновероятны. При значениях выше 1 выборки концентрируются около 0,5, что дает более равномерные смеси. Коэффициент смешивания определяет вклад каждого примера; отдельная вероятность применения, если она задана, определяет, как часто запускается преобразование.
Хонги Чжан, Мустафа Сиссе, Ян Н. Дофен и Дэвид Лопес-Пас представили этот метод в работе mixup: за пределами эмпирической минимизации риска, впервые опубликованной в 2017 году и представленной на ICLR 2018. В эксперименте на CIFAR-10 с обучением в течение 200 эпох, предварительной активацией ResNet-18 и затуханием весов 0.0001 применение MixUp с alpha=1 снизило медианную ошибку на тестовых данных за последние 10 эпох с 5.53% до 4.24%.
MixUp для классификации изображений#
Метка классификации изображений часто хранится как целочисленный идентификатор класса. MixUp вместо этого смешивает векторы классов: если изображения относятся к разным классам, результатом становится мягкая целевая метка с двумя весами, сумма которых равна единице. Если оба изображения принадлежат одному классу, этот класс сохраняет полный вес. При использовании кросс-энтропийной функции потерь мягкая целевая метка эквивалентна вычислению потерь отдельно для каждой исходной метки на основе одного и того же предсказания для смешанного изображения с последующим взвешенным суммированием двух потерь.
Пакетное преобразование MixUp в Torchvision применяет общий коэффициент смешивания ко всему пакету. В примере используются изображения кота и кофе из коллекции образцов scikit-image.
import torch
from skimage import data
from torchvision.transforms import v2
resize = v2.Resize((128, 128))
to_image = v2.ToImage()
cat = resize(to_image(data.chelsea()))
coffee = resize(to_image(data.coffee()))
images = torch.stack((cat, coffee)).float() / 255
labels = torch.tensor([0, 1])
mixup = v2.MixUp(alpha=1.0, num_classes=2)
mixed_images, mixed_targets = mixup(images, labels)
print(mixed_targets)В каждой выведенной строке указаны веса кота и кофе для одного смешанного изображения. В разных строках веса меняются местами, потому что преобразование меняет порядок двух изображений в этом пакете.
Как обрабатываются смешанные метки при детекции объектов#
Целевая разметка для детекции объектов содержит ограничивающий бокс и класс для каждого объекта. Усреднение двух боксов может поместить полученный бокс между объектами. Преобразование MixUp в Ultralytics YOLO смешивает изображения, сохраняя оба набора боксов и идентификаторов классов в виде отдельных целевых значений. Параметр mixup определяет, как часто запускается преобразование; по умолчанию он равен 0.0. Доля пикселей выбирается отдельно из Beta(32, 32), что дает почти равномерные смеси; кроме того, при достижении заданного порога close_mosaic также отключает MixUp во время обучения.
Сравнение MixUp с другими аугментациями#
MixUp действует как регуляризация: модель обучается на сочетаниях примеров, которые иначе могла бы запомнить. Смешивание изображений целиком также может создавать узоры, похожие на третий класс. В одном эксперименте с MNIST смесь рукописных цифр 1 и 5 напоминала цифру 8, хотя целевая метка назначала 53% цифре 1 и 47% цифре 5. Таким образом, изображение содержало визуальные признаки класса, которому был назначен нулевой вес.
- CutMix заменяет прямоугольную область фрагментом другого изображения. При классификации веса целевых меток соответствуют площади, которую занимает каждое изображение.
- Mosaic размещает несколько изображений на одном холсте и переносит их аннотации в соответствии с новым расположением.
- Сглаживание меток перераспределяет часть веса целевой метки между классами, не изменяя входные данные.
Manifold Mixup переносит интерполяцию с исходных входных данных на скрытый слой сети. При этом используется один и тот же коэффициент смешивания для скрытых активаций и целевых меток классов.














