MixUp
MixUp 将训练样本及其目标混合,以减少过拟合。它会为分类任务创建软类别标签,并在检测任务中保留边界框。
MixUp 是一种数据增强技术,可将两个训练样本混合为一个,并组合它们的目标。在图像分类中,同一比例同时控制这两种混合:如果一张图像占像素混合结果的 70%,它对应的类别在目标中的权重就是 70%。使用这些介于样本之间的示例进行训练,可以促使模型的预测在样本之间平滑变化。
MixUp 的工作原理#
标准 MixUp 从由 alpha 参数化的对称 Beta 分布中抽取一个介于零和一之间的权重。参数小于 1 时,抽样值更偏向两端,因此通常由一张图像占主导地位。参数等于 1 时,等宽区间的抽取概率相同。参数大于 1 时,抽样值集中在 0.5 附近,从而产生更均衡的混合结果。混合比例决定每个样本的贡献程度;如果有单独的应用概率,则决定变换执行的频率。
Hongyi Zhang、Moustapha Cissé、Yann N. Dauphin 和 David Lopez-Paz 在mixup:超越经验风险最小化中提出了这项技术。该论文于 2017 年首次发布,并于 ICLR 2018 上发表。在一项为期 200 个 epoch 的 CIFAR-10 实验中,他们使用预激活 ResNet-18 和 0.0001 的权重衰减,MixUp 配合 alpha=1 将最后 10 个 epoch 的测试错误率中位数从 5.53% 降至 4.24%。
用于图像分类的 MixUp#
图像分类标签通常以整数类别 ID 的形式存储。MixUp 改为组合类别向量:如果图像来自不同类别,结果就是一个包含两个权重且权重之和为一的软目标。如果两张图像属于同一类别,该类别仍保有完整权重。使用交叉熵损失时,采用软目标等价于根据同一个混合图像的预测分别计算每个原始标签的损失,然后对两个损失加权求和。
Torchvision 的批次 MixUp 变换会在整个批次中使用相同的混合权重。此示例使用 scikit-image 的样例集中的猫和咖啡图像。
import torch
from skimage import data
from torchvision.transforms import v2
resize = v2.Resize((128, 128))
to_image = v2.ToImage()
cat = resize(to_image(data.chelsea()))
coffee = resize(to_image(data.coffee()))
images = torch.stack((cat, coffee)).float() / 255
labels = torch.tensor([0, 1])
mixup = v2.MixUp(alpha=1.0, num_classes=2)
mixed_images, mixed_targets = mixup(images, labels)
print(mixed_targets)打印出的每一行都显示一张混合图像中猫和咖啡各自的权重。由于该变换会在这个批次中调换两张图像的角色,因此各行的权重会互换。
目标检测如何处理混合标签#
目标检测目标为每个对象包含一个边界框和一个类别。对两个边界框求平均,可能会使结果框落在两个对象之间。Ultralytics YOLO 的 MixUp 变换会混合图像,同时将两组边界框和类别 ID 保留为独立目标。mixup 设置控制该变换的执行频率,默认值为 0.0;像素混合比例则单独从 Beta(32, 32) 分布中抽样,因而产生接近均衡的混合结果;生效时,close_mosaic 训练截止设置也会关闭 MixUp。
MixUp 与其他增强方法的比较#
MixUp 通过让模型训练那些原本可能被记住的样本组合,起到正则化的作用。整幅图像混合也可能产生类似第三种类别的模式。在一项 MNIST 实验中,手写数字 1 和 5 的混合结果看起来像 8,尽管目标为 1 分配了 53% 的权重,为 5 分配了 47%。因此,该图像为一个目标权重为零的类别提供了视觉证据。
- CutMix会用另一张图像中的图块替换一个矩形区域。在分类任务中,目标权重根据每张图像所贡献的区域面积确定。
- Mosaic会将多张图像排列在同一画布上,并根据新的布局重新映射它们的标注。
- 标签平滑会将一部分目标权重重新分配给各个类别,同时保持输入不变。
Manifold Mixup 将插值位置从原始输入移至网络的隐藏层。它仍对隐藏激活和类别目标使用相同的混合权重。














