获取 YOLO 许可
返回 Ultralytics 术语表

MixUp

MixUp 将训练样本及其目标混合,以减少过拟合。它会为分类任务创建软类别标签,并在检测任务中保留边界框。

MixUp 是一种数据增强技术,可将两个训练样本混合为一个,并组合它们的目标。在图像分类中,同一比例同时控制这两种混合:如果一张图像占像素混合结果的 70%,它对应的类别在目标中的权重就是 70%。使用这些介于样本之间的示例进行训练,可以促使模型的预测在样本之间平滑变化。

MixUp 的工作原理#

标准 MixUp 从由 alpha 参数化的对称 Beta 分布中抽取一个介于零和一之间的权重。参数小于 1 时,抽样值更偏向两端,因此通常由一张图像占主导地位。参数等于 1 时,等宽区间的抽取概率相同。参数大于 1 时,抽样值集中在 0.5 附近,从而产生更均衡的混合结果。混合比例决定每个样本的贡献程度;如果有单独的应用概率,则决定变换执行的频率。

Hongyi Zhang、Moustapha Cissé、Yann N. Dauphin 和 David Lopez-Paz 在mixup:超越经验风险最小化中提出了这项技术。该论文于 2017 年首次发布,并于 ICLR 2018 上发表。在一项为期 200 个 epoch 的 CIFAR-10 实验中,他们使用预激活 ResNet-18 和 0.0001 的权重衰减,MixUp 配合 alpha=1 将最后 10 个 epoch 的测试错误率中位数从 5.53% 降至 4.24%。

CIFAR-10 preview 1
CIFAR-10 preview 2
CIFAR-10 preview 3
CIFAR-10 preview 4
60,000
CIFAR-10
ultralytics
公开分类

Tiny 32x32 color photos of common vehicles and animals, the classic small-image classification benchmark from the University of Toronto. Collected by Alex Krizhevsky, Vinod Nair, and Geoffrey Hinton as a hand-labeled subset of the 80 Million Tiny Images collection, with balanced, mutually exclusive classes. Source: Krizhevsky, "Learning Multiple Layers of Features from Tiny Images," University of Toronto tech report 2009; cs.toronto.edu/~kriz/cifar.html.

110 个类别66 MB2026年10月23日
airplaneautomobilebirdcat+6
image-classificationcifar10object-recognition+1

用于图像分类的 MixUp#

图像分类标签通常以整数类别 ID 的形式存储。MixUp 改为组合类别向量:如果图像来自不同类别,结果就是一个包含两个权重且权重之和为一的软目标。如果两张图像属于同一类别,该类别仍保有完整权重。使用交叉熵损失时,采用软目标等价于根据同一个混合图像的预测分别计算每个原始标签的损失,然后对两个损失加权求和。

Torchvision 的批次 MixUp 变换会在整个批次中使用相同的混合权重。此示例使用 scikit-image 的样例集中的猫和咖啡图像。

import torch
from skimage import data
from torchvision.transforms import v2

resize = v2.Resize((128, 128))
to_image = v2.ToImage()
cat = resize(to_image(data.chelsea()))
coffee = resize(to_image(data.coffee()))
images = torch.stack((cat, coffee)).float() / 255
labels = torch.tensor([0, 1])

mixup = v2.MixUp(alpha=1.0, num_classes=2)
mixed_images, mixed_targets = mixup(images, labels)
print(mixed_targets)

打印出的每一行都显示一张混合图像中猫和咖啡各自的权重。由于该变换会在这个批次中调换两张图像的角色,因此各行的权重会互换。

目标检测如何处理混合标签#

目标检测目标为每个对象包含一个边界框和一个类别。对两个边界框求平均,可能会使结果框落在两个对象之间。Ultralytics YOLO 的 MixUp 变换会混合图像,同时将两组边界框和类别 ID 保留为独立目标。mixup 设置控制该变换的执行频率,默认值为 0.0;像素混合比例则单独从 Beta(32, 32) 分布中抽样,因而产生接近均衡的混合结果;生效时,close_mosaic 训练截止设置也会关闭 MixUp。

MixUp 与其他增强方法的比较#

MixUp 通过让模型训练那些原本可能被记住的样本组合,起到正则化的作用。整幅图像混合也可能产生类似第三种类别的模式。在一项 MNIST 实验中,手写数字 1 和 5 的混合结果看起来像 8,尽管目标为 1 分配了 53% 的权重,为 5 分配了 47%。因此,该图像为一个目标权重为零的类别提供了视觉证据。

  • CutMix会用另一张图像中的图块替换一个矩形区域。在分类任务中,目标权重根据每张图像所贡献的区域面积确定。
  • Mosaic会将多张图像排列在同一画布上,并根据新的布局重新映射它们的标注。
  • 标签平滑会将一部分目标权重重新分配给各个类别,同时保持输入不变。

Manifold Mixup 将插值位置从原始输入移至网络的隐藏层。它仍对隐藏激活和类别目标使用相同的混合权重。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来