MixUp
MixUpはトレーニング例とそのターゲットを混合して、過学習を抑制します。分類ではソフトクラスラベルを生成し、物体検出ではバウンディングボックスを保持します。
MixUpは、2つのトレーニング例を1つに混合し、それぞれのターゲットも組み合わせるデータ拡張手法です。画像分類では、同じ比率が画像とターゲットの両方の混合を制御します。たとえば、ピクセルの混合に一方の画像が70%寄与する場合、その画像のクラスはターゲットの重みの70%を占めます。このような中間的な例を使ってトレーニングすると、サンプル間でモデルの予測が徐々に変化するよう促されます。
MixUpの仕組み#
標準的なMixUpでは、alphaでパラメーター化された対称ベータ分布から、0から1までの重みをサンプリングします。1未満ではサンプリング値が端点に偏るため、通常は一方の画像が大きく寄与します。1では、幅が等しい区間が同じ確率で選ばれます。1を超えると、サンプリング値は0.5付近に集中し、より均等な混合になります。混合比率は各サンプルの寄与度を決定し、別途設定できる適用確率は、変換を実行する頻度を決定します。
Hongyi Zhang、Moustapha Cissé、Yann N. Dauphin、David Lopez-Pazは、2017年に初めて公開され、ICLR 2018で発表されたmixup: Beyond Empirical Risk Minimizationでこの手法を紹介しました。事前活性化ResNet-18と0.0001の重み減衰を用いた200エポックのCIFAR-10実験では、alpha=1を使ったMixUpにより、最後の10エポックにおけるテストエラーの中央値が5.53%から4.24%に低下しました。
画像分類におけるMixUp#
画像分類のラベルは、多くの場合、整数のクラスIDとして保存されます。MixUpでは、代わりにクラスベクトルを組み合わせます。画像が異なるクラスに属する場合、重みの合計が1となる2つの重みを持つソフトターゲットが生成されます。両方の画像が同じクラスに属する場合、そのクラスの重みはそのまま維持されます。交差エントロピー損失では、ソフトターゲットを使うことは、混合画像の予測に対してそれぞれの元のラベルとの損失を計算し、その2つの損失を重み付けして合計することと同じです。
TorchvisionのバッチMixUp変換は、バッチ全体で共通の混合重みを適用します。この例では、scikit-imageのサンプルコレクションに含まれる猫とコーヒーの画像を使用します。
import torch
from skimage import data
from torchvision.transforms import v2
resize = v2.Resize((128, 128))
to_image = v2.ToImage()
cat = resize(to_image(data.chelsea()))
coffee = resize(to_image(data.coffee()))
images = torch.stack((cat, coffee)).float() / 255
labels = torch.tensor([0, 1])
mixup = v2.MixUp(alpha=1.0, num_classes=2)
mixed_images, mixed_targets = mixup(images, labels)
print(mixed_targets)出力された各行には、混合画像1枚における猫とコーヒーの重みが表示されます。このバッチでは変換によって2枚の画像の役割が入れ替わるため、行ごとに重みが逆になります。
物体検出で混合ラベルを扱う方法#
物体検出のターゲットには、各オブジェクトのバウンディングボックスとクラスが含まれます。2つのボックスを平均すると、オブジェクト間に結果のボックスが配置される可能性があります。Ultralytics YOLOのMixUp変換は、画像を混合しながら、両方のボックスとクラスIDを別々のターゲットとして保持します。mixup設定は変換の実行頻度を制御し、デフォルト値は0.0です。ピクセルの混合比率はBeta(32, 32)から別途サンプリングされるため、ほぼ均等に混合されます。また、close_mosaicのトレーニング終了条件が適用されると、MixUpも無効になります。
MixUpと他のデータ拡張手法の比較#
MixUpは、モデルがそれ以外の場合に記憶してしまう可能性のある例の組み合わせでトレーニングすることで、正則化として機能します。画像全体を混合すると、第三のクラスに似たパターンが生じることもあります。あるMNISTの実験では、手書き数字の1と5を混合した画像が8に見えましたが、ターゲットで1に割り当てられた重みは53%、5には47%でした。そのため、この画像はターゲットの重みが0のクラスを視覚的に示していました。
- CutMixは、別の画像から切り出したパッチで長方形の領域を置き換えます。分類では、各画像が寄与する面積に応じてターゲットの重みを設定します。
- Mosaicは、複数の画像を1つのキャンバス上に配置し、新しいレイアウトに合わせてアノテーションを再配置します。
- ラベルスムージングは、入力を変更せずに、ターゲットの重みの一部を各クラスに再分配します。
Manifold Mixupは、補間を生の入力からネットワークの隠れ層へ移します。隠れ層の活性化とクラスターゲットには、引き続き同じ混合重みを使用します。














