MixUp
MixUp은 학습 예시와 해당 타깃을 혼합하여 과적합을 줄입니다. 분류에서는 소프트 클래스 레이블을 생성하고, 객체 탐지에서는 박스를 유지합니다.
MixUp은 두 학습 예시를 하나로 혼합하고 타깃을 결합하는 데이터 증강 기법입니다. 이미지 분류에서는 동일한 비율이 두 혼합에 모두 적용됩니다. 한 이미지가 픽셀 혼합의 70%를 차지하면, 해당 이미지의 클래스는 타깃 가중치의 70%를 차지합니다. 이렇게 중간 형태의 예시로 학습하면 샘플 사이에서 모델의 예측이 점진적으로 변하도록 유도할 수 있습니다.
MixUp 작동 방식#
표준 MixUp은 alpha으로 매개변수화된 대칭 베타 분포에서 0과 1 사이의 가중치를 추출합니다. 값이 1보다 작으면 양 끝에 가까운 값이 더 자주 추출되므로 일반적으로 한 이미지가 우세합니다. 값이 1이면 너비가 같은 구간이 동일한 확률로 선택됩니다. 값이 1보다 크면 추출값이 0.5 근처에 집중되어 더 균등하게 혼합됩니다. 혼합 비율은 각 샘플의 기여도를 결정하고, 제공되는 경우 별도의 적용 확률은 변환이 실행되는 빈도를 결정합니다.
Hongyi Zhang, Moustapha Cissé, Yann N. Dauphin, David Lopez-Paz는 mixup: 경험적 위험 최소화를 넘어서에서 이 기법을 소개했습니다. 이 논문은 2017년에 처음 공개되었으며 ICLR 2018에서 발표되었습니다. 사전 활성화 ResNet-18과 0.0001의 가중치 감쇠를 사용한 200에폭 CIFAR-10 실험에서 alpha=1을 적용한 MixUp은 마지막 10에폭 동안의 중앙값 테스트 오류를 5.53%에서 4.24%로 낮췄습니다.
이미지 분류에서의 MixUp#
이미지 분류 레이블은 정수 클래스 ID로 저장되는 경우가 많습니다. MixUp은 대신 클래스 벡터를 결합합니다. 이미지가 서로 다른 클래스에 속하면, 가중치 두 개의 합이 1인 소프트 타깃이 생성됩니다. 두 이미지가 같은 클래스에 속하면 해당 클래스는 전체 가중치를 유지합니다. 교차 엔트로피 손실에서 소프트 타깃을 사용하면, 혼합 이미지의 예측값을 기준으로 각 원래 레이블에 대한 손실을 계산한 다음 두 손실의 가중합을 구하는 것과 같습니다.
Torchvision의 배치 MixUp 변환은 배치 전체에 동일한 혼합 가중치를 적용합니다. 이 예시에서는 scikit-image의 샘플 모음에 포함된 고양이 이미지와 커피 이미지를 사용합니다.
import torch
from skimage import data
from torchvision.transforms import v2
resize = v2.Resize((128, 128))
to_image = v2.ToImage()
cat = resize(to_image(data.chelsea()))
coffee = resize(to_image(data.coffee()))
images = torch.stack((cat, coffee)).float() / 255
labels = torch.tensor([0, 1])
mixup = v2.MixUp(alpha=1.0, num_classes=2)
mixed_images, mixed_targets = mixup(images, labels)
print(mixed_targets)각 출력 행은 혼합 이미지 하나에서 고양이와 커피가 차지하는 가중치를 보여줍니다. 이 배치에서는 변환이 두 이미지의 역할을 바꾸기 때문에 행마다 가중치가 서로 바뀝니다.
객체 탐지에서 혼합 레이블을 처리하는 방법#
객체 탐지 타깃에는 각 객체에 대한 바운딩 박스와 클래스가 포함됩니다. 두 박스를 평균 내면 결과 박스가 두 객체 사이에 놓일 수 있습니다. Ultralytics YOLO의 MixUp 변환은 이미지를 혼합하면서 두 박스 집합과 클래스 ID를 별도의 타깃으로 유지합니다. mixup 설정은 변환이 실행되는 빈도를 제어하며 기본값은 0.0입니다. 픽셀 비율은 Beta(32, 32)에서 별도로 추출되어 거의 균등하게 혼합되며, close_mosaic 학습 종료 시점이 적용되면 MixUp도 비활성화됩니다.
MixUp과 다른 증강 기법 비교#
MixUp은 모델이 외울 수 있는 예시를 조합해 학습함으로써 정규화 역할을 합니다. 전체 이미지를 혼합하면 제3의 클래스를 닮은 패턴이 만들어질 수도 있습니다. 한 MNIST 실험에서 손으로 쓴 숫자 1과 5를 혼합한 이미지는 8처럼 보였지만, 타깃은 1에 53%, 5에 47%를 할당했습니다. 따라서 이 이미지는 타깃 가중치가 0인 클래스에 대한 시각적 증거를 제공했습니다.
- CutMix는 직사각형 영역을 다른 이미지의 패치로 대체합니다. 분류에서는 각 이미지가 차지하는 영역에 따라 타깃 가중치가 정해집니다.
- Mosaic는 여러 이미지를 하나의 캔버스에 배치하고 새로운 레이아웃에 맞게 어노테이션을 다시 매핑합니다.
- 레이블 스무딩은 입력을 변경하지 않고 일부 타깃 가중치를 여러 클래스에 재분배합니다.
Manifold Mixup은 보간을 원시 입력에서 네트워크의 은닉 계층으로 옮깁니다. 은닉 활성화값과 클래스 타깃에는 여전히 동일한 혼합 가중치를 사용합니다.














