CutMix

CutMix là kỹ thuật tăng cường dữ liệu, trong đó một patch hình chữ nhật được cắt từ ảnh huấn luyện này, dán đè lên cùng vùng của ảnh khác và hai nhãn được trộn theo tỷ lệ diện tích mà mỗi ảnh chiếm. Sangdoo Yun và đồng nghiệp tại NAVER Clova AI Research giới thiệu kỹ thuật này trong bài báo ICCV năm 2019 như sự kết hợp của hai ý tưởng trước đó: loại bỏ một vùng ngẫu nhiên của Cutout và trộn nhãn của MixUp. Trên ImageNet, CutMix giảm tỷ lệ lỗi top-1 của ResNet-50 từ 23.68% xuống 21.40%, tốt hơn MixUp với 22.58% và Cutout với 22.93%; các model được tiền huấn luyện bằng kỹ thuật này cũng chuyển giao tốt hơn sang phát hiện vật thể và tạo chú thích hình ảnh.

Cách CutMix hoạt động#

Với mỗi cặp ảnh A và B, CutMix lấy mẫu tỷ lệ trộn λ từ phân phối Beta; với tham số mặc định α = 1, tỷ lệ này phân bố đều từ 0 đến 1. Sau đó, thuật toán vẽ một hộp có chiều rộng và chiều cao bằng chiều rộng và chiều cao của ảnh nhân với √(1 − λ), đặt tâm hộp tại một điểm ngẫu nhiên, cắt hộp theo biên ảnh rồi sao chép vùng đó từ B sang A. Sau khi cắt, λ được tính lại thành tỷ lệ phần ảnh A còn lại; nhãn khi đó gồm λ phần A và (1 − λ) phần B, nên patch mèo chiếm 30% trên ảnh chó tạo mục tiêu gồm 0.7 chó và 0.3 mèo. Quá trình huấn luyện tối thiểu hóa hàm loss theo nhãn mềm này, tương tự làm mượt nhãn.

torchvision của PyTorch áp dụng CutMix cho toàn bộ batch, ghép từng ảnh với ảnh liền kề trong batch:

import torch
from torchvision.transforms import v2

# A batch of 4 random 224x224 images labeled with classes 0-3 of 10
torch.manual_seed(0)
images = torch.rand(4, 3, 224, 224)
labels = torch.tensor([0, 1, 2, 3])

# Paste a random box from each image's neighbor in the batch and mix the labels by area
cutmix = v2.CutMix(num_classes=10)
mixed_images, mixed_labels = cutmix(images, labels)

# Image 0 received its patch from image 3
pasted = (mixed_images[0] != images[0]).any(dim=0).float().mean()
print(f"pasted area: {pasted:.3f}")
print(f"label weights for classes 0-3: {mixed_labels[0, :4].numpy().round(3)}")

Kết quả in ra diện tích vùng được dán là 0.187 và trọng số nhãn là 0.813 cho lớp 0, 0.187 cho lớp 3: tỷ lệ mục tiêu được gán cho mỗi lớp bằng tỷ lệ pixel mà lớp đó đóng góp.

Vì sao CutMix có hiệu quả#

Model phân loại hình ảnh được huấn luyện trên ảnh nguyên vẹn có thể đạt kết quả tốt bằng cách nhận diện một bộ phận nhỏ nhưng có tính phân biệt cao, chẳng hạn khuôn mặt chó. Khi CutMix che bộ phận đó bằng một hình ảnh khác, model phải nhận diện con chó qua thân, chân hoặc bộ lông, nhờ đó học cách sử dụng nhiều vùng hơn của mỗi vật thể; điều này cải thiện khả năng định vị yếu giám sát và độ bền vững trước hiện tượng che khuất. Mọi pixel trong ảnh pha trộn vẫn đến từ ảnh chụp thật, nên model không bao giờ được huấn luyện trên vùng trống hoặc ảnh pha mờ ảo. Giống các phép tăng cường mạnh khác, CutMix hoạt động như một phương pháp regularization giúp giảm overfitting; các công thức huấn luyện hiện đại cho vision transformer (ViT), bao gồm công thức dùng cho Data-efficient Image Transformers (DeiT) của Meta, áp dụng đồng thời CutMix và MixUp.

CutMix và các phép tăng cường liên quan#

• MixUp: Trộn hai ảnh nguyên vẹn theo từng pixel với trọng số λ và trộn nhãn theo cách tương tự, tạo ra các ảnh chồng lấp bán trong suốt trông không giống bất kỳ cảnh thực nào.
• Cutout: Che một hình vuông ngẫu nhiên bằng các giá trị 0 và giữ nguyên nhãn gốc, nên các pixel bị che không cung cấp thông tin cho quá trình huấn luyện.
• Mosaic: Ghép bốn ảnh đã đổi kích thước thành một; đây là phép tăng cường tiêu chuẩn để huấn luyện bộ phát hiện vật thể, vẫn giữ nhãn hộp của mọi vật thể còn trong khung hình.
• Copy-paste cho phân đoạn instance: Dán các instance vật thể đã phân đoạn, thay vì các hình chữ nhật, từ ảnh này sang ảnh khác.

CutMix trong phát hiện vật thể#

Trong bài toán phát hiện, mọi nhãn đều là nhãn cứng: thay vì tạo một vector lớp pha trộn, các hộp giới hạn của cả hai ảnh được giữ lại đối với những đối tượng vẫn còn nhìn thấy. Phép cutmix tăng cường dữ liệu của Ultralytics YOLO, mặc định bị tắt, nhận một xác suất từ 0 đến 1. Phần triển khai chọn một vùng cắt không chồng lấn với bất kỳ hộp nào hiện có trong ảnh đích, sao chép cùng vùng đó từ ảnh thứ hai và giữ lại từng hộp giới hạn được dán nếu ít nhất 10% diện tích hộp vẫn nằm trong vùng đó, hoặc 1% đối với nhãn phân đoạn. Theo mặc định, CutMix được tắt cùng lúc với mosaic trong 10 epoch cuối của quá trình huấn luyện, theo thiết lập close_mosaic=10.