MixUp
MixUp kết hợp các mẫu huấn luyện và nhãn tương ứng để giảm overfitting. Phương pháp này tạo nhãn lớp mềm cho bài toán phân loại và giữ nguyên các bounding box cho bài toán phát hiện.
MixUp là một kỹ thuật tăng cường dữ liệu, kết hợp hai mẫu huấn luyện thành một và kết hợp các nhãn tương ứng. Trong phân loại ảnh, cùng một tỷ lệ điều khiển cả hai phần kết hợp: nếu một ảnh đóng góp 70% vào phần kết hợp điểm ảnh, lớp của ảnh đó nhận 70% trọng số của nhãn. Huấn luyện bằng các mẫu trung gian này khuyến khích dự đoán của model thay đổi dần giữa các mẫu.
Cách MixUp hoạt động#
MixUp tiêu chuẩn lấy một trọng số trong khoảng từ 0 đến 1 từ phân phối Beta đối xứng, được tham số hóa bởi alpha. Khi giá trị nhỏ hơn 1, các mẫu lấy được tập trung ở hai đầu, vì vậy một ảnh thường chiếm ưu thế. Khi bằng 1, các khoảng có độ rộng bằng nhau có xác suất xuất hiện như nhau. Khi lớn hơn 1, các mẫu tập trung gần 0.5, tạo ra phần kết hợp cân bằng hơn. Tỷ lệ kết hợp xác định mức đóng góp của mỗi mẫu; xác suất áp dụng riêng biệt, nếu có, xác định tần suất phép biến đổi được thực thi.
Hongyi Zhang, Moustapha Cissé, Yann N. Dauphin và David Lopez-Paz giới thiệu kỹ thuật này trong mixup: Vượt ra ngoài tối thiểu hóa rủi ro thực nghiệm, lần đầu được đăng vào năm 2017 và trình bày tại ICLR 2018. Trong thử nghiệm CIFAR-10 kéo dài 200 epoch với ResNet-18 tiền kích hoạt và weight decay là 0.0001, MixUp với alpha=1 đã giảm lỗi kiểm thử trung vị trong 10 epoch cuối từ 5.53% xuống còn 4.24%.
MixUp cho phân loại ảnh#
Nhãn phân loại ảnh thường được lưu dưới dạng ID lớp là số nguyên. Thay vào đó, MixUp kết hợp các vector lớp: khi hai ảnh thuộc các lớp khác nhau, kết quả là một nhãn mục tiêu mềm gồm hai trọng số có tổng bằng một. Khi cả hai ảnh thuộc cùng một lớp, lớp đó giữ nguyên trọng số tối đa. Với hàm mất mát entropy chéo, sử dụng nhãn mục tiêu mềm tương đương với việc tính hàm mất mát cho từng nhãn gốc dựa trên cùng một dự đoán từ ảnh kết hợp, rồi lấy tổng có trọng số của hai hàm mất mát.
Phép biến đổi MixUp theo batch của Torchvision áp dụng chung một trọng số kết hợp cho cả batch. Ví dụ sử dụng ảnh con mèo và tách cà phê từ bộ sưu tập mẫu của scikit-image.
import torch
from skimage import data
from torchvision.transforms import v2
resize = v2.Resize((128, 128))
to_image = v2.ToImage()
cat = resize(to_image(data.chelsea()))
coffee = resize(to_image(data.coffee()))
images = torch.stack((cat, coffee)).float() / 255
labels = torch.tensor([0, 1])
mixup = v2.MixUp(alpha=1.0, num_classes=2)
mixed_images, mixed_targets = mixup(images, labels)
print(mixed_targets)Mỗi hàng được in ra hiển thị trọng số của con mèo và tách cà phê cho một ảnh kết hợp. Trọng số đổi chỗ giữa các hàng vì phép biến đổi đảo vai trò của hai ảnh trong batch này.
Cách phát hiện đối tượng xử lý các nhãn được kết hợp#
Nhãn mục tiêu của phát hiện đối tượng chứa một bounding box và một lớp cho mỗi đối tượng. Lấy trung bình hai box có thể đặt box kết quả vào khoảng giữa các đối tượng. Phép biến đổi MixUp của Ultralytics YOLO kết hợp các ảnh nhưng giữ nguyên cả hai tập box và ID lớp dưới dạng các nhãn mục tiêu riêng biệt. Cài đặt mixup kiểm soát tần suất phép biến đổi được thực thi và mặc định là 0.0; tỷ lệ điểm ảnh được lấy mẫu riêng từ Beta(32, 32), tạo ra phần kết hợp gần cân bằng, đồng thời mốc dừng huấn luyện close_mosaic cũng tắt MixUp khi có hiệu lực.
So sánh MixUp với các phép tăng cường dữ liệu khác#
MixUp đóng vai trò regularization bằng cách huấn luyện model trên các tổ hợp mẫu mà nếu không có thể bị ghi nhớ. Việc kết hợp toàn bộ ảnh cũng có thể tạo ra các mẫu trông giống một lớp thứ ba. Trong một thử nghiệm với MNIST, ảnh kết hợp các chữ số viết tay 1 và 5 trông giống số 8, dù nhãn mục tiêu gán 53% cho số 1 và 47% cho số 5. Do đó, ảnh cung cấp bằng chứng trực quan cho một lớp không nhận được trọng số nhãn mục tiêu nào.
- CutMix thay thế một vùng hình chữ nhật bằng một mảnh ảnh khác. Trong phân loại, trọng số nhãn mục tiêu được tính theo diện tích đóng góp của mỗi ảnh.
- Mosaic sắp xếp nhiều ảnh trên cùng một canvas và ánh xạ lại chú thích của chúng theo bố cục mới.
- Làm mượt nhãn phân phối lại một phần trọng số nhãn mục tiêu giữa các lớp mà không thay đổi đầu vào.
Manifold Mixup chuyển phép nội suy từ đầu vào thô sang một lớp ẩn của mạng. Phương pháp này vẫn sử dụng cùng một trọng số kết hợp cho các activation ẩn và nhãn lớp.














