Distributionally Robust Optimization

Tối ưu hóa vững trước phân phối (DRO) là phương pháp huấn luyện và ra quyết định nhằm giảm thiểu loss kỳ vọng theo phân phối bất lợi nhất trong một tập hợp các phân phối dữ liệu có thể xảy ra, thay vì chỉ dựa trên phân phối huấn luyện. Huấn luyện tiêu chuẩn, còn gọi là tối thiểu hóa rủi ro thực nghiệm (ERM), giả định dữ liệu trong tương lai sẽ tương tự dữ liệu huấn luyện và giảm thiểu loss trung bình. DRO giả định dữ liệu thực tế sẽ khác biệt trong phạm vi có thể giới hạn và tối ưu hóa cho trường hợp khó nhất trong phạm vi đó. Các model thu được đánh đổi một phần nhỏ độ chính xác trung bình để có hiệu năng ổn định hơn khi điều kiện thay đổi, chẳng hạn camera được huấn luyện với lượng cảnh quay ban ngày nhiều hơn hẳn ban đêm.

Tập hợp bất định#

Tập hợp các phân phối mà DRO đề phòng được gọi là tập hợp bất định, hay tập hợp không chắc chắn; hình dạng của tập hợp này quyết định model đạt được loại tính bền vững nào:

• Các quả cầu phân kỳ: Chứa mọi phân phối có độ phân kỳ KL hoặc chi bình phương so với dữ liệu huấn luyện nằm trong một giới hạn cố định. Tối ưu hóa theo các tập này làm tăng trọng số của những ví dụ huấn luyện có loss cao nhất, khiến model không thể bỏ qua các mẫu khó nhất. Một mục tiêu có liên quan chặt chẽ là giá trị rủi ro có điều kiện, chỉ tính trung bình phần loss tệ nhất theo từng ví dụ.
• Các quả cầu Wasserstein: Chứa những phân phối có thể đạt được bằng cách dịch chuyển khối lượng xác suất một khoảng hữu hạn trong không gian đầu vào. Vì khoảng cách đo lượng khối lượng được dịch chuyển và quãng đường dịch chuyển, các tập này bao phủ những biến đổi nhỏ của chính đầu vào.
• Hỗn hợp nhóm: Chứa mọi cách tái phân bổ trọng số giữa các nhóm nhỏ đã biết, chẳng hạn ảnh ngày và đêm hoặc ảnh chụp từ các bệnh viện khác nhau. Khi đó, trường hợp xấu nhất đơn giản là nhóm có hiệu năng thấp nhất.

DRO Wasserstein có liên hệ chặt chẽ với huấn luyện đối kháng trước các cuộc tấn công đối kháng, vốn cũng tối ưu hóa cho những đầu vào lân cận ở trường hợp xấu nhất. Kích thước của tập là siêu tham số cốt lõi của DRO: tập lớn khiến model chuẩn bị cho dữ liệu phi thực tế và làm giảm độ chính xác thông thường, còn tập nhỏ lại bỏ sót những thay đổi quan trọng khi triển khai.

Group DRO#

Group DRO, do Shiori Sagawa, Pang Wei Koh, Tatsunori Hashimoto và Percy Liang giới thiệu trong công trình công bố năm 2020, là dạng được dùng rộng rãi nhất trong học sâu. Phương pháp này giảm thiểu loss của nhóm có hiệu năng kém nhất thay vì loss trung bình trên toàn bộ ví dụ. Trên thực tế, phương pháp duy trì trọng số cho từng nhóm qua các batch, tăng trọng số của nhóm hiện có loss cao nhất và lan truyền ngược loss có trọng số theo nhóm:

import torch

# Per-image losses from one training batch and the condition each image came from
losses = torch.tensor([0.20, 0.30, 0.25, 0.90, 1.10, 0.15])
groups = torch.tensor([0, 0, 0, 1, 1, 0])  # 0 = daytime, 1 = nighttime
group_losses = torch.stack([losses[groups == g].mean() for g in (0, 1)])

# Empirical risk minimization optimizes the average loss over all images
print(f"ERM loss: {losses.mean():.2f}, daytime loss: {group_losses[0]:.2f}, nighttime loss: {group_losses[1]:.2f}")

# Group DRO shifts its group weights toward high-loss groups with an exponentiated-gradient step
group_weights = torch.tensor([0.5, 0.5])  # carried over from earlier batches
group_weights = group_weights * torch.exp(1.0 * group_losses)  # step size 1.0
group_weights = group_weights / group_weights.sum()
dro_loss = (group_weights * group_losses).sum()  # the loss that is backpropagated
print(f"Group weights: day {group_weights[0]:.2f}, night {group_weights[1]:.2f}, group DRO loss: {dro_loss:.2f}")

Loss trung bình 0.48 có vẻ tốt, nhưng hai ảnh ban đêm có loss trung bình 1.00, so với 0.22 của ảnh ban ngày. Một lần cập nhật chuyển trọng số nhóm từ mức 0.50 mỗi nhóm thành 0.32 cho ban ngày và 0.68 cho ban đêm, khiến loss lan truyền ngược tăng lên 0.76 và gradient chủ yếu đến từ ảnh ban đêm. Qua nhiều batch, trọng số tiếp tục dồn về nhóm có hiệu năng tụt lại.

Group DRO là giải pháp trực tiếp cho học lối tắt. Trong benchmark Waterbirds, phần lớn ảnh huấn luyện về chim nước có nền là mặt nước, khiến huấn luyện tiêu chuẩn học theo nền và thất bại với ảnh chim nước chụp trên đất liền. Với regularization mạnh, các tác giả nâng độ chính xác kiểm thử của nhóm kém nhất từ 21.3% với ERM lên 84.6% với Group DRO; độ chính xác trung bình cũng tăng từ 95.7% lên 96.6%. Regularization rất quan trọng vì mạng lớn có thể giảm loss huấn luyện của mọi nhóm về 0, khiến mục tiêu DRO không còn gì để ưu tiên.

Group DRO cần biết nhóm của từng ví dụ huấn luyện. Khi không biết các nhóm, có thể dùng quả cầu phân kỳ chi bình phương thay thế: năm 2018, Tatsunori Hashimoto cùng các đồng nghiệp cho thấy việc giảm thiểu loss trong trường hợp xấu nhất trên quả cầu như vậy bảo vệ được mọi nhóm nhỏ đủ lớn mà không cần biết thành viên của nhóm.

Tìm các nhóm có hiệu năng thấp nhất#

Các nhóm quan trọng thường được phát hiện thông qua lỗi. Với model phát hiện đối tượng YOLO26 được huấn luyện trên một phiên bản dataset đã lưu, Ultralytics Platform bổ sung chẩn đoán theo từng ảnh, xếp hạng ảnh validation theo điểm F1 của từng ảnh, tìm tương quan giữa F1 với kích thước ảnh, tỷ lệ khung hình và số lượng instance, đồng thời liệt kê các class xuất hiện thường xuyên nhất trong những ảnh có hiệu năng thấp nhất. Kết hợp lại, các thông tin này phân rã một chỉ số độ chính xác trung bình mAP thành các nhóm ứng viên để thu thập, lấy mẫu tăng cường hoặc gán trọng số.

DRO còn có nhiều ứng dụng vượt xa lĩnh vực thị giác:

• Tính công bằng giữa các nhóm dân số: Khi các nhóm được xác định theo thuộc tính nhân khẩu học, giảm thiểu loss của nhóm tệ nhất sẽ trực tiếp thu hẹp khoảng cách hiệu năng.
• Dịch chuyển phân phối trong thực tế: Benchmark WILDS của Stanford kiểm tra model trước các dịch chuyển như ảnh mô từ những bệnh viện khác nhau, ảnh vệ tinh từ các khu vực và năm khác nhau; benchmark này đưa Group DRO vào nhóm baseline tiêu chuẩn.
• Nghiên cứu vận trù: DRO được áp dụng cho điều độ lưới điện, lập kế hoạch chuỗi cung ứng và lựa chọn danh mục đầu tư, những lĩnh vực mà quyết định phải đối mặt với nhu cầu hoặc giá cả bất định, và kế hoạch chỉ tối ưu theo mức trung bình lịch sử có thể thất bại nghiêm trọng trong một năm bất thường.

DRO, tăng cường dữ liệu và giám sát drift#

Tăng cường dữ liệu và DRO tiếp cận cùng một vấn đề từ hai hướng ngược nhau. Tăng cường dữ liệu mở rộng những gì model quan sát bằng các biến thể tổng hợp của ảnh huấn luyện, còn DRO thay đổi hàm mục tiêu để các biến thể hiếm nhưng có thật được tính trọng số cao hơn. Hai phương pháp kết hợp hiệu quả: tăng cường dữ liệu cung cấp các ví dụ đa dạng, còn mục tiêu DRO ngăn những ví dụ khó nhất bị lu mờ khi tính trung bình. Thích nghi miền là hướng thứ ba, thích nghi với một phân phối đích đã biết bằng dữ liệu chưa gán nhãn từ phân phối đó. Sau khi triển khai, theo dõi độ trôi dữ liệu cho thấy những thay đổi mà không tập hợp bất định nào dự đoán được; các điều kiện mới đó trở thành những nhóm tiếp theo cần thu thập và gán trọng số.