Distributionally Robust Optimization
Tìm hiểu cách tối ưu hóa bền vững theo phân phối (DRO) chuẩn bị cho các mô hình học máy đối phó với sự dịch chuyển dữ liệu hợp lý, đồng thời khám phá các ví dụ thực tế về thị giác máy tính và mẹo đánh giá.
Tối ưu hóa mạnh mẽ theo phân phối (DRO) là một cách để huấn luyện một model hoặc đưa ra quyết định khi phân phối xác suất đằng sau dữ liệu của model không chắc chắn. Thay vì chỉ tối ưu hóa cho ví dụ huấn luyện trung bình, DRO xem xét một tập hợp các phân phối hợp lý và tìm kiếm một giải pháp hoạt động tốt trong điều kiện thử thách nhất trong tập hợp đó. Trực giác này rất thiết thực: nếu một camera ghi lại cảnh ban ngày nhiều hơn đáng kể so với cảnh ban đêm trong quá trình huấn luyện, hiệu suất trung bình mạnh mẽ có thể che giấu kết quả kém sau khi trời tối.
Cách hoạt động của tối ưu hóa mạnh mẽ theo phân phối#
Quá trình huấn luyện thông thường giảm thiểu hệ quả tổn thất kỳ vọng: hình phạt trung bình cho các lỗi dự đoán theo một phân phối dữ liệu giả định. Trong DRO, phân phối thế giới thực chưa biết được đại diện bằng một tập hợp mơ hồ—một tập hợp các phân phối được coi là hợp lý dựa trên dữ liệu có sẵn. Quá trình huấn luyện sau đó sẽ giảm thiểu tổn thất kỳ vọng cao nhất trong số các phân phối trong tập hợp đó. Điều này bảo vệ chống lại các loại bất định được chỉ định, chứ không phải mọi thay đổi mà một model có thể gặp phải.
Tập hợp mơ hồ xác định ý nghĩa của từ “mạnh mẽ”. Nó có thể cho phép tỷ lệ của các nhóm đã biết thay đổi, chẳng hạn như hình ảnh ban đêm nhiều hơn ban ngày. Ngoài ra, nó có thể chứa các phân phối nằm trong khoảng cách thống kê đã chọn so với phân phối được quan sát. Khoảng cách Wasserstein đo lường, một cách đại khái, lượng khối lượng xác suất phải di chuyển và khoảng cách bao nhiêu để biến đổi phân phối này thành phân phối khác; tài liệu về khoảng cách Wasserstein của SciPy cung cấp một giải thích trực quan một chiều. Hướng dẫn của Cornell về tối ưu hóa mạnh mẽ dựa trên dữ liệu cung cấp thêm bối cảnh về việc xây dựng các mô tả bất định từ dữ liệu.
Một tập hợp mơ hồ lớn hơn chuẩn bị cho nhiều biến thể hơn nhưng có thể hy sinh hiệu suất trong các điều kiện thông thường. Một tập hợp quá nhỏ có thể bỏ sót những sự thay đổi quan trọng. Do đó, việc lựa chọn phạm vi của tập hợp mơ hồ đòi hỏi kiến thức về các điều kiện triển khai có thể xảy ra, chứ không chỉ là một cài đặt toán học thuận tiện.
DRO khác biệt như thế nào so với các phương pháp liên quan#
DRO nằm giữa hai ý tưởng quen thuộc. Tối ưu hóa mạnh mẽ thông thường chuẩn bị cho các giá trị khó của các đầu vào không chắc chắn, có khả năng coi một đầu vào cực đoan cụ thể là trường hợp xấu nhất. Thay vào đó, DRO xem xét kết quả kỳ vọng theo phân phối xác suất hợp lý xấu nhất. Quá trình huấn luyện thực nghiệm thông thường coi phân phối được quan sát làm cơ sở cho tổn thất trung bình của nó.
Nó cũng khác với tăng cường dữ liệu. Tăng cường tạo ra các ví dụ huấn luyện được sửa đổi, chẳng hạn như hình ảnh tối hơn hoặc được xoay; tự nó không tối ưu hóa trên một tập hợp mơ hồ. DRO có thể bổ sung cho việc tăng cường khi các biến thể đó đại diện hợp lý cho các điều kiện triển khai. Tương tự như vậy, trôi dạt dữ liệu mô tả một thay đổi được quan sát thấy trong dữ liệu theo thời gian. DRO dự đoán các thay đổi được chọn trước khi triển khai, trongขณะ giám sát trôi dạt kiểm tra những gì thực sự xảy ra sau đó. Không phương pháp nào thay thế cho phương pháp kia.
Nơi nó quan trọng trong thị giác máy tính#
Hãy xem xét hệ thống phát hiện đối tượng bằng camera trên đường xác định xe cộ và người đi bộ. Cảnh quay của hệ thống có thể bị chi phối bởi các cảnh ban ngày quang đãng, trong khi ban đêm mưa ít phổ biến nhưng lại có hệ quả quan trọng. Mục tiêu DRO có thể coi các hỗn hợp khác nhau của điều kiện chiếu sáng và thời tiết được ghi lại là hợp lý, ngăn cản một model đạt được điểm số tổng thể tốt bằng cách bỏ qua các điều kiện khó khăn. Tuy nhiên, nó không thể đảm bảo nhận dạng các mối nguy hiểm vắng mặt trong cả dữ liệu và tập hợp mơ hồ đã chọn.
Trong phát hiện lỗi sản xuất, camera và ánh sáng có thể thay đổi giữa các dây chuyền sản xuất. Một model được chọn chỉ dựa trên độ chính xác kiểm tra trung bình có thể bỏ sót các lỗi trên một dây chuyền ít được đại diện hơn. Nếu các dây chuyền đó được xác định là các nhóm, mục tiêu mạnh mẽ dựa trên nhóm có thể nhấn mạnh hiệu suất khi tỷ lệ của chúng khác với mẫu huấn luyện. Điều này liên quan đến sai lệch tập dữ liệu, nhưng DRO không sửa chữa các nhãn không chính xác hoặc tạo ra các ví dụ về các lỗi chưa từng được ghi lại.
Đối với mỗi ứng dụng, hãy giữ lại các hình ảnh liên quan từ cùng một camera hoặc trang web với nhau khi đánh giá việc chuyển giao sang các trang web mới. Kiểm tra chéo nhận thức nhóm giúp tránh việc đánh giá trông có vẻ mạnh mẽ vì các cảnh gần như giống hệt nhau xuất hiện trong cả dữ liệu huấn luyện và dữ liệu xác thực.
Quy trình làm việc Ultralytics thực tế#
Điểm khởi đầu hợp lý là thiết lập một đường cơ sở huấn luyện và xác thực thông thường trước khi xem xét mục tiêu DRO tùy chỉnh. Quy trình làm việc huấn luyện YOLO26 của Ultralytics được tài liệu hóa hỗ trợ ví dụ ngắn này bằng cách sử dụng tập dữ liệu minh họa COCO8 tích hợp sẵn:
from ultralytics import YOLO
# Load pretrained detection weights.
model = YOLO("yolo26n.pt")
# Train a small baseline on the built-in example dataset.
model.train(data="coco8.yaml", epochs=3)
# Evaluate on the dataset's validation split.
metrics = model.val(data="coco8.yaml")
print(metrics.box.map)Đầu ra là độ chính xác trung bình (mAP) phát hiện tổng thể, không phải là điểm số DRO hoặc bằng chứng về tính mạnh mẽ. COCO8 hữu ích để thực thi quy trình làm việc, chứ không phải để ước tính hiệu suất trên các điều kiện triển khai thực tế. Đối với một dự án thực tế, hãy chuẩn bị các điều kiện đại diện, được dán nhãn riêng; sử dụng chế độ xác thực YOLO trên từng tập hợp được giữ lại có liên quan và so sánh cả kết quả tổng thể và kết quả cụ thể theo điều kiện.
Việc triển khai mục tiêu DRO thực tế đòi hỏi phải xác định tập hợp mơ hồ và thay đổi cách tối ưu hóa tổn thất huấn luyện. Quy trình làm việc của trình huấn luyện tùy chỉnh được tài liệu hóa cung cấp các điểm mở rộng, nhưng mã cơ sở ở trên không triển khai DRO. Các nhóm quản lý việc chú thích đám mây, huấn luyện và triển khai có thể sử dụng Nền tảng Ultralytics để tổ chức quy trình làm việc rộng lớn hơn đó.
Lựa chọn và kiểm tra sự bảo vệ phù hợp#
Bắt đầu bằng một câu hỏi cụ thể: Những thay đổi nào là hợp lý và chúng sẽ gây ra những lỗi gì? Thu thập các ví dụ từ các camera, trang web hoặc điều kiện có liên quan; bảo lưu các nhóm kiểm tra độc lập; và so sánh kết quả điều kiện tồi tệ nhất bên cạnh kết quả trung bình. Hướng dẫn của Google về tính tổng quát hóa giải thích lý do tại sao một tập huấn luyện không mang tính đại diện có thể gây hiểu lầm, trong khi hướng dẫn đo lường của Khung quản lý rủi ro AI NIST nhấn mạnh việc đánh giá phù hợp với bối cảnh.
Sau khi triển khai, hãy giám sát các thay đổi giữa dữ liệu huấn luyện và dữ liệu phục vụ. DRO hữu ích nhất khi tập hợp mơ hồ của nó phản ánh sự bất định đáng tin cậy; nó không phải là sự thay thế cho việc thu thập dữ liệu hợp lý, đánh giá cẩn thận hoặc giám sát tiếp tục.
