Hard Negative Mining

Hard negative mining là một chiến lược dữ liệu huấn luyện giúp xác định các ví dụ âm tính mà model đánh giá là thuyết phục một cách bất thường và tập trung sự chú ý lớn hơn vào chúng trong quá trình học. Một ví dụ âm tính không thuộc về class mục tiêu, trong khi một hard negative lại giống với ví dụ dương tính đến mức đủ để tạo ra điểm số cao, phát hiện sai, hoặc embedding nằm ở vùng lân cận. Bằng cách tập trung vào những trường hợp gây nhầm lẫn này thay vì liên tục hiển thị cho model các ví dụ nền dễ dàng, hard negative mining có thể làm sắc nét ranh giới quyết định và giảm thiểu các trường hợp dương tính giả (false positives).

Cách thức hoạt động của Hard Negative Mining#

Quá trình này thường bắt đầu bằng một baseline model được huấn luyện trên training data mang tính đại diện. Sau đó, model sẽ đánh giá một tập hợp ứng viên lớn hơn, chẳng hạn như hình ảnh sản xuất chưa được gán nhãn, các cảnh toàn âm tính, hoặc các ví dụ trong mỗi batch huấn luyện. Các ứng viên nhận được điểm số dương tính cao mặc dù là âm tính sẽ được chọn để xem xét và huấn luyện trong tương lai.

Điều gì đủ điều kiện được coi là “hard” phụ thuộc vào tác vụ:

• Trong object detection, một vùng nền được coi là hard khi detector nhầm lẫn nó với một object mục tiêu.
• Trong phân loại (classification), đó là một ví dụ thuộc class sai nhưng được gán độ tin cậy cao cho class mục tiêu.
• Trong truy vấn hoặc học khoảng cách (metric learning), đó là một item không liên quan nhưng lại được xếp hạng gần với truy vấn trong không gian embedding. Hướng dẫn của Google về negative sampling cho recommendation models mô tả các hard negative là các item âm tính có điểm số cao ảnh hưởng mạnh mẽ đến đạo hàm (gradient).
• Trong học ba (triplet learning), ví dụ âm tính xuất hiện quá gần với anchor so với ví dụ dương tính tương ứng của nó. Tài liệu PyTorch TripletMarginLoss documentation giải thích cấu trúc anchor-positive-negative được sử dụng để học độ tương đồng tương đối.

Quá trình khai thác (mining) có thể diễn ra offline, bằng cách chạy định kỳ một model trên một dataset lớn, hoặc online, bằng cách chọn các âm tính khó từ mini-batch hiện tại. Một Keras hard negative mining layer cung cấp một ví dụ về việc lựa chọn dựa trên từng truy vấn dựa trên các logit ứng viên.

Tại sao Hard Negatives lại quan trọng#

Hầu hết các ví dụ âm tính đều dễ: một bầu trời trống rỗng không có khả năng làm cho forklift detector bối rối. Một khi model phân loại chính xác các ví dụ đó, chúng đóng góp rất ít tín hiệu học tập hữu ích. Hard negative phơi bày các đặc điểm trực quan hoặc ngữ nghĩa chính xác mà model đã hiểu sai.

Chúng đặc biệt có giá trị khi các cảnh báo giả làm giảm precision. Phân tích precision-recall giúp xác định xem việc huấn luyện lại có thực sự làm giảm các trường hợp dương tính giả hay không mà không gây ra sự sụt giảm không thể chấp nhận được về recall, như minh họa bởi scikit-learn precision-recall guide.

Hard negative mining khác với các kỹ thuật liên quan ở điểm:

• Negative sampling chọn một tập hợp con có thể quản lý được của tất cả các âm tính; hard negative mining ưu tiên những trường hợp gây nhầm lẫn nhiều nhất.
• Active learning thường chọn các ví dụ không chắc chắn để con người gán nhãn, bao gồm cả các khả năng dương tính. Hard negative mining nhắm cụ thể vào các âm tính đã được xác nhận gây thách thức cho model.
• Focal loss thay đổi cách trọng số của các ví dụ bên trong loss function, trong khi mining thay đổi các ví dụ nào được chọn hoặc nhấn mạnh.
• Class rebalancing giải quyết tần suất class không đồng đều. Hướng dẫn về class-imbalanced dataset guidance của Google đề cập đến việc downsampling và gán trọng số, nhưng các âm tính thường xuyên không nhất thiết phải là hard negative.
• Data augmentation tạo ra các biến thể của các mẫu hiện có; nó không thể giới thiệu một cách đáng tin cậy một lỗi sản xuất chưa biết.

Các ứng dụng trong thực tế#

Phát hiện an toàn trong kho hàng: Giả sử một forklift detector liên tục nhận diện nhầm pallet jack, phản chiếu trên kệ và xe nâng cắt kéo (scissor lift) thành xe nâng (forklift). Các trường hợp dương tính giả này có thể kích hoạt cảnh báo không cần thiết và làm giảm sự tin tưởng của người vận hành. Các kỹ sư có thể thu thập các cảnh đó làm hình ảnh âm tính không có chú thích xe nâng, thêm chúng vào dataset và huấn luyện lại detector để phân biệt mục tiêu với các thiết bị tương tự.

Tìm kiếm sản phẩm trực quan: Khách hàng tìm kiếm một đôi giày chạy bộ màu đen cụ thể, nhưng hệ thống truy xuất lại xếp hạng các đôi giày có hình thức tương tự từ các dòng sản phẩm khác ở mức quá cao. Các sản phẩm không khớp đó trở thành hard negative. Huấn luyện chống lại chúng khuyến khích embedding model bảo tồn các điểm khác biệt nhỏ như hình dáng đế, vị trí logo và chất liệu. Keras Siamese network example minh họa cách hình ảnh anchor, positive và negative hỗ trợ học độ tương đồng.

Quy trình Mining Thực tế#

Một quy trình đáng tin cậy mang tính lặp đi lặp lại:

1. Chạy dự đoán trên dữ liệu validation và production mang tính đại diện.
2. Xem xét các trường hợp dương tính giả có độ tin cậy cao và các mẫu nhầm lẫn class bằng cách sử dụng Ultralytics validation mode và confusion matrix.
3. Xác nhận mọi ứng viên đều thực sự là âm tính; nhãn không chính xác có thể dạy cho model cách kìm nén các object thực tế.
4. Tìm các mẫu liên quan, xóa các bản sao và giữ lại các background, góc nhìn và điều kiện đa dạng.
5. Huấn luyện lại, sau đó so sánh hiệu suất trên cả toàn bộ test set và một hard-negative slice chuyên dụng bằng cách sử dụng computer vision model testing workflow.

Ultralytics Explorer similarity search có thể giúp hiển thị các hình ảnh giống với một trường hợp dương tính giả đã biết:

from ultralytics import Explorer

# Build an embedding index for the example dataset
explorer = Explorer(data="coco128.yaml", model="yolo26n.pt")
explorer.create_embeddings_table()

# Retrieve visually similar candidates for human review
candidates = explorer.get_similar(
    img="https://ultralytics.com/images/bus.jpg",
    limit=12,
)
print(candidates.head())

Sự tương đồng một mình không chứng minh rằng một ứng viên là hard negative; người đánh giá phải xác minh nhãn ground-truth của nó. Các nhóm có thể sử dụng Ultralytics Platform để tổ chức hình ảnh ứng viên, chú thích hoặc sửa chúng, huấn luyện các model được cập nhật và giám sát việc triển khai.

Tránh chỉ chọn những ví dụ khó tuyệt đối. Một số ví dụ có thể bị gán nhãn sai, mơ hồ hoặc là các ngoại lệ cực đoan làm mất ổn định quá trình huấn luyện. Một hỗn hợp cân bằng giữa các âm tính dễ, khó vừa phải và khó thường duy trì phạm vi phủ sóng rộng trong khi dạy cho model biết ranh giới hiện tại của nó thất bại ở đâu.