Shortcut Learning

Học theo lối tắt xảy ra khi model giải quyết tác vụ huấn luyện bằng một tín hiệu đơn giản có thể dự đoán nhãn trong dữ liệu huấn luyện nhưng không liên quan đến khái niệm mà model cần học. Model đạt điểm tốt trên mọi tập kiểm thử có cùng tín hiệu và thất bại khi tín hiệu biến mất. Robert Geirhos và các cộng sự mô tả vấn đề này trong Shortcut Learning in Deep Neural Networks, một bài quan điểm đăng trên Nature Machine Intelligence năm 2020; bài viết định nghĩa lối tắt là các quy tắc quyết định hoạt động tốt trên benchmark tiêu chuẩn nhưng không khái quát được sang điều kiện khó hơn như ứng dụng thực tế. Phép so sánh kinh điển là Clever Hans, con ngựa tưởng như biết tính toán nhưng thực ra đọc ngôn ngữ cơ thể của người huấn luyện.

Lối tắt trong các model đã công bố#

Shortcut đã được phát hiện trong nhiều model đã công bố:

• Dấu hiệu bệnh viện trong ảnh y khoa: Trong nghiên cứu năm 2018 của John Zech và các cộng sự, các bộ phân loại viêm phổi được huấn luyện trên ảnh X-quang ngực từ một số hệ thống bệnh viện có thể xác định ảnh đến từ bệnh viện nào; do tỷ lệ mắc bệnh khác nhau giữa các bệnh viện, thông tin nguồn đó giúp dự đoán chẩn đoán. Hiệu năng thường thấp hơn ở các bệnh viện không có trong dữ liệu huấn luyện, một rủi ro thường gặp của AI trong X-quang.
• Ảnh X-quang COVID-19: Một phân tích năm 2021 của Alex DeGrave và các cộng sự cho thấy các bộ phát hiện COVID-19 dựa vào dấu mốc văn bản, tư thế bệnh nhân và khác biệt giữa các nguồn dữ liệu thay vì dấu hiệu ở phổi; độ chính xác giảm mạnh trên dữ liệu từ các bệnh viện mới.
• Phông nền trong ảnh bẫy ảnh: Nghiên cứu “Recognition in Terra Incognita” năm 2018 của Sara Beery và các cộng sự cho thấy các model phân loại ảnh gắn động vật với địa điểm và phông nền nơi chúng được chụp, khiến độ chính xác giảm tại các địa điểm đặt camera mới—một vấn đề đã biết của AI trong bảo tồn động vật hoang dã. Bài báo mở đầu bằng hình ảnh một con bò trên bãi biển mà bộ phân loại ảnh thương mại không nhận dạng được, trong khi bò trên đồng cỏ vùng Alps lại được gán nhãn chính xác.
• Ưu tiên kết cấu hơn hình dạng: Các mạng nơ-ron tích chập được huấn luyện trên ImageNet phân loại hình ảnh có hình dạng con mèo nhưng kết cấu da voi là voi, như Geirhos và các cộng sự đã chứng minh vào năm 2019.

Vì sao kiểm định tiêu chuẩn bỏ sót vấn đề này#

Việc chia ngẫu nhiên tập huấn luyện và validation sao chép lối tắt vào cả hai phần, khiến độ chính xác trên dữ liệu validation có vẻ rất cao. Lỗi chỉ xuất hiện trên dữ liệu được thu thập theo cách khác: từ địa điểm, camera, bệnh viện, mùa hoặc khoảng thời gian mới.

Điều đó tạo nên sự khác biệt giữa học lối tắt và các vấn đề liên quan:

• Overfitting: Ghi nhớ nhiễu riêng của tập huấn luyện, thể hiện qua khoảng cách giữa điểm số huấn luyện và validation. Một lối tắt có thể khái quát hoàn hảo sang tập validation lấy từ cùng nguồn.
• Rò rỉ dữ liệu: Thông tin sẽ không tồn tại tại thời điểm dự đoán lọt vào đặc trưng hoặc các tập chia. Rò rỉ là một cách cụ thể, thường vô tình, khiến lối tắt xâm nhập vào bộ dữ liệu.
• Thiên lệch bộ dữ liệu: Sự lệch trong dữ liệu thu thập, chẳng hạn tất cả ví dụ dương tính đều đến từ một máy quét, tạo ra tín hiệu để model dựa vào làm lối tắt.

Vài dòng scikit-learn tái hiện lỗi này bằng hồi quy logistic trên hai đặc trưng: một tín hiệu thực yếu và một lối tắt gần như khớp hoàn hảo với nhãn trong quá trình huấn luyện.

import numpy as np
from sklearn.linear_model import LogisticRegression

rng = np.random.default_rng(0)
labels = rng.integers(0, 2, 2000)

# A weak genuine signal and a shortcut that tracks the label almost perfectly
signal = labels + rng.normal(0, 1.0, labels.size)
shortcut = labels + rng.normal(0, 0.1, labels.size)

model = LogisticRegression()
model.fit(np.column_stack([signal, shortcut]), labels)

# At deployment the shortcut no longer carries any label information
shifted = rng.permutation(shortcut)
print(f"In-distribution accuracy: {model.score(np.column_stack([signal, shortcut]), labels):.2f}")
print(f"Shifted accuracy: {model.score(np.column_stack([signal, shifted]), labels):.2f}")

Độ chính xác giảm từ 1,00 xuống 0,52 khi xáo trộn tín hiệu lối tắt. Riêng tín hiệu thực đạt độ chính xác khoảng 70%, nhưng model gán cho lối tắt hệ số lớn hơn tín hiệu khoảng 18 lần, nên gần như không học được gì từ tín hiệu khó hơn.

Phát hiện và loại bỏ shortcut#

Cách kiểm thử đáng tin cậy nhất là đánh giá trên dữ liệu mà lối tắt không thể dựa vào: giữ nguyên toàn bộ địa điểm, camera hoặc khoảng thời gian ngoài tập huấn luyện thay vì chọn ảnh ngẫu nhiên. Khoảng cách lớn giữa điểm số đó và điểm số trong phân phối cho thấy có thể model đang dựa vào phông nền, ánh sáng hoặc tín hiệu cảm biến. Khám phá dữ liệu giúp tìm các dấu hiệu đáng ngờ trước khi huấn luyện. Bảng Clustering trong Ultralytics Platform đặt các ảnh trông tương tự gần nhau trên bản đồ 2D và tô màu theo lớp, tập chia hoặc chiều rộng và chiều cao ảnh; nhờ vậy, một lớp tạo thành đảo riêng vì ảnh của lớp đó đến từ cùng một camera sẽ lộ rõ trước khi model YOLO26 học theo camera thay vì đối tượng.

Các chỉnh sửa phản thực kiểm tra trực tiếp tín hiệu bị nghi ngờ. Thay phông nền, xóa lớp phủ hoặc cắt bỏ dấu mốc sẽ giữ nguyên dự đoán đúng nhưng làm đảo chiều dự đoán dựa trên lối tắt. Các phương pháp quy kết từ AI có thể giải thích (XAI), chẳng hạn bản đồ độ nổi bật, cho thấy pixel nào chi phối dự đoán; trong nghiên cứu COVID-19, chúng làm nổi bật viền ảnh và văn bản thay vì phổi.

Khắc phục lối tắt thường đòi hỏi thay đổi dữ liệu. Thu thập các ví dụ trong đó tín hiệu và nhãn không trùng khớp—chẳng hạn các bộ phận lỗi được chụp trên mọi khay và phông nền—sẽ phá vỡ mối tương quan. Tăng cường dữ liệu bằng cách thay đổi màu sắc, tỷ lệ và vị trí làm suy yếu những tín hiệu gắn với các thuộc tính đó; domain randomization áp dụng cách tương tự cho ảnh tổng hợp bằng cách ngẫu nhiên hóa kết cấu, ánh sáng và phông nền. Khi đã biết các nhóm chứa lối tắt, tối ưu hóa vững phân phối theo nhóm sẽ tối thiểu hóa loss của nhóm có hiệu năng kém nhất thay vì loss trung bình.