Shortcut Learning

Học đường tắt xảy ra khi một model học máy giải quyết một tác vụ bằng cách dựa vào một pattern đơn giản, ngoài ý muốn, tương quan với nhãn chính xác trong dữ liệu huấn luyện nhưng không đại diện cho concept mà model đáng lẽ phải học. Ví dụ, một trình phân loại hình ảnh có thể liên kết nền có tuyết với loài sói thay vì học các đặc điểm trực quan của loài động vật này. Đường tắt tạo ra các dự đoán chính xác khi mối tương quan này được duy trì, tuy nhiên hiệu suất có thể sụp đổ khi nền, máy ảnh, vị trí hoặc quy trình công việc thay đổi.

Học đường tắt diễn ra như thế nào#

Các model tối ưu hóa cho hiệu suất dự đoán, không phải sự hiểu biết của con người. Nếu một tín hiệu đơn giản dự đoán liên tục nhãn, quá trình huấn luyện có thể ưu tiên tín hiệu đó hơn các feature khó hơn nhưng có ý nghĩa hơn. Các đường tắt phổ biến bao gồm nền, hình mờ, viền ảnh, đặc điểm của cảm biến, template văn bản, thiết bị ghi hình và vị trí thu thập.

Học đường tắt thường bắt đầu bằng thiên vị tập dữ liệu. Giả sử mọi sản phẩm bị lỗi trong tập huấn luyện đều được chụp ảnh dưới ánh sáng rực rỡ hơn so với các sản phẩm đạt tiêu chuẩn. Độ sáng trở thành một feature có tính dự đoán cao, mặc dù nó không có mối quan hệ nhân quả nào với lỗi sản phẩm. Điều này phản ánh vấn đề rộng lớn hơn là coi tương quan là nhân quả, được mô tả trong hướng dẫn của Google về các mối tương quan giả mạo và không thể sử dụng.

Mạng nơ-ron đặc biệt có khả năng khám phá ra các đường tắt tinh tế mà con người có thể bỏ qua, chẳng hạn như pattern nén hoặc nhiễu đặc thù của máy ảnh. Các tín hiệu này có thể đáng tin cậy về mặt thống kê trong một tập dữ liệu, khiến model có vẻ thành công trong quá trình đánh giá thông thường.

Tại sao điều đó quan trọng trong các hệ thống thực tế#

Học đường tắt làm suy yếu khả năng tổng quát hóa: khả năng hoạt động đáng tin cậy trên dữ liệu có liên quan nằm ngoài phân phối huấn luyện. Hai ví dụ cụ thể minh họa hậu quả của vấn đề này:

• Chẩn đoán hình ảnh y tế: Một model chẩn đoán có thể học được rằng hình ảnh từ một máy quét hoặc bệnh viện cụ thể có liên quan đến một bệnh lý vì các ca bệnh nặng được thu thập không cân xứng tại đó. Khi được triển khai tại một bệnh viện khác, dấu hiệu của máy quét sẽ biến mất, có khả năng làm tăng số lượng kết quả âm tính giả hoặc các thủ tục theo dõi không cần thiết.
• Kiểm tra sản xuất: Một bộ dò lỗi có thể học được rằng các linh kiện bị lỗi xuất hiện trên khay kiểm tra màu đỏ trong khi các linh kiện đạt chuẩn xuất hiện trên băng chuyền. Trong quá trình sản xuất, bộ dò lỗi có thể bỏ sót các lỗi thực sự trên băng chuyền và gắn cờ các sản phẩm bình thường được đặt trên khay màu đỏ, làm tăng lượng phế liệu và khiến các vấn đề chất lượng trôi qua mà không bị phát hiện.

Những lỗi này có thể vẫn ẩn giấu khi dữ liệu xác thực có chung quy trình thu thập dữ liệu với dữ liệu huấn luyện. Một tập kiểm tra đáng tin cậy phải đại diện cho các điều kiện triển khai thực tế, không chứa dữ liệu trùng lặp từ quá trình huấn luyện và tuân thủ các thực tiễn phân tách tập huấn luyện, xác thực và kiểm tra hợp lý.

Phát hiện và các concept liên quan#

Học đường tắt có liên quan đến một số chế độ lỗi ML, nhưng các thuật ngữ này không thay thế cho nhau:

• Quá khớp: Model khớp quá sát với chi tiết đặc thù của quá trình huấn luyện. Học đường tắt có thể gây ra hiện tượng quá khớp, nhưng một đường tắt cũng có thể hoạt động trên một tập xác thực thông thường khi cả hai tập chia sẻ cùng một mối tương quan gây hiểu lầm.
• Rò rỉ dữ liệu: Thông tin không có sẵn trong quá trình suy luận thực tế xâm nhập vào các feature huấn luyện. Rò rỉ là một đường tắt đặc biệt trực tiếp, chẳng hạn như sử dụng sự phân công bệnh viện để tiết lộ gián tiếp một chẩn đoán; ví dụ về rò rỉ nhãn của Google minh họa rủi ro này.
• Tương quan giả mạo: Đây là mối quan hệ thống kê không đáng tin cậy trong dữ liệu. Học đường tắt mô tả hành vi của model khi nó phụ thuộc vào mối quan hệ đó.
• Thiên vị thuật toán: Thiên vị liên quan đến các kết quả có hệ thống không đồng đều hoặc bị lệch. Các feature đường tắt có thể tạo ra thiên vị, nhưng học đường tắt cũng ảnh hưởng đến các tác vụ không có nhóm nhân khẩu học.

Việc phát hiện đòi hỏi nhiều hơn một điểm số độ chính xác tổng hợp. Hãy đánh giá các lát cắt có ý nghĩa như máy ảnh, địa điểm, thời tiết, ánh sáng và nhóm nhân khẩu học, tuân theo hướng dẫn đánh giá tính công bằng dựa trên lát cắt. Các bài kiểm tra phản thực tế cũng có thể loại bỏ hoặc thay đổi các tín hiệu bị nghi ngờ trong khi vẫn giữ nguyên đối tượng mục tiêu. Sự thay đổi dự đoán lớn cho thấy sự phụ thuộc vào tín hiệu đã được sửa đổi.

Các công cụ AI có thể giải thích có thể tiết lộ sự tập trung vào các vùng không liên quan. Các tùy chọn bao gồm thuật toán quy kết Captum cho hình ảnh và tầm quan trọng của feature hoán vị cho dữ liệu có cấu trúc.

Giảm thiểu học đường tắt#

Bắt đầu với việc thu thập và chú thích dữ liệu mang tính đại diện. Thu thập nhiều địa điểm, máy ảnh, nền, mùa và điều kiện vận hành. Bao gồm các trường hợp âm tính khó chứa đường tắt bị nghi ngờ nhưng không có mục tiêu, cộng với các ví dụ dương tính nơi mục tiêu xuất hiện mà không có đường tắt đó. Các công cụ tập dữ liệu của Nền tảng Ultralytics có thể giúp các nhóm kiểm tra các cụm, dữ liệu trùng lặp, điểm ngoại lai, các lớp và việc phân tách tập dữ liệu trước khi huấn luyện.

Tăng cường dữ liệu YOLO có mục tiêu có thể thay đổi màu sắc, tỷ lệ, vị trí và hình học, nhưng việc tăng cường dữ liệu phải phá vỡ đường tắt thực tế thay vì tạo ra các pattern bổ sung phi thực tế. Việc đánh giá nên bao gồm các tập thử thách dịch chuyển có chủ đích và tiếp tục sau khi triển khai, nhất quán với hướng dẫn NIST AI RMF về đo lường và giám sát.

Quy trình công việc có thể chạy này huấn luyện Ultralytics YOLO26, đánh giá quy trình đó bằng Chế độ xác thực và lưu dự đoán để xem xét trực quan:

from ultralytics import YOLO

# Train a small baseline model
model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=3)

# Measure validation performance
metrics = model.val()
print(metrics.box.map)

# Inspect a prediction for suspicious visual dependencies
results = model.predict("https://ultralytics.com/images/bus.jpg")
result = results[0]
result.save(filename="shortcut_review.jpg")

Quy trình công việc tương tự có thể được lặp lại trên các tập thử thách được thu thập riêng biệt. Các số liệu ổn định và các dự đoán hợp lý qua các thay đổi được kiểm soát cung cấp bằng chứng mạnh mẽ hơn về việc học mạnh mẽ so với điểm số cao từ một phân phối dữ liệu quen thuộc.