Explainable AI (XAI)

AI có thể giải thích (XAI) là tập hợp các phương pháp giúp con người hiểu được đầu ra của model trí tuệ nhân tạo (AI): đầu vào nào chi phối một dự đoán, model hoạt động ra sao nói chung và khi nào có thể tin cậy câu trả lời của model. Model deep learning (DL) với hàng triệu hoặc hàng tỷ tham số hoạt động như hộp đen, chính xác nhưng khó hiểu; XAI giúp nhà phát triển, người dùng, kiểm toán viên và cơ quan quản lý quan sát bên trong. Giải thích được dùng để gỡ lỗi model, phát hiện thiên lệch thuật toán, giải trình quyết định với những người chịu ảnh hưởng và đáp ứng các yêu cầu pháp lý. Chương trình AI có thể giải thích của DARPA, khởi động năm 2017, đã phổ biến thuật ngữ này.

Khả năng giải thích và khả năng diễn giải#

Hai thuật ngữ này thường được dùng như từ đồng nghĩa. Khi các nhà nghiên cứu phân biệt chúng, model có thể diễn giải được là những model dễ hiểu ngay từ thiết kế, chẳng hạn model tuyến tính, cây quyết định nhỏ và model nút thắt khái niệm; trong khi các phương pháp giải thích tạo ra lời giải thích sau khi model đã hoạt động dù bản thân model không dễ hiểu. Trong bài báo năm 2019 trên Nature Machine Intelligence, Cynthia Rudin lập luận rằng các quyết định có hệ quả lớn nên sử dụng model có thể diễn giải được, vì lời giải thích hậu nghiệm có thể trình bày sai những gì model thực sự tính toán.

Hai thuật ngữ gần kề có phạm vi rộng hơn hoặc đi sâu hơn. Tính minh bạch trong AI bao hàm sự cởi mở về toàn bộ hệ thống, gồm nguồn dữ liệu, thiết kế và mục đích sử dụng. Tính diễn giải cơ chế đảo ngược kỹ thuật các mạch bên trong mạng, một phương pháp chủ yếu được dùng trên model ngôn ngữ lớn.

Các loại giải thích#

Các giải thích khác nhau về phạm vi và mức độ truy cập cần thiết. Giải thích cục bộ làm rõ một dự đoán cụ thể, chẳng hạn lý do một khoản vay bị từ chối; giải thích toàn cục mô tả hành vi trên mọi dự đoán, chẳng hạn những đặc trưng quan trọng nhất nói chung. Phương pháp độc lập với model xem model như hộp đen và chỉ truy vấn đầu vào cùng đầu ra; phương pháp đặc thù cho model sử dụng cấu trúc bên trong, chẳng hạn gradient hoặc trọng số attention.

Các kỹ thuật XAI phổ biến#

• SHAP (Giải thích cộng tính Shapley): Gán cho mỗi feature một phần của dự đoán bằng các giá trị Shapley từ lý thuyết trò chơi hợp tác, nhờ đó tổng các đóng góp chính xác bằng chênh lệch giữa dự đoán và giá trị cơ sở.
• LIME (Giải thích cục bộ, dễ diễn giải, không phụ thuộc model): Nhiễu đầu vào nhiều lần, ghi lại những thay đổi của dự đoán rồi khớp một model thay thế đơn giản, chẳng hạn model tuyến tính thưa, mô phỏng hộp đen quanh đầu vào đó.
• Độ quan trọng của feature bằng phép hoán vị: Xáo trộn từng feature một và đo mức giảm điểm số của model; đây là một phương pháp giải thích tổng thể có thể dùng với mọi model.
• Giải thích phản thực: Cho biết thay đổi nhỏ nhất đối với đầu vào có thể làm đảo ngược quyết định, chẳng hạn mức thu nhập tại đó khoản vay sẽ được chấp thuận.
• Bản đồ độ nổi bật: Làm nổi bật các pixel ảnh hưởng nhiều nhất đến đầu ra của model thị giác. Các phương pháp bản đồ kích hoạt lớp (CAM) như Grad-CAM gán trọng số cho feature map của mạng bằng gradient của điểm số lớp được dự đoán, từ đó tạo heatmap thô thể hiện bằng chứng.

Ultralytics YOLO26 tích hợp phương pháp CAM vào dự đoán: đặt visualize=True sẽ lưu heatmap LayerCAM, trong đó mỗi vị trí của feature map đưa vào đầu phát hiện được gán trọng số theo gradient dương riêng của vị trí đó đối với lớp được dự đoán:

from ultralytics import YOLO

# Tải detector YOLO26 được huấn luyện trước trên COCO
model = YOLO("yolo26n.pt")

# Lưu heatmap LayerCAM chỉ giải thích các detection "person" (lớp 0)
model.predict("https://ultralytics.com/images/bus.jpg", visualize=True, classes=[0])

Thư mục chạy sẽ có thêm bus_cam.jpg, một heatmap phủ lên ảnh, trong đó các màu ấm đánh dấu những pixel làm tăng điểm số của lớp person.

Khi phần giải thích gây hiểu lầm#

Một phần giải thích có thể trông thuyết phục nhưng vẫn diễn giải sai về model. Trong "Kiểm tra tính hợp lý cho bản đồ độ nổi bật" (2018), các nhà nghiên cứu ngẫu nhiên hóa trọng số đã huấn luyện của một mạng và phát hiện một số phương pháp độ nổi bật phổ biến tạo ra các bản đồ gần như giống hệt trước đó. Điều này cho thấy các bản đồ phản ánh đường viền trong ảnh đầu vào nhiều hơn những gì model đã học. Một nghiên cứu năm 2020 cho thấy có thể bọc một bộ phân loại cố tình thiên lệch để LIME và SHAP báo cáo các feature vô hại trong khi các quyết định bên dưới vẫn mang tính phân biệt đối xử. Bốn nguyên tắc về AI có thể giải thích của NIST trực tiếp giải quyết vấn đề này: phần giải thích phải tồn tại, có ý nghĩa với đối tượng tiếp nhận và phản ánh chính xác quy trình của hệ thống; đồng thời, hệ thống chỉ được hoạt động trong phạm vi điều kiện được thiết kế.

Ứng dụng và quy định#

• Phân tích ảnh y tế: Heatmap giúp bác sĩ chẩn đoán hình ảnh xác nhận model đánh dấu chính tổn thương trên ảnh X-quang, đồng thời phát hiện các model dựa vào dấu mốc của máy quét hoặc văn bản được in trực tiếp lên ảnh.
• Phát hiện shortcut: Trong bài báo LIME gốc, các phần giải thích đã phơi bày một bộ phân loại husky-so-với-sói bị cố tình tạo lỗi, dựa vào tuyết ở hậu cảnh.
• Tín dụng và cho vay: Theo Đạo luật Cơ hội Tín dụng Bình đẳng của Hoa Kỳ, bên cho vay phải nêu rõ các lý do chính cụ thể khiến hồ sơ bị từ chối; không có ngoại lệ cho các quyết định do thuật toán phức tạp đưa ra.

GDPR cho phép những người chịu tác động của quyết định tự động được tiếp cận thông tin có ý nghĩa về logic liên quan; Điều 13 của Đạo luật AI EU yêu cầu các hệ thống rủi ro cao phải đủ minh bạch để đơn vị triển khai diễn giải đầu ra; và Điều 86 trao cho người bị ảnh hưởng bởi quyết định dựa trên hệ thống rủi ro cao quyền được giải thích rõ ràng, có ý nghĩa về vai trò của hệ thống AI và các yếu tố chính của quyết định.