Fairness in AI

Công bằng trong AI là yêu cầu các quyết định và lỗi của model không gây bất lợi một cách có hệ thống cho mọi người vì các thuộc tính nhạy cảm như chủng tộc, giới tính, tuổi tác hoặc khuyết tật, đồng thời bao gồm các metrics và phương pháp dùng để đo lường và bảo đảm yêu cầu đó. Thiên kiến trong AI gọi tên vấn đề này: sự sai lệch có hệ thống có thể phát sinh từ dữ liệu huấn luyện không đại diện (thiên lệch dataset) hoặc từ các lựa chọn trong quá trình lập mô hình và triển khai (thiên lệch thuật toán). Công bằng là tiêu chí để đánh giá hệ thống, một trong những nguyên tắc cốt lõi của đạo đức AI, bên cạnh tính minh bạch và trách nhiệm giải trình; công bằng có nhiều định nghĩa hình thức nhưng không thể đồng thời thỏa mãn tất cả.

Đo lường tính công bằng#

Các metrics công bằng theo nhóm so sánh hành vi của model giữa những nhóm được xác định theo thuộc tính nhạy cảm:

• Cân bằng nhân khẩu học: Mỗi nhóm nhận quyết định tích cực, chẳng hạn được duyệt vay hoặc được mời phỏng vấn, với cùng một tỷ lệ.
• Equalized odds: Mỗi nhóm có cùng tỷ lệ dương tính thật và cùng tỷ lệ dương tính giả. Năm 2016, Moritz Hardt, Eric Price và Nathan Srebro đã đưa ra định nghĩa này cùng với equal opportunity, khái niệm yếu hơn chỉ cân bằng tỷ lệ dương tính thật.
• Hiệu chỉnh trong từng nhóm: Điểm dự đoán 0.7 tương ứng với cùng tỷ lệ kết quả 70% ở mọi nhóm.
• Công bằng cá nhân: Những cá nhân tương tự nhau nhận dự đoán tương tự; Cynthia Dwork và các đồng nghiệp đã hình thức hóa định nghĩa này vào năm 2012.

Đoạn mã dưới đây chấm điểm một model hoàn toàn chính xác trên hai nhóm có tỷ lệ nền khác nhau:

import numpy as np

# Outcomes and a sensitive attribute for 10 applicants; group A has a higher base rate
y_true = np.array([1, 1, 1, 1, 0, 1, 1, 0, 0, 0])
group = np.array(["A"] * 5 + ["B"] * 5)

# A perfectly accurate model predicts every outcome correctly
y_pred = y_true.copy()

for g in ("A", "B"):
    in_group = group == g
    selection_rate = y_pred[in_group].mean()
    tpr = y_pred[in_group & (y_true == 1)].mean()  # true positive rate
    fpr = y_pred[in_group & (y_true == 0)].mean()  # false positive rate
    print(f"group {g}: selection rate {selection_rate:.0%}, TPR {tpr:.0%}, FPR {fpr:.0%}")

Model thỏa mãn equalized odds với tỷ lệ dương tính thật 100% và tỷ lệ dương tính giả 0% ở cả hai nhóm, nhưng vẫn vi phạm cân bằng nhân khẩu học khi duyệt 80% nhóm A và 40% nhóm B. Ép tỷ lệ lựa chọn bằng nhau sẽ dẫn đến quyết định sai ở ít nhất một nhóm.

Vì sao các định nghĩa về công bằng mâu thuẫn#

Năm 2016, Jon Kleinberg, Sendhil Mullainathan và Manish Raghavan; năm 2017, Alexandra Chouldechova đã chứng minh rằng khi tỷ lệ nền khác nhau giữa các nhóm, bộ phân loại không thể vừa được hiệu chỉnh trong từng nhóm vừa có tỷ lệ dương tính giả và âm tính giả bằng nhau, trừ các trường hợp suy biến như dự đoán hoàn hảo. Công cụ dự đoán tái phạm COMPAS cho thấy mâu thuẫn này trong thực tế. Năm 2016, ProPublica đưa tin rằng các bị cáo da đen không tái phạm có khả năng bị gán mức rủi ro cao gần gấp đôi so với bị cáo da trắng; trong khi đó, nhà phát triển công cụ cho thấy điểm số của công cụ được hiệu chỉnh như nhau cho cả hai nhóm. Cả hai phân tích đều đúng, vì vậy việc chọn metric công bằng cho một ứng dụng cụ thể vừa là quyết định chính sách vừa là quyết định kỹ thuật.

Công bằng trong thị giác máy tính#

Nghiên cứu Gender Shades của Joy Buolamwini và Timnit Gebru (2018) đánh giá ba bộ phân loại giới tính thương mại và phát hiện tỷ lệ lỗi lên đến 34.7% đối với phụ nữ có làn da sẫm màu, so với tối đa 0.8% đối với nam giới có làn da sáng hơn. Chênh lệch tương tự xuất hiện ở những lĩnh vực mà một số nhóm ít được đại diện trong ảnh huấn luyện, từ model nhận dạng khuôn mặt đến model phân tích ảnh y tế chẩn đoán bệnh về da được huấn luyện trên dataset da liễu chủ yếu gồm người có làn da sáng. Vì vậy, một cuộc đánh giá thị giác máy tính báo cáo riêng precision và recall cho từng nhóm phụ liên quan, đồng thời ghi nhận chúng trong model card, bởi một con số độ chính xác tổng thể duy nhất có thể che giấu nhóm phụ mà model hoạt động kém.

Chiến lược giảm thiểu#

Các biện pháp can thiệp được phân nhóm theo giai đoạn của pipeline machine learning mà chúng tác động. Phương pháp tiền xử lý thu thập dữ liệu đại diện, bổ sung các phần còn thiếu bằng tăng cường dữ liệu có mục tiêu hoặc dữ liệu tổng hợp, đồng thời gán lại trọng số cho các mẫu để tăng mức ảnh hưởng của những nhóm ít được đại diện. Ultralytics YOLO cũng cung cấp cách gán lại trọng số tương tự cho các lớp: đặt đối số huấn luyện cls_pw cao hơn giá trị mặc định 0 sẽ nhân loss của mỗi lớp với tần suất nghịch đảo của lớp đó lũy thừa giá trị này, nhờ đó lớp hiếm có trọng số lớn hơn trong quá trình huấn luyện.

Phương pháp xử lý trong quá trình huấn luyện bổ sung các ràng buộc hoặc penalty về tính công bằng vào hàm loss, hoặc sử dụng tối ưu hóa bền vững theo phân phối để giảm loss của nhóm có hiệu suất thấp nhất. Phương pháp xử lý sau huấn luyện điều chỉnh ngưỡng quyết định theo từng nhóm sau khi huấn luyện; đây là cách Hardt và các đồng nghiệp đề xuất để đạt equalized odds.

Các bộ công cụ mã nguồn mở như Fairlearn và AI Fairness 360 của IBM triển khai các metrics và biện pháp giảm thiểu này. Quy định ngày càng yêu cầu thực hiện các phép đo: Đạo luật AI của EU yêu cầu nhà cung cấp hệ thống rủi ro cao kiểm tra dữ liệu huấn luyện để phát hiện thiên kiến có thể có; Luật địa phương 144 của Thành phố New York yêu cầu kiểm toán thiên kiến độc lập hằng năm đối với công cụ tuyển dụng tự động kể từ tháng 7 năm 2023.