Algorithmic Bias

Thiên lệch thuật toán là lỗi có tính hệ thống và lặp lại trong một hệ thống máy tính, dẫn đến kết quả không công bằng, chẳng hạn ưu tiên một nhóm người hơn nhóm khác trong tuyển dụng, cho vay, hoạt động cảnh sát hoặc chăm sóc sức khỏe. Thuật ngữ này bao hàm mọi quy trình ra quyết định tự động, từ công thức chấm điểm tín dụng viết thủ công đến mạng nơ-ron sâu; vì một quy tắc sai được áp dụng cho mọi trường hợp, cùng một lỗi lặp lại trong hàng nghìn hoặc hàng triệu quyết định. Trong các cuộc thảo luận về học máy (ML), thiên lệch thuật toán và thiên lệch trong AI là những thuật ngữ đồng nghĩa. Thiên lệch thuật toán là thuật ngữ lâu đời hơn và bao quát hơn, thường chỉ các quyết định mà một hệ thống đã triển khai đưa ra về con người.

Ba nguồn gốc của thiên lệch thuật toán#

Bài báo năm 1996 của Batya Friedman và Helen Nissenbaum, “Thiên lệch trong các hệ thống máy tính”, phân loại thiên lệch thành ba dạng dựa trên nguồn gốc; khuôn khổ này vẫn được sử dụng đến nay:

• Thiên lệch có sẵn: Hệ thống tiếp nhận định kiến vốn đã tồn tại trong xã hội hoặc trong hồ sơ lịch sử.
• Thiên lệch kỹ thuật: Một lựa chọn thiết kế, chẳng hạn chọn biến đại diện cho đại lượng cần quan tâm, tạo ra sự bất công.
• Thiên lệch phát sinh: Thiên lệch xuất hiện sau khi triển khai, khi dân số, bối cảnh hoặc ảnh hưởng của chính hệ thống lên dữ liệu tương lai thay đổi.

Amazon đã loại bỏ một model tuyển dụng thử nghiệm sau khi model học cách trừ điểm hồ sơ có từ “women's”; đây là trường hợp thiên lệch có sẵn, vì model được huấn luyện trên dữ liệu hồ sơ xin việc trong mười năm, phần lớn do nam giới nộp. Một thuật toán chăm sóc sức khỏe được sử dụng rộng rãi ở Mỹ cho thấy thiên lệch kỹ thuật. Thuật toán dự đoán chi phí y tế tương lai của bệnh nhân làm đại diện cho nhu cầu sức khỏe; do mức chi tiêu cho bệnh nhân da đen mắc bệnh với mức độ tương đương thấp hơn, thuật toán ít chuyển họ đi chăm sóc bổ sung hơn. Một nghiên cứu năm 2019 trên Science phát hiện rằng nếu khắc phục thiên lệch, tỷ lệ bệnh nhân da đen được đánh dấu cần trợ giúp thêm sẽ tăng từ 17,7% lên 46,5%. Cảnh sát dự đoán là ví dụ điển hình về thiên lệch phát sinh thông qua vòng lặp phản hồi:

Năm 2018, các nhà nghiên cứu cho thấy vòng lặp này có thể tự khuếch đại: lực lượng tuần tra phát hiện nhiều vụ việc hơn ở nơi được điều đến, hồ sơ mới xác nhận thứ hạng, rồi model lại điều lực lượng tuần tra về cùng khu dân cư, ngay cả khi tỷ lệ tội phạm ở nơi khác bằng nhau.

Vì sao quyết định công bằng đòi hỏi sự đánh đổi#

Năm 2016, ProPublica phân tích COMPAS, một điểm số rủi ro được sử dụng tại các tòa án ở Mỹ, và phát hiện rằng các bị cáo da đen không tái phạm có khả năng bị xếp vào nhóm rủi ro cao gần gấp đôi so với bị cáo da trắng (45% so với 23%). Nhà cung cấp phản hồi rằng điểm số được hiệu chuẩn ngang nhau cho cả hai nhóm, nghĩa là cùng một điểm số tương ứng với cùng tỷ lệ tái phạm bất kể chủng tộc. Cả hai nhận định đều đúng. Sau đó, các nhà nghiên cứu, bao gồm Kleinberg, Mullainathan và Raghavan, chứng minh rằng khi hai nhóm có tỷ lệ nền khác nhau, một điểm số không hoàn hảo không thể vừa được hiệu chuẩn cho cả hai nhóm, vừa tạo ra tỷ lệ dương tính giả và âm tính giả bằng nhau. Mô phỏng sau đây cho thấy xung đột khi dùng điểm số được hiệu chuẩn hoàn hảo và một ngưỡng chung:

import numpy as np

rng = np.random.default_rng(0)

# True risk per person; group B has a higher base rate than group A
risks = {"A": rng.beta(2, 5, 100_000), "B": rng.beta(3, 4, 100_000)}

for name, risk in risks.items():
    # Outcomes follow the risk exactly, so the score is perfectly calibrated in both groups
    outcome = rng.random(risk.size) < risk
    flagged = risk > 0.5  # one shared decision threshold

    # False positive rate: share of people without the outcome who were flagged anyway
    fpr = flagged[~outcome].mean()
    print(f"group {name}: base rate {outcome.mean():.2f}, false positive rate {fpr:.2f}")

Nhóm A có tỷ lệ nền 0,29 và tỷ lệ dương tính giả 0,06; nhóm B có tỷ lệ nền 0,43 và tỷ lệ dương tính giả 0,23: cùng một điểm số được hiệu chuẩn và một ngưỡng khiến những người thuộc nhóm B không gặp kết quả đó bị đánh dấu thường xuyên hơn gần bốn lần. Mọi hệ thống chuyển điểm số thành quyết định đều phải đối mặt với lựa chọn này. Ultralytics YOLO26 áp dụng một ngưỡng confidence (conf, mặc định 0.25 cho dự đoán) cho mọi đối tượng được phát hiện, nên bất kỳ nhóm nào có điểm phát hiện thấp hơn, chẳng hạn người đi bộ hiếm gặp trong dữ liệu huấn luyện, sẽ mất nhiều kết quả phát hiện hơn với cùng thiết lập.

Thiên lệch thuật toán và các thuật ngữ liên quan#

• Thiên lệch tập dữ liệu: Các sai sót ngay trong dữ liệu, chẳng hạn lấy mẫu không đại diện. Thiên lệch tập dữ liệu là một nguyên nhân gây ra thiên lệch thuật toán, bên cạnh lựa chọn thiết kế và ảnh hưởng khi triển khai.
• Tính công bằng trong AI: Lĩnh vực xác định các tiêu chí công bằng, chẳng hạn tính ngang bằng về nhân khẩu học hoặc tỷ lệ lỗi bằng nhau, cùng các phương pháp đáp ứng những tiêu chí đó.
• Trôi dạt dữ liệu: Sự thay đổi trong dữ liệu đầu vào sau khi triển khai, có thể tạo ra thiên lệch phát sinh ở một model được đánh giá là công bằng khi ra mắt.

Kiểm toán và giảm thiểu thiên lệch thuật toán#

Các cuộc kiểm toán so sánh kết quả và tỷ lệ lỗi giữa các nhóm bằng bộ công cụ mã nguồn mở như Fairlearn và AI Fairness 360 của IBM. Việc khắc phục diễn ra ở ba giai đoạn: tiền xử lý để gán trọng số lại hoặc lấy mẫu lại dữ liệu huấn luyện; xử lý trong quá trình huấn luyện để thêm ràng buộc công bằng vào mục tiêu huấn luyện; và hậu xử lý để điều chỉnh ngưỡng quyết định theo từng nhóm. Giám sát model liên tục giúp phát hiện thiên lệch mới xuất hiện mà kiểm toán trước khi ra mắt bỏ sót. Quy định ngày càng yêu cầu thực hiện các cuộc kiểm toán này: Luật địa phương 144 của Thành phố New York, được thực thi từ ngày 5 tháng 7 năm 2023, cấm nhà tuyển dụng sử dụng công cụ tuyển dụng tự động trừ khi kiểm toán viên độc lập đã kiểm tra thiên lệch trong năm vừa qua và nhà tuyển dụng công bố bản tóm tắt kèm tỷ lệ tác động, so sánh tỷ lệ được chọn theo giới tính và chủng tộc hoặc sắc tộc.