Bias in AI

Thiên lệch AI, còn gọi là thiên lệch trong AI, là lỗi có tính hệ thống trong hệ thống trí tuệ nhân tạo (AI), dẫn đến kết quả kém chính xác hoặc kém công bằng hơn cho một số nhóm người, thường dựa trên các yếu tố như sắc tố da, giới tính, tuổi tác, phương ngữ hoặc thu nhập. Thiên lệch khác lỗi ngẫu nhiên ở tính nhất quán: cùng một nhóm liên tục nhận được kết quả kém hơn. Trong hầu hết cách dùng, thiên lệch AI đồng nghĩa với thiên lệch thuật toán; thiên lệch thuật toán là thuật ngữ lâu đời hơn và cũng bao gồm các quyết định tự động dựa trên công thức cố định cùng quy tắc chấm điểm, không liên quan đến học máy. Vì thiên lệch có thể xuất hiện ở mọi giai đoạn xây dựng hệ thống machine learning (ML), các khuôn khổ đạo đức AI xem đây là đặc tính của toàn bộ vòng đời.

Nguồn gốc của thiên lệch#

Báo cáo của NIST Hướng tới tiêu chuẩn xác định và quản lý thiên lệch trong trí tuệ nhân tạo (SP 1270) chia thiên lệch AI thành ba nhóm: thiên lệch hệ thống bắt nguồn từ thể chế và lịch sử; thiên lệch thống kê và tính toán bắt nguồn từ dữ liệu cùng thuật toán; và thiên lệch con người bắt nguồn từ những người xây dựng và sử dụng hệ thống. Trong quy trình ML điển hình, các nhóm này xuất hiện ở những giai đoạn cụ thể:

• Đại diện và thiên lệch dataset: Các nhóm hiếm xuất hiện trong dữ liệu huấn luyện thường nhận dự đoán kém hơn. Model thị giác máy tính được huấn luyện chủ yếu trên ảnh từ Bắc Mỹ và châu Âu nhận diện đối tượng và cảnh vật ở các khu vực khác kém tin cậy hơn.
• Đo lường: Một đặc trưng hoặc nhãn đo lường một nhóm kém chính xác hơn. Máy đo nồng độ oxy trong máu bằng phương pháp đo quang qua mạch (pulse oximeter) ước tính lượng oxy trong máu cao hơn ở bệnh nhân có da sẫm màu. Một nghiên cứu năm 2020 trên New England Journal of Medicine phát hiện tình trạng thiếu oxy tiềm ẩn không được phát hiện ở bệnh nhân da đen thường xuyên gần gấp ba lần so với bệnh nhân da trắng.
• Gán nhãn: Người gán nhãn đưa phán đoán cá nhân vào các nhãn mà model học theo. Một nghiên cứu năm 2019 về phát hiện ngôn từ thù ghét cho thấy các dataset được sử dụng rộng rãi thường gán nhãn tweet bằng tiếng Anh người Mỹ gốc Phi là xúc phạm nhiều hơn hẳn; model huấn luyện trên các dataset này gắn cờ những tweet đó thường xuyên gấp đôi các tweet khác.
• Mô hình hóa và đánh giá: Tối thiểu hóa lỗi trung bình ưu tiên nhóm đa số, còn một điểm số tổng thể duy nhất có thể che giấu nhóm mà model xử lý kém. Model cũng có thể học các đặc trưng tắt chỉ tình cờ tương quan với tư cách thành viên nhóm.
• Triển khai: Model được dùng trên quần thể hoặc trong bối cảnh chưa từng được kiểm thử, hoặc có đầu ra định hình dữ liệu mà model sẽ học về sau, sẽ dần phát sinh thiên lệch mới theo thời gian.

Ví dụ thực tế#

• Gender Shades: Đánh giá năm 2018 này cho thấy các bộ phân loại giới tính thương mại phân loại sai phụ nữ da sẫm màu với tỷ lệ lên đến 34.7%, trong khi tỷ lệ ở nam giới da sáng màu cao nhất là 0.8%.
• Nhận diện khuôn mặt: Đánh giá năm 2019 của NIST về các thuật toán nhận diện khuôn mặt cho thấy tỷ lệ dương tính giả cao hơn từ 10 đến 100 lần ở một số nhóm nhân khẩu học trong nhiều thuật toán.
• Phát hiện người đi bộ: Một nghiên cứu năm 2019 gán nhãn người đi bộ theo sắc tố da trong dataset lái xe cho thấy model phát hiện đối tượng kém chính xác hơn với người đi bộ có da sẫm màu; chênh lệch này không thể giải thích bằng thời điểm trong ngày hay hiện tượng che khuất.
• AI trong da liễu: Các bộ phân loại tổn thương da được huấn luyện chủ yếu trên ảnh da sáng hoạt động kém hơn trên da sẫm màu khi kiểm thử bằng tập ảnh lâm sàng đa dạng; tinh chỉnh trên ảnh đa dạng đã thu hẹp chênh lệch.

Đo lường thiên lệch#

Thiên lệch được thể hiện qua đánh giá tách theo nhóm: tính riêng cùng một metric cho từng nhóm, như model card khuyến nghị. Trong ví dụ sau, cảm biến đo cao hơn 1.0 đơn vị ở nhóm B, chiếm 5% số bệnh nhân, mô phỏng vấn đề của máy đo nồng độ oxy trong máu:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

rng = np.random.default_rng(0)
group_b = rng.random(20000) < 0.05  # 5% of patients belong to group B
oxygen = rng.normal(size=20000)  # true blood oxygen, standardized
y = oxygen < 0  # condition to detect: low oxygen

# The sensor reads 1.0 too high for group B (measurement bias)
reading = (oxygen + 1.0 * group_b).reshape(-1, 1)
x_tr, x_te, y_tr, y_te, _, g_te = train_test_split(reading, y, group_b, random_state=0)

model = LogisticRegression()
model.fit(x_tr, y_tr)
pred = model.predict(x_te)

# Disaggregated evaluation: score each group separately
print(f"overall accuracy: {np.mean(pred == y_te):.3f}")
print(f"group A accuracy: {np.mean(pred[~g_te] == y_te[~g_te]):.3f}")
print(f"group B accuracy: {np.mean(pred[g_te] == y_te[g_te]):.3f}")

Model đạt điểm tổng thể 0.967 và 0.981 ở nhóm A, nhưng chỉ 0.706 ở nhóm B; chỉ số bị thổi phồng che khuất các ca thiếu oxy ở nhóm B. Các metric công bằng theo nhóm, chẳng hạn tỷ lệ âm tính giả bằng nhau giữa các nhóm, chính thức hóa những kiểm tra này trong lĩnh vực công bằng trong AI.

Giảm thiểu thiên lệch#

Việc giảm thiểu bắt đầu từ dữ liệu: thu thập thêm ví dụ từ các nhóm chưa được đại diện đầy đủ, sửa các phép đo và nhãn sai, đồng thời bổ sung tăng cường dữ liệu hoặc dữ liệu tổng hợp khi thiếu ví dụ thực tế. Khi huấn luyện, có thể tăng trọng số hoặc lấy mẫu lại các nhóm hiếm, hay thêm các ràng buộc về tính công bằng; bước hậu xử lý có thể điều chỉnh ngưỡng quyết định. Ultralytics Platform biểu đồ hóa số lượng annotation của từng class trong dataset, còn tham số cls_pw khi huấn luyện YOLO26 gán trọng số cho classification loss theo tần suất class nghịch đảo được nâng lên lũy thừa tương ứng, nhờ đó các class hiếm có trọng số lớn hơn. Khung quản lý rủi ro AI của NIST yêu cầu các tổ chức đo lường thiên lệch trong suốt vòng đời hệ thống, còn Điều 10 của Đạo luật AI EU yêu cầu nhà cung cấp hệ thống AI rủi ro cao kiểm tra dữ liệu huấn luyện, validation và kiểm thử để tìm các thiên lệch có thể xảy ra.

Thiên lệch trong AI và các nghĩa khác của Bias#

• Đánh đổi bias-variance: Bias thống kê là sai số do model quá đơn giản để nắm bắt quy luật trong dữ liệu, khiến model underfit như nhau ở mọi nhóm.
• Các tham số bias: Trong mạng neural, bias của mỗi neuron là một độ lệch có thể học được, được cộng vào các đầu vào đã nhân trọng số; đây là số hạng intercept trong phương trình tuyến tính.