Fairness in AI

AI 公平性要求模型的决策和错误不能因种族、性别、年龄或残障等敏感属性而系统性地使某些人处于不利地位，并要求使用相应指标和方法来衡量和落实这一要求。AI 偏差指的是这个问题：系统性偏差可能来自代表性不足的训练数据（数据集偏差），也可能源于建模和部署选择（算法偏差）。公平性是评估系统时采用的标准，也是AI 伦理的核心原则之一，与透明度和问责制并列；公平性还有多种无法同时成立的正式定义。

衡量公平性#

群体公平性指标会比较模型在按敏感属性划分的不同群体中的表现：

• 人口统计均等：每个群体获得正向决策的比例相同，例如贷款获批或获得面试邀请的比例。
• 均等化赔率：每个群体的真阳性率和假阳性率都相同。Moritz Hardt、Eric Price 和 Nathan Srebro 于 2016 年提出了这一概念，并同时提出要求较弱的“均等机会”，后者只要求真阳性率相等。
• 群体内校准：预测得分为 0.7 时，每个群体的实际结果发生率都为 70%。
• 个体公平性：相似的个体应获得相似的预测结果；Cynthia Dwork 和同事于 2012 年对这一定义作了形式化阐述。

下面的代码片段会对一个完全准确的模型进行评分，该模型面对两个基础发生率不同的群体：

import numpy as np

# Outcomes and a sensitive attribute for 10 applicants; group A has a higher base rate
y_true = np.array([1, 1, 1, 1, 0, 1, 1, 0, 0, 0])
group = np.array(["A"] * 5 + ["B"] * 5)

# A perfectly accurate model predicts every outcome correctly
y_pred = y_true.copy()

for g in ("A", "B"):
    in_group = group == g
    selection_rate = y_pred[in_group].mean()
    tpr = y_pred[in_group & (y_true == 1)].mean()  # true positive rate
    fpr = y_pred[in_group & (y_true == 0)].mean()  # false positive rate
    print(f"group {g}: selection rate {selection_rate:.0%}, TPR {tpr:.0%}, FPR {fpr:.0%}")

该模型符合均等化赔率，在两个群体中的真阳性率都为 100%，假阳性率都为 0%，但仍违反人口统计均等：它批准了群体 A 中 80% 的申请，以及群体 B 中 40% 的申请。若强行让两组的选择率相同，至少会导致一个群体出现错误决策。

公平性定义为何相互冲突#

Jon Kleinberg、Sendhil Mullainathan 和 Manish Raghavan 于 2016 年，以及 Alexandra Chouldechova 于 2017 年证明，当不同群体的基础发生率不同时，除了完美预测等退化情形，分类器不可能同时做到群体内校准，并使假阳性率和假阴性率相等。COMPAS 再犯风险评估工具展示了这种冲突在实践中的表现。ProPublica 于 2016 年报告称，与白人被告相比，未再犯罪的黑人被告被标记为高风险的可能性接近两倍；而该工具的开发者则证明，其评分对两个群体的校准程度相同。两种分析都正确，因此为具体应用选择公平性指标，既是技术决策，也是政策决策。

计算机视觉中的公平性#

Joy Buolamwini 和 Timnit Gebru 于 2018 年开展的 Gender Shades 研究审查了三个商用性别分类器，发现深色皮肤女性的错误率最高达 34.7%，而浅色皮肤男性的错误率最高为 0.8%。只要训练图像中某个群体的代表性不足，类似差距就会出现，从人脸识别到使用浅色皮肤占主导的皮肤科数据集训练的皮肤疾病医学图像分析模型都是如此。因此，计算机视觉审查会分别报告每个相关子群体的精确率和召回率，并将结果记录在模型卡中，因为单一的总体准确率可能掩盖某个表现不佳的子群体。

缓解策略#

干预措施按照其改变的机器学习流水线阶段进行分类。预处理方法会收集有代表性的数据，通过有针对性的数据增强或合成数据填补数据缺口，并重新加权样本，使代表性不足的群体获得更大权重。Ultralytics YOLO 也支持对类别重新加权：将高于默认值 0 的 cls_pw 训练参数设为某个值后，每个类别的损失会乘以其频率倒数的该次幂，因此稀有类别在训练中权重更大。

处理中方法会在损失函数中加入公平性约束或惩罚项，或者使用分布鲁棒优化来最小化表现最差群体的损失。后处理中方法会在训练后针对不同群体调整决策阈值，这是 Hardt 和同事提出的实现均等化赔率的方法。

Fairlearn 和 IBM 的 AI Fairness 360 等开源工具包实现了这些指标和缓解措施。法规对相关测量提出了越来越多的要求：欧盟《人工智能法案》要求高风险系统提供商检查训练数据中是否存在潜在偏差；自 2023 年 7 月起，纽约市第 144 号地方法要求每年对自动化招聘工具进行独立的偏差审计。