Algorithmic Bias

算法偏见是计算机系统中系统性且可重复出现的错误，会导致不公平的结果，例如在招聘、贷款、执法或医疗保健中偏袒某一群体。这个术语涵盖任何自动化决策流程，从手写的信用评分公式到深度神经网络皆在其中；由于同一条有缺陷的规则会应用于每个案例，相同的错误会在数千乃至数百万次决策中反复出现。在机器学习 (ML)讨论中，算法偏见和AI 中的偏见是同义词。算法偏见是更早出现、范围更广的术语，通常指已部署系统对人作出的决策。

算法偏见的三种来源#

Batya Friedman 和 Helen Nissenbaum 在 1996 年发表的论文《计算机系统中的偏见》根据偏见的来源将其分为三类，这一框架至今仍在使用：

• 既存偏见：系统吸收了社会或历史记录中原本就存在的偏见。
• 技术偏见：某种设计选择（例如用哪个变量代表关注的量）造成了不公平。
• 涌现偏见：部署后，随着人群、情境或系统对其未来数据本身的影响发生变化，偏见随之产生。

Amazon 在一个实验性招聘模型学会惩罚简历中含有“women's”一词后，放弃了该模型；这是既存偏见的案例：模型使用了十年间的简历进行训练，而这些简历大多由男性提交。一个广泛使用的美国医疗保健算法则体现了技术偏见。该算法用患者未来的医疗费用代替其健康需求进行预测；由于患有相同程度疾病的黑人患者此前获得的医疗支出较少，算法较少将他们转介接受额外护理；《科学》2019 年的一项研究发现，纠正偏见后，被标记为需要额外帮助的黑人患者比例将从 17.7% 提高到 46.5%。预测性警务是涌现偏见的典型例子，其形成过程如下：

研究人员在 2018 年表明，这种循环可能失控：巡逻队在被派往的地方发现更多事件，新记录又证实了排名，模型于是继续派巡逻队回到同一片社区，即使其他地方的犯罪率相同也是如此。

公平决策为何涉及取舍#

2016 年，ProPublica 分析了美国法院使用的一种风险评分 COMPAS，发现没有再次犯罪的黑人被告被判定为较高风险的概率，接近白人被告的两倍（45% 对 23%）。供应商回应称，该评分对两个群体的校准程度相同，也就是说，无论种族如何，给定分数都对应相同的再犯率。这两种说法都成立。随后，包括Kleinberg、Mullainathan 和 Raghavan在内的研究人员证明，当两个群体的基准发生率不同时，一个不完美的评分就不可能既对两个群体都校准，又让他们的假阳性率和假阴性率相同。下面的模拟展示了在评分完美校准且共用一个阈值时，这种冲突如何出现：

import numpy as np

rng = np.random.default_rng(0)

# True risk per person; group B has a higher base rate than group A
risks = {"A": rng.beta(2, 5, 100_000), "B": rng.beta(3, 4, 100_000)}

for name, risk in risks.items():
    # Outcomes follow the risk exactly, so the score is perfectly calibrated in both groups
    outcome = rng.random(risk.size) < risk
    flagged = risk > 0.5  # one shared decision threshold

    # False positive rate: share of people without the outcome who were flagged anyway
    fpr = flagged[~outcome].mean()
    print(f"group {name}: base rate {outcome.mean():.2f}, false positive rate {fpr:.2f}")

A 组的基准发生率为 0.29，假阳性率为 0.06；B 组的基准发生率为 0.43，假阳性率为 0.23：同一个经过校准的分数和阈值，会让 B 组中从未出现目标结果的人被标记的频率接近四倍。任何将分数转化为决策的系统都会面临这种取舍。Ultralytics YOLO26会对每个检测结果应用同一个置信度阈值（conf，预测时默认为 0.25），因此，检测分数较低的群体（例如训练数据中较少出现的行人）在相同设置下会漏掉更多检测结果。

算法偏见与相关术语#

• 数据集偏见：数据本身存在缺陷，例如抽样缺乏代表性。数据集偏见是算法偏见的成因之一，设计选择和部署影响也会导致算法偏见。
• AI 公平性：定义公平标准（如人口统计均等或错误率相等）以及实现这些标准的方法的领域。
• 数据漂移：部署后输入数据发生变化，可能使一个上线时经测试公平的模型出现涌现偏见。

审计并减少算法偏见#

审计会比较不同群体的结果和错误率，可使用Fairlearn和 IBM 的 AI Fairness 360 等开源工具包。修复措施分三个阶段：在预处理阶段重新加权或重采样训练数据；在处理中为训练目标添加公平性约束；在后处理中按群体调整决策阈值。持续开展模型监控，可以发现发布前审计遗漏的新兴偏差。法规对这类审计的要求也日益增多：纽约市第 144 号地方法自 2023 年 7 月 5 日起实施，规定雇主不得使用自动化招聘工具，除非独立审计员在过去一年内检查过工具是否存在偏差，而且雇主公布了摘要，其中包含按性别和种族或族裔比较选拔率的影响比率。