Bias in AI

AI 偏见也称为人工智能偏见，是人工智能（AI）系统中的系统性错误，会使某些群体获得较不准确或较不公平的结果，受影响的群体往往与肤色、性别、年龄、方言或收入等因素相关。它不同于随机误差，因为它具有一致性：同一群体会反复得到较差的结果。在大多数语境中，AI 偏见与算法偏见同义；算法偏见是较早出现的术语，也涵盖由固定公式和评分规则作出的自动化决策，即使其中不涉及学习也是如此。由于偏见可能出现在构建机器学习（ML）系统的每个阶段，AI 伦理框架会将其视为贯穿整个生命周期的属性。

偏见的来源#

NIST 的报告《迈向人工智能偏见识别与管理标准》（SP 1270）将 AI 偏见分为三类：来自机构和历史的系统性偏见、来自数据和算法的统计与计算偏见，以及来自系统构建者和使用者的人为偏见。在典型的机器学习流程中，这些类别会出现在特定阶段：

• 表征与数据集偏见：训练数据中较少出现的群体会得到更差的预测。主要使用来自北美和欧洲照片训练的计算机视觉模型，对其他地区的对象和场景识别得不够可靠。
• 测量：某项特征或标签对某个群体的测量准确度较低。脉搏血氧仪会高估肤色较深患者的血氧水平；《新英格兰医学杂志》2020 年的一项研究发现，黑人患者未被发现的低血氧情况几乎是白人患者的三倍。
• 标注：标注人员会将自身判断带入模型学习的标签中。2019 年一项关于仇恨言论检测的研究发现，广泛使用的数据集更常将非裔美国英语推文标记为冒犯性内容；在这些数据集上训练的模型将此类推文标记出来的频率最高是其他推文的两倍。
• 建模与评估：最小化平均误差会偏向多数群体，而单一总体得分可能掩盖表现不佳的群体。模型还可能学到碰巧与群体身份相关的捷径特征。
• 部署：如果模型应用于从未经过测试的人群或场景，或者模型输出会影响它之后学习的数据，模型就会随着时间推移产生新的偏见。

现实场景示例#

• Gender Shades：这项 2018 年的审计发现，商业性别分类器误判深肤色女性的比例最高达 34.7%，而误判浅肤色男性的比例最高为 0.8%。
• 人脸识别：NIST 于 2019 年对人脸识别算法进行评估，发现其中许多算法对某些人口群体的误报率高出 10 到 100 倍。
• 行人检测：一项 2019 年研究根据肤色对驾驶数据集中的行人进行标注，发现目标检测模型对深肤色行人的检测准确率较低；一天中的时段和遮挡情况都无法解释这一差距。
• 皮肤科 AI：主要使用浅肤色图像训练的皮肤病变分类器，在多样化的临床图像集上测试时，对深肤色的表现较差；使用多样化图像进行微调后，差距缩小了。

衡量偏见#

通过分组评估可以看出偏见：按照模型卡的建议，分别计算每个群体的相同指标。下面的示例中，传感器对 B 组患者的读数高出 1.0 个单位；B 组占患者总数的 5%，这与脉搏血氧仪的问题相似：

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

rng = np.random.default_rng(0)
group_b = rng.random(20000) < 0.05  # 5% of patients belong to group B
oxygen = rng.normal(size=20000)  # true blood oxygen, standardized
y = oxygen < 0  # condition to detect: low oxygen

# The sensor reads 1.0 too high for group B (measurement bias)
reading = (oxygen + 1.0 * group_b).reshape(-1, 1)
x_tr, x_te, y_tr, y_te, _, g_te = train_test_split(reading, y, group_b, random_state=0)

model = LogisticRegression()
model.fit(x_tr, y_tr)
pred = model.predict(x_te)

# Disaggregated evaluation: score each group separately
print(f"overall accuracy: {np.mean(pred == y_te):.3f}")
print(f"group A accuracy: {np.mean(pred[~g_te] == y_te[~g_te]):.3f}")
print(f"group B accuracy: {np.mean(pred[g_te] == y_te[g_te]):.3f}")

模型总体得分为 0.967，在 A 组中的得分为 0.981，但在 B 组中仅为 0.706；虚高的读数会掩盖 B 组的低血氧病例。不同群体间假阴性率相等之类的群体公平性指标，会将这些检查形式化，用于评估 AI 公平性。

减轻偏见#

缓解措施应从数据入手：从代表性不足的群体中收集更多样本、修正有误的测量结果和标签，并在真实样本稀缺时添加数据增强或合成数据。训练时可以对样本稀少的群体重新加权或重采样，也可以添加公平性约束；后处理则可以调整决策阈值。Ultralytics Platform会绘制数据集中每个类别的标注数量，而用于YOLO26训练的cls_pw参数会将类别频率的倒数提升到该参数指定的幂次，并据此对分类损失加权，从而让稀有类别获得更高权重。NIST AI 风险管理框架要求组织在系统的整个生命周期内衡量偏差；《欧盟人工智能法案》第 10 条要求高风险 AI 系统的提供者检查训练、验证和测试数据中可能存在的偏差。

AI 中的偏差与其他含义#

• 偏差-方差权衡：统计偏差是指模型过于简单，无法捕捉数据模式而产生的误差，因此模型会对所有群体都出现欠拟合。
• 偏置参数：在神经网络中，每个神经元的偏置都是可学习的偏移量，会加到加权输入上，相当于线性方程中的截距项。