Bias in AI

人工智能中的偏见是指嵌入在人工智能 (AI) 系统中的系统性错误、成见或不合理的假设，这些错误会导致不公平、不公正或歧视性的结果。与不可预测的随机错误不同，偏见表现为针对特定群体的一致性结果偏差，通常基于种族、性别、年龄或社会经济地位等敏感特征。随着机器学习 (ML) 模型越来越多地应用于高风险环境——从医疗人工智能 (AI in healthcare) 诊断到金融借贷——识别并减轻这些偏见已成为人工智能伦理 (AI Ethics) 和安全协议的关键组成部分。

Link to this section偏见的来源与起源#

偏见很少是刻意引入的；相反，它是通过开发生命周期的各个阶段渗透到系统中，往往反映了历史上的不平等或数据收集过程中的缺陷。

• 数据集偏见 (Dataset Bias)：这是最常见的来源，当训练数据不能准确代表现实世界的人群时就会出现。例如，如果一个计算机视觉 (CV) 模型主要是在来自西方国家的图像上进行训练，它可能无法识别其他地区的文化背景或物体，这种现象通常与选择性偏见 (selection bias) 相关。
• 算法偏见 (Algorithmic Bias)：即使拥有完美的数据，模型的设计也可能引入不公平性。某些优化算法会优先考虑全局准确率 (accuracy) 指标，这可能会为了最大化整体得分而无意中牺牲在较小、代表性不足的子群体上的表现。
• Cognitive and Historical Bias: Human prejudices can be encoded into ground truth labels during data labeling. If human annotators harbor unconscious biases, the model will learn to replicate these subjective judgments, effectively automating existing societal disparities.

Link to this section现实世界的影响#

人工智能中偏见的后果可能是深远的，会影响个人的权利和安全。

• 面部分析差异：人脸识别 (facial recognition) 技术的早期迭代显示，女性和有色人种的错误率明显更高。算法正义联盟 (Algorithmic Justice League) 等组织强调了这些通常用于安全领域的系统如何因训练集缺乏代表性而导致错误识别和错误指控。
• 医疗诊断：在医学图像分析 (medical image analysis) 中，主要基于浅肤色患者训练的模型可能难以检测深肤色人群的皮肤状况。这种差异可能导致诊断延迟和医疗质量不平等，从而引发了对更多样化的生物医学数据集 (biomedical datasets) 的需求。

Link to this section缓解策略#

解决偏见需要在整个模型训练 (model training) 和部署流程中采取主动的方法。

1. 多样化数据整理：利用像Ultralytics Platform 这样的工具，可以让团队在训练开始前可视化数据集分布并识别代表性差距。

2. 公平性感知测试：开发者不应仅依赖总体指标，而应跨不同的人口统计切片执行细粒度的模型评估 (model evaluation)，以确保公平的性能。

3. 可解释性：实施可解释人工智能 (XAI) 技术有助于利益相关者理解模型做出决策的原因，从而更容易发现歧视性逻辑或对代理变量（例如，使用邮政编码作为种族的代理变量）的依赖。

Link to this section区分相关概念#

区分“人工智能中的偏见”与其他技术领域中使用的“偏见”一词非常重要。

• 与 偏差-方差权衡 (Bias-Variance Tradeoff) 的区别：在统计学习中，这指的是通过简化的模型近似真实世界问题而引入的误差（欠拟合）。这是一个关于模型复杂度的数学概念，与“人工智能中的偏见”所隐含的社会成见不同。
• 与模型权重和偏置的区别：在神经网络 (neural network) 中，“偏置 (bias)”项是一个可学习的参数（类似于线性方程中的截距），它允许激活函数 (activation function) 进行平移。这是一个基本的数学组件，而不是伦理缺陷。
• 与 人工智能中的公平性 (Fairness in AI) 的区别：偏见指的是成见或错误的存在，而公平性则是消除该偏见所采用的目标或一系列纠正措施。

Link to this section技术示例：评估子群体性能#

为了检测偏见，开发者通常会在代表少数群体的特定“挑战”数据集上测试他们的模型。以下示例演示了如何使用 YOLO26 来验证特定数据子集上的性能。

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a specific dataset split designed to test
# performance on an underrepresented environment (e.g., 'night_time.yaml')
metrics = model.val(data="night_time_data.yaml")

# Analyze specific metrics to check for performance degradation
print(f"mAP50-95 on challenge set: {metrics.box.map}")

NIST 人工智能风险管理框架 (NIST AI Risk Management Framework) 等标准和 欧盟人工智能法案 (EU AI Act) 等法规正越来越多地强制要求进行此类偏见审计，以确保负责任的人工智能 (Responsible AI) 的发展。