深圳Yolo 视觉
深圳
立即加入
词汇表

算法偏差

了解算法偏见、其来源及现实案例。学习如何缓解偏见,构建公平、合乎道德的 AI 系统。

算法偏差是指计算机系统中出现的系统性和可重复的错误,这些错误会造成不公平的结果,例如 任意将一组用户置于其他用户之上。在 就人工智能(AI)而言,这种 现象发生在 机器学习(ML)模型产生的结果 在人工智能(AI)领域,当机器学习(ML)模型产生的结果持续偏向特定人群或场景时,就会出现这种现象。与随机误差不同的是 算法偏差反映了模型设计、训练或部署过程中的结构性缺陷。 解决这些偏见是 人工智能伦理的一个基本方面,也是建立对 自动决策系统建立信任的关键。

起源和机制

偏见会通过多种途径潜入人工智能系统。最常见的来源是不具代表性的 训练数据。如果一个 计算机视觉 (CV)模型主要是在某一地理区域的图像上训练出来的 如果计算机视觉(CV)模型主要是在某一地理区域的图像上训练出来的,那么它在识别世界其他地方的物体或场景时可能会很吃力。 这通常被称为数据集偏差。然而 算法本身--处理数据的数学逻辑--也会带来偏差。例如 优化算法 可能会牺牲较小的、代表性不足的子群的表现,以获得更高的总分。

现实世界的应用和后果

算法偏差对各行各业的影响都很大,尤其是在自动系统做出高风险决策的情况下。 高风险决策。

  • 医疗诊断:人工智能在医疗保健领域的应用 从医学影像中检测疾病。一项关于皮肤病人工智能的研究发现,一些算法在 诊断深肤色皮肤癌的准确性较低,因为用于训练的 因为用于训练的数据集以浅肤色患者为主。 患者为主。这种差异会导致诊断延误和护理质量不平等。
  • 招聘:许多公司使用自动化工具筛选简历。一个著名的案例 一家科技巨头的招聘工具学会了惩罚含有 "女性 "一词的简历(如 "女子国际象棋俱乐部"),因为该工具是在十年来主要由男性提交的简历中训练出来的。 (例如,"女子国际象棋俱乐部")的简历进行惩罚,因为该工具是在十年来主要由男性提交的简历中训练出来的。这 说明了历史偏见是如何通过 预测建模
  • 面部分析:早期迭代的商用 面部识别软件的早期迭代 女性和有色人种的错误率明显更高。像 算法正义联盟 "等组织在强调这些差异和倡导更公平的技术方面发挥了关键作用。 并倡导更公平的技术。

区分相关概念

为了有效减少偏见,最好将 "算法偏见 "与以下领域的相关术语区分开来 领域的 负责任的人工智能

  • 数据集偏差: 数据集偏差特指输入数据中的缺陷,如抽样错误或标签不一致。 输入数据中的缺陷,如抽样误差或标签不一致。算法偏差是更广泛的结果、 包括数据、模型架构或目标函数中产生的错误。 目标函数产生的误差。
  • 与人工智能的公平性: 人工智能中的公平性是一种积极主动的纪律和一套 用于防止和纠正算法偏见的一套策略。偏见是问题所在,而公平才是目标。
  • 模型漂移:有时,模型在训练过程中是无偏的,但随着时间的推移,真实世界的数据会发生变化。 实际数据发生变化。这就是所谓的数据漂移、 这需要对模型进行持续监控才能 detect。

缓解策略

开发人员可以通过采用严格的测试和多样化的训练策略来减少算法偏差。诸如 数据扩充等技术可以帮助平衡数据集。 创建代表性不足示例的变体,从而帮助平衡数据集。此外,遵守诸如 NIST 人工智能风险管理框架框架,确保采用结构化的方法来识别风险。 结构化方法来识别风险。

下面的示例演示了如何在训练期间使用 Ultralytics YOLO11.通过增加几何增强 通过增加翻转或缩放等几何增强功能,模型可以学会更好地概括,从而减少对特定物体方向或位置的偏 方向或位置的偏差。

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Train with increased augmentation to improve generalization
# 'fliplr' (flip left-right) and 'scale' help the model see diverse variations
results = model.train(
    data="coco8.yaml",
    epochs=50,
    imgsz=640,
    fliplr=0.5,  # 50% probability of horizontal flip
    scale=0.5,  # +/- 50% image scaling
)

FairlearnGoogle的 What-If 工具工具可以让工程师审核他们的模型 不同分组之间的差异。最终,实现 最终,实现人工智能的透明度需要结合 技术解决方案、多样化的开发团队以及对模型在现实世界中的表现进行持续评估。

加入Ultralytics 社区

加入人工智能的未来。与全球创新者联系、协作和共同成长

立即加入