Dataset Bias

当用于教导 machine learning (ML) 模型的信息包含系统性错误或倾斜的分布时，就会产生数据集偏差，导致最终的 AI 系统偏爱某些结果而不是其他结果。因为模型作为模式识别引擎完全依赖于它们的输入；如果 training data 无法准确反映真实世界环境的多样性，模型就会继承这些盲点。这种现象通常会导致泛化能力差，即 AI 在测试期间可能会获得高分，但在多样化或意料之外的场景中部署用于 real-time inference 时会显著失败。

数据偏斜的常见来源#

偏差可能会在开发生命周期的多个阶段渗入数据集，通常源于收集或标注过程中的人为决策。

• Selection Bias: 当收集的数据不能随机代表目标总体时，就会出现这种情况。例如，使用主要为名人图像的 facial recognition 数据集可能会使模型偏向浓妆和专业光照，导致它在日常网络摄像头图像上失效。
• Labeling Errors: data labeling 过程中的主观性可能会引入人类偏见。如果注释者由于缺乏明确的指南而一致地错误分类模糊的对象，模型就会将这些错误视为真实标签。
• Representation Bias: 即使是随机选择的，少数群体也可能在统计上被多数类淹没。在 object detection 中，一个包含 10,000 张汽车图像但只有 100 张自行车图像的数据集将导致模型偏向于检测汽车。

实际应用与后果#

数据集偏差的影响在各个行业中都很显著，特别是在自动化系统做出高风险决策或与物理世界交互的领域。

在汽车行业中，AI in automotive 依靠摄像头来识别行人和障碍物。如果自动驾驶汽车主要在晴朗、干燥气候下收集的数据上进行训练，那么在雪地或大雨中运行时，其性能可能会下降。这是训练分布未能匹配操作分布的典型例子，从而导致安全风险。

同样，在 medical image analysis 中，诊断模型通常在历史患者数据上进行训练。如果旨在检测皮肤状况的模型在以较浅肤色为主的数据集上训练，则在诊断肤色较深的患者时，它可能会表现出明显较低的 accuracy。解决这个问题需要共同努力，策划多样化的数据集，以确保所有人口群体中的 fairness in AI。

缓解策略#

开发者可以通过采用严格的审计和先进的训练策略来减少数据集偏差。诸如 data augmentation 等技术通过人工创建代表性不足的样本的变体（例如翻转、旋转或调整亮度）来帮助平衡数据集。此外，生成 synthetic data 可以填补真实世界数据稀缺或难以收集的空白。

有效管理这些数据集至关重要。Ultralytics Platform 允许团队可视化类分布并在训练开始前识别不平衡。此外，遵循 NIST AI Risk Management Framework 等指南有助于组织构建其系统识别和减轻这些风险的方法。

数据集偏差与相关概念#

区分数据集偏差与类似术语有助于理解错误的根源：

• vs. Algorithmic Bias: 数据集偏差是以数据为中心的；它意味着“原料”是有缺陷的。算法偏差是以模型为中心的；它源于算法本身的设计或 optimization algorithm，后者可能会优先考虑多数类，以牺牲少数群体为代价来最大化整体指标。
• vs. Model Drift: 数据集偏差是训练时存在的静态问题。模型漂移（或数据漂移）发生真实世界数据在模型部署之后随时间发生变化的情况，需要持续进行 model monitoring。

代码示例：通过增强减少偏差#

以下示例演示了如何在训练期间使用 YOLO26 应用数据增强。通过增加几何增强，模型学会更好地泛化，从而有可能减少对训练集中发现的特定对象方向或位置的偏差。

from ultralytics import YOLO

# Load YOLO26n, a high-efficiency model ideal for edge deployment
model = YOLO("yolo26n.pt")

# Train with increased augmentation to improve generalization
# 'fliplr' (flip left-right) and 'scale' help the model see diverse variations
results = model.train(
    data="coco8.yaml",
    epochs=50,
    fliplr=0.5,  # 50% probability of horizontal flip
    scale=0.5,  # +/- 50% image scaling
)