Ultralytics YOLO27:
获取 YOLO 许可
指南

了解视觉 AI 系统中的 AI 偏差和数据集偏差

了解数据集偏差如何影响计算机视觉模型,以及 Ultralytics YOLO11 如何通过智能增强和灵活的训练工具帮助减少偏差。

ABAbdelrahman Elgendy8 分钟阅读
重新加权源数据,提高模型准确率并减少偏差

人工智能(AI)模型正在改变我们解决问题的方式,但它们并不完美。从自动驾驶汽车到医疗保健中的诊断工具,我们依靠 AI 解读数据并做出决策。如果数据本身存在缺陷,会发生什么?

AI 偏差指模型中逐渐形成的不一致模式,而且往往无人察觉。这些偏差可能导致模型做出不准确、不一致甚至有害的预测。在计算机视觉中,偏差通常可追溯到一个关键来源:数据集。如果用于训练模型的数据不平衡或缺乏代表性,模型就会反映出这些缺陷。

让我们进一步了解数据集偏差如何形成、如何影响计算机视觉模型,以及开发者可以采取哪些步骤来检测和预防这种偏差。我们还将展示像Ultralytics YOLO11这样的模型如何助力构建更公平、泛化能力更强的 AI 系统,也就是说,这些系统能在新的、未见过的数据上表现良好,并更平等地服务所有人。

什么是 AI 偏差?它为什么重要?#

AI 偏差是指 AI 系统中持续出现的错误,导致结果偏斜或不准确。简单来说,模型开始偏向某类视觉输入,而不是其他输入,这会影响模型的公平性。这种偏向并非因为模型表现更好,而是由模型的训练方式造成的。

这种情况在计算机视觉中尤其常见,因为模型是从视觉数据中学习的。如果数据集主要包含某一种物体、场景或人物,模型学到的模式就只适用于这些情况。

想象一下,一个模型主要使用大城市的交通图像进行训练。如果将它部署在乡村地区,它可能会错误分类不常见的道路布局,或者无法检测到从未见过的车辆类型。这就是 AI 偏差的实际表现。它会降低准确性并限制泛化能力,泛化能力指模型在新的或多样化输入上保持良好表现的能力。

在医疗保健或安防等准确性至关重要的应用中,这些失误不仅令人沮丧,还可能造成危险。解决偏差问题,关乎性能、可靠性和安全性。

数据集偏差如何影响模型行为#

谈到数据集偏差时,我们指的是用于训练模型的数据不平衡或存在局限。训练数据未能充分反映其要建模的现实世界多样性时,就会产生数据集偏差。

计算机视觉模型并不理解世界,它们理解的是模式。如果模型见过的狗全都是后院里的金毛寻回犬,那么它们可能无法识别雪地小径上的哈士奇。

对源数据重新加权以提高模型准确性

图 1. 对源数据重新加权有助于提高模型准确性。

这揭示了数据集偏差带来的主要挑战之一:模型会根据展示给它的内容构建认知。如果训练数据不能反映现实世界的多样性,模型的行为就会变得狭隘,在陌生的条件下也会表现不佳。

图像分类器在不同于训练数据集的数据集上测试时,表现往往会明显变差,即使两个数据集针对的是同一项任务。光照、背景或摄像头角度的细微变化,都可能导致准确率显著下降。这说明数据集偏差很容易影响模型的泛化能力。

这些并非边缘情况,而是在提醒你:数据流水线的重要性不亚于模型架构。

AI 训练数据中的偏差类型#

偏差可能以不易察觉的方式出现在开发流程中,通常发生在数据收集、标注或整理阶段。以下是可能影响训练数据的三种主要偏差:

选择偏差#

当数据集无法代表现实世界应用中的多样性时,就可能出现选择偏差。如果行人检测模型只使用晴朗白天的图像训练,那么它在夜间或雾天就无法表现良好。因此,数据选择过程遗漏了关键情况。

数据集中选择偏差的直观示意图

图 2. 选择偏差的直观示意图:只选取了缺乏多样性的子集。

由于数据收集方式的限制,数据集未能涵盖全部现实场景时,就会产生这种偏差。例如,仅使用晴朗白天图像训练的行人检测模型,可能无法应对雾天、雪天或弱光环境。这种情况通常发生在数据是在理想或方便的条件下采集时,从而限制了模型在各种环境中的表现能力。扩大数据采集范围,纳入更多样化的场景,有助于减少这类偏差。

这种偏差也可能出现在从在线来源构建的数据集中,因为其中的内容可能严重偏向某些地区、语言或社会经济背景。如果不主动提高数据集的多样性,模型就会继承这些局限。

标签偏差#

当人工标注人员使用了错误或不一致的标签时,就会出现标签偏差。错误标签看似无关紧要,但如果频繁发生,模型就会开始学习错误的关联。

标签不一致会让模型在训练过程中感到困惑,尤其是在目标检测等复杂任务中。例如,一位标注人员可能把一辆车标注为“轿车”,另一位却把类似的车标注为“卡车”。这种不一致会影响模型学习可靠模式的能力,导致推理时准确率降低。

源于现实世界不平衡的数据流水线偏差

图 3. 数据流水线中的偏差源于现实世界的不平衡。

标注指南不够清晰,或不同人员对同一数据的理解不一致,也可能导致标签偏差。制定文档完备的标注标准并执行质量控制检查,可以显著减少这些问题。

持续培训标注人员,以及采用共识标注(由多位标注人员审核每个样本),是减少标签偏差、提高数据集质量的两种有效策略。

代表性偏差#

代表性偏差往往反映了更广泛的社会不平等。在较富裕或交通更便利的地区收集的数据,可能无法体现代表性不足的人群或环境的多样性。要解决这种偏差,就需要有意识地纳入被忽视的群体和背景。

当某些群体或类别在数据集中代表不足时,就会产生代表性偏差。这些群体或类别可能包括人口群体、物体类别或环境条件。如果模型只接触过一种肤色、一类物体或一种背景风格,其预测就会反映这种不平衡。

当某些群体或类别的样本数量远少于其他群体或类别时,我们就能观察到这类偏差。这会使模型的预测偏向数据集中的主要样本。例如,主要使用某一人口群体数据训练的人脸识别模型,可能难以准确识别所有用户。与关注数据多样性的选择偏差不同,代表性偏差关注的是群体之间的平衡。

多样性审计和有针对性的数据扩充策略,有助于确保训练数据集充分涵盖所有相关人口群体和类别。

如何检测并缓解数据集偏差#

在现实部署中,AI 偏差并不只是导致少数预测错误,它可能导致系统只对部分人有效,而无法惠及所有人。

在汽车 AI 中,检测模型对不同的行人群体可能表现不一致,导致代表性不足人群的安全保障效果较差。问题不在于模型的意图,而在于它接受训练时使用的视觉输入。即使在农业领域,目标检测偏差也可能导致模型无法在不同光照或天气条件下准确识别作物。这些都是使用有限或不平衡数据集训练模型的常见后果。

消除 AI 偏差要从知道该检查哪里开始。如果训练集缺少关键样本,或过度代表了狭窄范围内的样本,模型就会反映出这些缺陷。因此,在每条开发流水线中,检测 AI 偏差都是至关重要的一步。

减少 AI 偏差、提高公平性的关键步骤

图 4. 减少 AI 偏差、提高公平性的关键步骤。

首先分析数据集。检查不同类别、环境、光照、物体尺度和人口群体的分布情况。如果某个类别占据主导,模型很可能在其他类别上表现不佳。

接下来检查模型性能。模型是否在某些场景或特定物体类型上表现更差?如果是,这就说明模型学到了偏差,而问题通常可以追溯到数据。

按数据切片评估至关重要。模型的平均准确率可能达到 90%,但在特定群体或条件下只有 60%。如果不检查这些数据切片,你就永远不会发现这一点。

在训练和评估过程中使用公平性指标也是一种强有力的方法。这些指标不止关注标准准确率分数,还会评估模型在不同数据子集上的行为表现。它们有助于发现原本可能被忽略的盲点。

提高数据集构成和模型测试的透明度,才能打造更好的模型。

通过数据多样性和增强提升公平性#

识别出偏差后,下一步就是弥合差距。最有效的方法之一,是提高 AI 模型的数据多样性。这意味着从代表性不足的场景中收集更多样本,例如来自不同人群的医学图像,或不常见的环境条件。

增加数据量很有价值,尤其是在数据多样性随之提高时。不过,提高公平性也取决于是否收集了恰当类型的样本。这些样本应反映模型在现实世界中可能遇到的变化。

数据增强是另一项有效策略。翻转、旋转、调整光照和缩放物体,有助于模拟不同的现实条件。数据增强不仅能增加数据集的多样性,还有助于提高模型对外观、光照和背景变化的适应能力。

大多数现代训练流水线默认包含增强,但要真正发挥其提升公平性的作用,还需要策略性地使用增强方法,例如根据特定任务的需求进行调整。

使用合成数据填补缺口#

合成数据是指人工生成、用于模拟现实样本的数据。当某些场景极为罕见,或过于敏感而无法在真实环境中采集时,合成数据会很有帮助。

例如,如果你正在构建一个用于检测机械设备罕见缺陷或交通违规边缘情况的模型,就可以使用合成数据模拟这些情况。这样,模型就有机会从训练集里不常出现的事件中学习。

研究发现,在训练数据中加入有针对性的合成数据,可以减少数据集偏差,并提升模型在不同人口群体和环境中的表现。

合成数据与现实世界样本搭配使用时效果最佳。它能补充数据集,但不能取代数据集。

Ultralytics YOLO11 如何支持符合伦理的 AI#

构建无偏差的 AI 模型也取决于你使用的工具。Ultralytics YOLO11 设计灵活、易于微调且适应性强,因此非常适合用于减少数据集偏差。

Ultralytics YOLO11 在模型训练过程中支持先进的数据增强技术,通过引入多样化的图像背景和混合样本,提高模型的泛化能力并减少过拟合。

Ultralytics YOLO11 还采用了改进的骨干网络和颈部网络架构,能够更有效地提取特征。这项升级增强了模型检测细粒度细节的能力,这对于代表性不足或边缘场景至关重要,因为标准模型在这些场景中可能表现不佳。

Ultralytics YOLO11 易于重新训练,也能轻松部署到边缘和云环境,因此团队可以发现性能差距,并在现场发现偏差时快速更新模型。

公平的 AI 并非一次性目标,而是一个持续评估、学习和调整的循环。Ultralytics YOLO11 等工具有助于让这个循环更快、更高效。

要点#

AI 偏差影响方方面面,从公平性到性能无一例外。计算机视觉偏差往往源于数据集的收集、标注和平衡方式。好在,已有行之有效的方法可以检测并缓解偏差。

首先审查数据,并在不同场景下测试模型性能。通过有针对性的数据收集、数据增强和合成数据,拓展训练数据的覆盖范围。

Ultralytics YOLO11 支持这一工作流程,让你更轻松地训练自定义模型、应用强大的数据增强技术,并在发现偏差时迅速采取措施。

构建公平的 AI 不仅是正确的选择,也是打造更智能、更可靠系统的方式。

加入不断壮大的社区!访问我们的 GitHub 仓库,了解更多 AI 相关信息。准备好开始自己的计算机视觉项目了吗?查看我们的许可选项。访问我们的解决方案页面,了解制造业中的 AI和农业中的视觉 AI!

Explore solutions

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

借助 Ultralytics YOLO,将无人机和航空影像转化为实时洞察,应用于农业、水产养殖、环境监测、自然保护和地理空间分析。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 应用于航空监测。借助计算机视觉解决方案,赋能无人机、航空航天工作流、环境保护和地理空间行业。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情
体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

借助 Ultralytics YOLO,将无人机和航空影像转化为实时洞察,应用于农业、水产养殖、环境监测、自然保护和地理空间分析。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 应用于航空监测。借助计算机视觉解决方案,赋能无人机、航空航天工作流、环境保护和地理空间行业。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情
体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

借助 Ultralytics YOLO,将无人机和航空影像转化为实时洞察,应用于农业、水产养殖、环境监测、自然保护和地理空间分析。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 应用于航空监测。借助计算机视觉解决方案,赋能无人机、航空航天工作流、环境保护和地理空间行业。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来