评估者间信度：定义、示例和计算方法

构建 AI 模型时，数据质量与模型背后的算法同样重要。只要有多人标注或审核同一份数据，就难免出现意见分歧。这在研究、医疗和教育等许多领域都很常见。

尤其是在计算机视觉领域——这是 AI 的一个分支，涉及训练 Ultralytics YOLO11 等模型来解读图像或视频等视觉数据——带标签的样本发挥着至关重要的作用。如果标签不一致，计算机视觉模型就可能难以学习正确的模式。

评估者间信度（IRR）用于衡量不同人员（即标注人员）在某项任务上的意见一致程度。它有助于监控一致性，并发现培训、指南或理解方面的差距。这在自定义模型训练中尤为重要，因为此类 AI 模型是使用特定数据为特定目的构建的。

本文将介绍什么是评估者间信度、如何衡量它，以及如何在实际项目中提高它。我们开始吧！

什么是评估者间信度？#

评估者间信度用于衡量两人或多人（也称为评估者）在标注、评分或审核相同内容时达成一致的频率。它用于检查不同评估者应用给定标准时的一致程度。评估者之间的一致性越高，说明任务定义越明确、理解越清晰。

这一概念应用于不同领域，并根据领域不同而有不同称呼，例如评估者间一致性、观察者间信度或编码者间信度。不过，其基本原理始终相同。

在视觉 AI 中，评估者间信度是数据标注流程的重要组成部分。训练计算机视觉模型通常需要标注大量图像或视频帧数据集，因此经常会有多名标注人员共同处理同一批数据。

为了获得准确结果，他们必须遵循相同的标注指南。例如，在标注动物时，所有人都需要明确约定什么算作狗、如何绘制狗的边界框，以及是否标注或忽略模糊目标。

图 1. 了解评估者间信度（图片由作者提供）

评估者间信度、评估者内信度与重测信度#

当人们参与数据标注或评分时，有三种主要的信度类型需要考虑。每种类型都有不同的用途，用于衡量结果的一致程度。下面分别详细介绍：

• 评估者间信度： 评估者间信度关注不同人员执行相同任务时的一致程度。在图像标注、情感分析或医疗审核等项目中有多名标注人员参与时，这项指标尤其有用。
• 评估者内信度： 评估者内信度将关注点转向单个人。它用于检查同一评估者在不同时间重复执行同一任务时是否保持一致。如果标签变化太大，可能是因为指南不清晰或任务说明不明确。
• 重测信度： 重测信度关注的不是标注人员，而是所使用的工具或方法。它用于衡量在相似条件下重复测试时，是否会得到相同结果。如果输出保持一致，就认为该方法可靠。

这些指标结合起来，有助于确认人员和流程都能持续产出稳定、可信的结果。

图 2. 评定者间、评定者内和重测信度概览（图片由作者提供）

为什么评定者间信度很重要？#

在大规模视觉 AI 项目中，标注数据的质量会直接影响模型的表现。即使标注人员应用指南时只有细微差异，也可能引入不一致，让模型在训练时感到困惑。久而久之，这会导致预测不准确、资源浪费，还可能需要付出高昂成本重新标注。

测量评定者间信度有助于及早发现这些问题。高度一致意味着标注人员的判断相互吻合，从而生成更干净、更可靠的数据集。一致性低则表明，在项目推进之前，可能需要完善说明、示例或培训。通过确保标注人员协同工作，团队能够构建学习效果更好、在实际应用中表现更出色的 AI 模型。

评定者间信度的实际考量#

在与多名评定者合作并力求保持较高评定者间信度时，以下是一些需要牢记的关键实际考量：

• 含糊或主观的任务：当标注需要进行判断时，例如判断模糊物体是否为行人，或评估图像质量，多名评定者有助于确保判断一致，并避免个人偏见造成过度影响。
• 简单、客观的任务：像计数图像中的汽车数量，或确认某个物体是否存在这类直接明了的任务，通常只需一名训练有素的评定者，因为流程定义清楚后，一致性通常很高。
• 清晰的标注指南：详细且易于遵循的说明可以减少标签应用方式上的不确定性，从而提高不同评定者之间的一致性。指南应明确涵盖边界情况，以避免解读不一致。
• 定期培训和校准：即使是经验丰富的评定者，判断也可能随时间逐渐偏移。定期培训和校准检查有助于保持一致性，并最大限度地减少实验者偏差。

评定者间信度的测量方法#

衡量评估者间信度的方法有很多，最佳选择取决于数据和任务类型。有些方法适用于两名评估者处理简单的是非题，另一些则专为涉及多名评估者的情况设计。

常见方法包括百分比一致率、Cohen’s Kappa、Fleiss’ Kappa 和组内相关系数。每种方法都用于衡量评估者之间的一致程度，而且大多数方法还会考虑部分一致可能只是偶然发生的情况。

Cohen’s Kappa 和 Fleiss’ Kappa#

Cohen’s Kappa 是一种广泛使用的方法，用于测量两名评定者之间的评定者间信度。它会计算两人在任务上的一致频率，同时校正部分一致可能由偶然因素造成的情况。得分范围为 -1 到 1，其中 1 表示完全一致，0 表示一致程度不高于随机猜测。

同样，当参与评分的人数超过两人时，会使用 Fleiss’ Kappa。它提供一个整体分数，反映整个群体的一致程度。这两种方法都用于具有固定类别的任务，例如图像标注或情绪标签。它们都很容易计算。

一致率和组内相关系数（ICC）#

测量评定者间信度的另一种方法是一致率，也就是计算评定者作出相同判断的百分比。这种方法简单易用，但不会考虑可能由偶然因素造成的一致。

而组内相关系数是一种更高级的方法，用于连续型或基于量表的数据。它测量多名评定者评分的一致程度，常用于涉及分数、测量值或其他固定类别之外数据类型的研究。

评定者间信度的示例和应用#

现在我们已经更深入地了解如何测量评定者间信度，接下来看看这些方法如何应用于实际场景。

医学影像标注中的评定者间信度#

在医学影像领域，即使是细微的解读差异，也可能显著影响结果。例如，放射科医生经常需要识别细微、含糊或难以界定的模式。当这些模式成为 AI 系统的训练数据时，影响就更大了。如果专家对同一张扫描图像的标注不同，模型可能会学到错误的模式，甚至完全学不会。

评定者间信度有助于处理此类数据的团队评估专家判断究竟有多一致。例如，在一项近期聚焦于视网膜 OCT 扫描的研究中，两名评定者标注了 500 张图像。

对于玻璃疣（视网膜下方的黄色沉积物）等清晰特征，一致性较高，kappa 得分为 0.87。但对于高反射灶（视网膜扫描中可见的小亮点）等较难界定的特征，得分降至 0.33。这表明，定义越清晰的特征，越容易得到一致的专家判断；而含糊的特征则留有更多解读空间。

图 3. 与视网膜疾病相关的不同特征标签示例（来源）

自动驾驶数据集与评定者间信度#

训练自动驾驶系统的 AI 模型，需要在各种道路条件下使用准确、一致的标签。参与此类项目的标注人员通常需要识别行人、车辆、交通标志和车道线，而且经常要处理光线昏暗或场景拥挤的画面。

这些判断会影响模型学习如何应对严苛的现实环境。评定者间信度使团队能够检查不同标注人员是否以相同方式应用标签。

图 4. 标注分歧一览（来源）

超越评定者间信度：其他质量保证措施#

测量评定者间信度是构建AI 解决方案的关键步骤，但它只是更广泛质量保证流程的一部分。以下是一些有助于提高团队和项目数据质量的其他做法：

• 清晰的标注指南：说明应准确解释如何应用标签，确保所有人都遵循相同的标准。
• 培训和校准：定期开展培训有助于标注人员保持一致，也让他们有机会提出问题并适应边界情况。
• 持续进行质量检查：抽查和金标准示例可以及早发现错误，并在项目扩大规模时保持高质量。
• 解决分歧：当标注人员意见不一致时，应制定明确的流程来复核这些情况并作出最终决定。
• 多元化的标注人员队伍：让背景各异的人员参与进来，可以减少偏差，并提高数据集对现实世界多样性的代表性。

要点#

评定者间信度衡量人们应用标签或作出判断的一致程度。Cohen’s Kappa、Fleiss’ Kappa 和 ICC 等方法有助于量化这种一致性。通过清晰的指南、培训和偏差控制，可靠的标注能够带来更优质的数据和更好的模型效果。

加入我们的社区，并探索我们的 GitHub repository，进一步了解 AI。如果你想启动自己的视觉 AI 项目，可以查看我们的许可选项。你还可以访问我们的解决方案页面，了解 AI 在医疗保健领域的应用和零售领域的视觉 AI如何发挥影响。