評価者間信頼性：定義、例、計算方法

AIモデルを構築する際、データの品質はモデルを支えるアルゴリズムと同じくらい重要です。複数の人が同じデータにラベル付けやレビューを行う場合、意見の相違は避けられません。これは研究、医療、教育など、多くの分野に当てはまります。

特に、画像や動画などの視覚データを解釈するモデルのトレーニングを含むAIの一分野であるコンピュータービジョンでは、Ultralytics YOLO11のようなモデルを学習させるうえで、ラベル付きの例が重要な役割を果たします。ラベルに一貫性がないと、コンピュータービジョンモデルは正しいパターンの学習に苦労する可能性があります。

評価者間信頼性（IRR）は、異なる個人、つまりラベラーがタスクにどの程度一貫して合意するかを測定します。一貫性の監視や、トレーニング、ガイドライン、解釈における不足の特定に役立ちます。特定の目的に合わせたデータを使ってAIモデルを構築するカスタムモデルのトレーニングでは、特に重要です。

この記事では、評価者間信頼性とは何か、その測定方法、実際のプロジェクト全体での改善方法を解説します。さっそく始めましょう。

評価者間信頼性とは何ですか？#

評価者間信頼性は、2人以上の人（評価者とも呼ばれます）が同じコンテンツにラベル付け、評価、またはレビューを行う際に、どの程度頻繁に合意するかを測定します。異なる評価者が指定された基準をどの程度一貫して適用しているかを確認するために使用されます。評価者間の高い一致は、タスクが適切に定義され、明確に理解されていることを意味します。

この概念はさまざまな分野で使われています。分野によって、評価者間一致、観察者間信頼性、コーダー間信頼性など、異なる名称で呼ばれます。ただし、根底にある原則は同じです。

ビジョンAIでは、評価者間信頼性がデータラベリングプロセスの重要な要素です。コンピュータービジョンモデルのトレーニングでは、画像や動画フレームの大規模なデータセットにラベルを付ける必要があるため、複数のアノテーターが同じデータを扱うことがよくあります。

正確な結果を得るには、全員が同じラベリングガイドラインに従う必要があります。たとえば、動物にラベルを付ける際には、何を犬とみなすか、犬の周囲にバウンディングボックスをどう描くか、ぼやけた物体にラベルを付けるか無視するかについて、全員が明確に合意している必要があります。

図1。評価者間信頼性について（画像作成者）

評価者間信頼性、評価者内信頼性、再検査信頼性の違い#

データのラベリングや採点に人が関与する場合、考慮すべき信頼性には主に3つの種類があります。それぞれ、結果の一貫性を測定する目的が異なります。それぞれを詳しく見ていきましょう。

• 評価者間信頼性: 評価者間信頼性は、同じタスクを行う複数の人の間で、どの程度合意があるかを確認します。画像ラベリング、感情分析、医療レビューなど、複数のアノテーターが参加するプロジェクトで特に役立ちます。
• 評価者内信頼性: 評価者内信頼性では、1人の評価者に焦点を当てます。同じタスクを異なる時点で繰り返したときに、評価者の判断が一貫しているかを確認します。ラベルが大きく変わる場合、ガイドラインが不明確であるか、タスクが明確に定義されていない可能性があります。
• 再検査信頼性: 再検査信頼性は、アノテーターではなく、使用しているツールや手法に焦点を当てます。類似した条件下でテストを繰り返した際に、同じ結果が得られるかを測定します。出力に一貫性があれば、その手法は信頼できるとみなされます。

これらの指標を組み合わせることで、人とプロセスの両方が安定した信頼性の高い結果を生み出していることを確認できます。

図2. 評定者間信頼性、評定者内信頼性、再検査信頼性の概要（著者作成の画像）

評定者間信頼性が重要なのはなぜですか？#

大規模なビジョンAIプロジェクトでは、ラベル付きデータの品質がモデルの性能に直接影響します。アノテーターがガイドラインを適用する際のわずかな違いでも不整合が生じ、学習中にモデルが混乱する可能性があります。こうした不整合は時間の経過とともに、不正確な予測、リソースの浪費、コストのかかる再ラベリングにつながることがあります。

評定者間信頼性を測定すると、こうした問題を早期に発見できます。高い一致度は、アノテーター間の足並みがそろい、よりクリーンで信頼性の高いデータセットを作成できていることを示します。一致度が低い場合、プロジェクトを進める前に指示、例、またはトレーニングを見直す必要があることを示しています。ラベラーが一貫して作業できるようにすることで、チームはより効果的に学習し、実世界のアプリケーションで優れた結果をもたらすAIモデルを構築できます。

評定者間信頼性に関する実践的な考慮事項#

複数の評価者と作業し、高い評定者間信頼性を維持するうえで、押さえておきたい実践的な考慮事項をいくつか紹介します。

• 曖昧または主観的なタスク： ぼやけた物体が歩行者かどうかの判断や、画像の品質評価など、解釈を伴うラベリングでは、複数の評価者が判断の一貫性を保ち、個人の偏りに過度に左右されないようにするのに役立ちます。
• 単純で客観的なタスク： 画像内の車の台数を数える、または物体の有無を確認するといった単純なタスクでは、プロセスが明確に定義されていれば通常高い一致度が得られるため、十分なトレーニングを受けた評価者が1人いれば対応できることがよくあります。
• 明確なラベリングガイドライン： 詳細で分かりやすい指示は、ラベルの付け方に関する不確実性を減らし、評価者間の一致度を高めます。解釈の不一致を防ぐため、ガイドラインでは例外的なケースも明示的に扱う必要があります。
• 定期的なトレーニングとキャリブレーション： 経験豊富な評価者でも、時間の経過とともに判断にずれが生じることがあります。定期的なトレーニングとキャリブレーションの確認は、一貫性を維持し、実験者バイアスを最小限に抑えるのに役立ちます。

評定者間信頼性の測定方法#

評価者間信頼性を測定する方法はいくつかあり、最適な方法はデータの種類やタスクによって異なります。2人の評価者が単純な「はい／いいえ」の質問を扱う場合に適した方法もあれば、複数の評価者が関わる状況向けに設計された方法もあります。

一般的な手法には、一致率、Cohenのカッパ係数、Fleissのカッパ係数、級内相関係数があります。各手法は評価者間の一致度を測定し、その多くは偶然に一致する可能性も考慮します。

Cohenのカッパ係数とFleissのカッパ係数#

Cohenのカッパ係数は、2人の評価者間の評定者間信頼性を測定するために広く使われている方法です。タスクにおいて評価者同士がどの程度一致するかを計算し、一致の一部が偶然に生じる可能性を調整します。スコアの範囲は-1から1で、1は完全な一致、0は一致度がランダムな推測を上回らないことを示します。

同様に、評価者が2人を超える場合はFleissのカッパ係数が使用されます。これは、グループ全体の評価の一貫性を示す総合スコアを提供します。どちらの手法も、画像のラベル付けや感情のタグ付けなど、カテゴリが定められたタスクに使用されます。計算も簡単です。

一致率と級内相関係数（ICC）#

評定者間信頼性を測定するもう1つの方法は一致率です。これは評価者が同じ判断を下した割合を計算します。使い方は簡単ですが、偶然に生じる可能性のある一致は考慮しません。

一方、級内相関係数は、連続値または尺度に基づくデータに使われる、より高度な方法です。複数の評価者による評価の一貫性を測定し、スコア、測定値、または固定カテゴリー以外のデータ型を扱う研究でよく用いられます。

評定者間信頼性の例と活用事例#

評定者間信頼性の測定方法を理解したところで、これらの方法が実世界のアプリケーションでどのように使われるかを見ていきましょう。

医用画像アノテーションにおける評定者間信頼性#

医用画像では、解釈のわずかな違いでも結果に大きな差が生じることがあります。たとえば、放射線科医は、微妙で曖昧な、または定義が難しいパターンの特定を求められることがよくあります。こうしたパターンがAIシステムの学習データになる場合、重要性はさらに高まります。専門家が同じスキャン画像に異なるラベルを付けると、モデルが誤ったパターンを学習したり、まったく学習できなかったりする可能性があります。

評定者間信頼性を活用すると、こうしたデータを扱うチームは、専門家の判断が実際にどの程度一貫しているかを評価できます。たとえば、網膜OCTスキャンを対象とした最近の研究では、2人の評価者が500枚の画像にラベルを付けました。

ドルーゼン（網膜の下にある黄色い沈着物）のように明確な特徴については一致度が高く、カッパ係数は0.87でした。一方、網膜スキャンで見られる小さく明るい斑点である過反射病巣のように定義が難しい特徴では、スコアが0.33に低下しました。この結果は、より明確に定義された特徴ほど専門家の判断が一貫しやすく、曖昧な特徴ほど解釈の余地が大きくなることを示しています。

図3. 網膜疾患に関連するさまざまな特徴のラベル例（出典）

自動運転車のデータセットと評定者間信頼性#

自動運転システム向けのAIモデルを学習させるには、幅広い道路状況にわたって正確で一貫したラベルが必要です。こうしたプロジェクトに携わるアノテーターは通常、歩行者、車両、交通標識、車線標示を特定するよう求められます。多くの場合、照明が不十分な状況や混雑した場面が対象になります。

こうした判断は、厳しい実世界の環境でモデルがどのように応答するかを左右します。評定者間信頼性を測定することで、チームはアノテーター間でラベルの付け方が一貫しているかを確認できます。

図4. アノテーションの不一致の例（出典）

評定者間信頼性に加えて検討したい、その他の品質保証策#

評定者間信頼性の測定は、AIソリューションの構築に欠かせないステップですが、より広範な品質保証プロセスの一部でもあります。チームやプロジェクト全体のデータ品質向上に役立つ、その他の取り組みを紹介します。

• 明確なアノテーションガイドライン：全員が同じ基準で作業できるよう、ラベルの付け方を正確に説明する必要があります。
• トレーニングとキャリブレーション： 定期的なセッションは、アノテーター間の足並みをそろえ、質問したり例外的なケースに対応したりする機会を提供します。
• 継続的な品質チェック：抜き取り検査やゴールドスタンダードの例を使うと、ミスを早期に発見でき、プロジェクトの拡大後も高い品質を維持できます。
• 不一致の解決： アノテーター間で意見が分かれた場合、その事例を確認して最終決定を下すための明確なプロセスが必要です。
• 多様なアノテーターの確保： 異なる背景を持つ人々に参加してもらうことで、偏りを減らし、データセットが実世界の多様性をより適切に反映できるようになります。

重要なポイント#

評定者間信頼性は、人々がどの程度一貫してラベルを付け、判断を下すかを示します。Cohenのカッパ係数、Fleissのカッパ係数、ICCなどの方法を使うと、その一致度を定量化できます。明確なガイドライン、トレーニング、バイアス管理により、信頼性の高いアノテーションはデータの質を高め、モデルの成果を向上させます。

コミュニティに参加し、GitHubリポジトリを確認して、AIについてさらに詳しくご覧ください。ご自身のビジョンAIプロジェクトを始める場合は、ライセンスオプションをご確認ください。また、ソリューションページでは、医療分野のAIや小売分野のビジョンAIがどのような成果をもたらしているかをご覧いただけます。