평가자 간 신뢰도: 정의, 예시, 계산

AI 모델을 구축할 때 데이터의 품질은 그 이면의 알고리즘만큼이나 중요합니다. 여러 사람이 동일한 데이터를 라벨링하거나 검토할 때 의견 불일치는 필연적으로 발생합니다. 이는 연구, 의료, 교육 등 여러 분야에서 공통적으로 나타나는 현상입니다.

특히 이미지나 동영상과 같은 시각적 데이터를 해석하기 위해 Ultralytics YOLO11과 같은 모델을 학습시키는 데 관여하는 AI의 한 분야인 computer vision에서는 레이블이 지정된 예제가 중추적인 역할을 합니다. 해당 레이블이 일관되지 않으면 computer vision 모델이 올바른 패턴을 학습하는 데 어려움을 겪을 수 있습니다.

평가자 간 신뢰도(IRR)는 서로 다른 개인, 즉 평가자가 특정 작업에 대해 얼마나 일관되게 동의하는지를 측정합니다. 이는 일관성을 모니터링하고 학습, 가이드라인 또는 해석상의 격차를 파악하는 데 도움을 줍니다. 이는 특정 목적을 위해 특정 데이터를 사용하여 AI 모델을 구축하는 맞춤형 모델 학습에서 특히 중요합니다.

이 글에서는 평가자 간 신뢰도가 무엇인지, 이를 측정하는 방법, 그리고 실제 프로젝트 전반에서 이를 개선하는 방법에 대해 살펴보겠습니다. 시작해 보겠습니다!

평가자 간 신뢰도란 무엇인가요?#

평가자 간 신뢰도는 동일한 콘텐츠를 라벨링, 평가 또는 검토할 때 두 명 이상의 사람(평가자라고도 함)이 얼마나 자주 의견을 일치시키는지 측정합니다. 이는 서로 다른 평가자가 주어진 기준을 얼마나 일관되게 사용하는지 확인하는 데 사용됩니다. 평가자 간의 높은 일치도는 작업이 잘 정의되어 있고 명확하게 이해되고 있음을 의미합니다.

이 개념은 다양한 분야에서 사용됩니다. 분야에 따라 평가자 간 일치도(inter-rater agreement), 관찰자 간 신뢰도(interobserver reliability) 또는 코더 간 신뢰도(inter-coder reliability)와 같은 다양한 이름으로 불립니다. 하지만 근본적인 원칙은 동일합니다.

비전 AI에서 평가자 간 신뢰도(inter-rater reliability)는 데이터 레이블링 프로세스의 핵심 부분입니다. computer vision models을 학습하려면 대규모 이미지나 비디오 프레임 데이터셋에 레이블을 지정해야 하는 경우가 많으므로 여러 AI 개발자가 동일한 데이터 작업에 함께 참여합니다.

정확한 결과를 얻으려면 동일한 라벨링 가이드라인을 따라야 합니다. 예를 들어 동물을 라벨링할 때, 무엇을 개로 간주할지, 그 주위에 BBox를 어떻게 그릴지, 흐릿한 객체에 라벨을 지정할지 혹은 무시할지에 대해 모두가 명확하게 합의해야 합니다.

그림 1. 평가자 간 신뢰도 이해하기 (이미지 제공: 작성자)

평가자 간 신뢰도 vs. 평가자 내 신뢰도 및 검사-재검사 신뢰도#

사람이 데이터 라벨링이나 채점에 관여할 때 고려해야 할 세 가지 주요 신뢰도 유형이 있습니다. 각각은 결과의 일관성을 측정하는 데 있어 서로 다른 목적을 수행합니다. 각 유형을 자세히 살펴보겠습니다.

• 평가자 간 신뢰도(Inter-rater reliability): 평가자 간 신뢰도는 동일한 작업을 수행하는 서로 다른 사람들 사이에 얼마나 많은 일치가 있는지 살펴봅니다. 이는 이미지 라벨링, 감정 분석 또는 의료 검토와 같은 프로젝트에 여러 명의 주석 작성자가 참여할 때 특히 유용합니다.

• 평가자 내 신뢰도(Intra-rater reliability): 이는 한 사람에게 초점을 맞춥니다. 평가자 내 신뢰도는 평가자가 서로 다른 시점에 동일한 작업을 반복할 때 일관성을 유지하는지 확인합니다. 라벨이 너무 많이 변경된다면 이는 불분명한 가이드라인이나 작업의 모호함 때문일 수 있습니다.

• 검사-재검사 신뢰도(Test-retest reliability): 검사-재검사 신뢰도는 주석 작성자가 아닌 사용되는 도구나 방법에 초점을 맞춥니다. 동일한 조건에서 검사를 반복할 때 동일한 결과가 나오는지 측정합니다. 결과값이 일관되게 유지되면 해당 방법은 신뢰할 수 있는 것으로 간주됩니다.

이러한 측정 지표들은 사람과 프로세스 모두가 안정적이고 신뢰할 수 있는 결과를 생산하고 있음을 확인하는 데 도움을 줍니다.

그림 2. 평가자 간, 평가자 내, 그리고 검사-재검사 신뢰도 개요 (이미지 제공: 작성자)

평가자 간 신뢰도가 중요한 이유는 무엇인가요?#

대규모 비전 AI 프로젝트에서 라벨링된 데이터의 품질은 모델의 성능에 직접적인 영향을 미칩니다. 주석 작성자가 가이드라인을 적용하는 방식에 작은 차이만 있어도 학습 중 모델을 혼란스럽게 하는 불일치가 발생할 수 있습니다. 시간이 지남에 따라 이는 부정확한 예측, 리소스 낭비, 그리고 비용이 많이 드는 재라벨링 작업으로 이어질 수 있습니다.

평가자 간 신뢰도를 측정하면 이러한 문제를 조기에 발견하는 데 도움이 됩니다. 일치도가 높다는 것은 주석 작성자들의 의견이 일치하여 더 깨끗하고 신뢰할 수 있는 datasets을 생성하고 있음을 의미합니다. 일치도가 낮다면 프로젝트가 진행되기 전에 지침, 예제 또는 교육을 개선해야 할 수도 있음을 나타냅니다. 팀은 레이블러가 동기화된 상태로 작업하도록 보장함으로써 더 효과적으로 학습하고 실제 애플리케이션에서 더 나은 결과를 제공하는 AI 모델을 구축할 수 있습니다.

평가자 간 신뢰도를 위한 실질적인 고려 사항#

여러 평가자와 작업하며 높은 평가자 간 신뢰도를 유지하기 위해 고려해야 할 몇 가지 주요 실질적인 고려 사항은 다음과 같습니다.

• 모호하거나 주관적인 작업: 흐릿한 객체가 보행자인지 판단하거나 이미지의 품질을 판단하는 등 해석이 필요한 라벨링 작업의 경우, 여러 평가자가 참여하면 결정이 일관되고 개인적 편향에 지나치게 좌우되지 않도록 보장하는 데 도움이 됩니다.
• 간단하고 객관적인 작업: 이미지의 자동차 수를 counting하거나 개체가 있는지 확인하는 것과 같은 간단한 작업은 프로세스가 명확하게 정의되면 일치도가 높기 때문에 잘 훈련된 단일 평가자만 필요한 경우가 많습니다.
• 명확한 라벨링 가이드라인: 상세하고 따라하기 쉬운 지침은 라벨 적용 방식의 불확실성을 줄여 평가자 간의 일치도를 높입니다. 가이드라인은 일관되지 않은 해석을 방지하기 위해 예외적인 사례(edge cases)를 명시적으로 다루어야 합니다.
• 정기적인 교육 및 보정: 숙련된 평가자라도 시간이 지나면서 판단력이 흔들릴 수 있습니다. 정기적인 교육 세션과 보정 점검은 일관성을 유지하고 실험자의 편향을 최소화하는 데 도움이 됩니다.

평가자 간 신뢰도 측정법#

평가자 간 신뢰도를 측정하는 방법은 여러 가지가 있으며, 최선의 선택은 데이터와 작업 유형에 따라 달라집니다. 어떤 방법은 간단한 예/아니오 질문을 다루는 단일 평가자에게 효과적이고, 다른 방법은 여러 평가자가 포함된 상황을 위해 설계되었습니다.

일반적인 접근 방식으로는 퍼센트 일치도(percent agreement), 코헨의 카파(Cohen’s Kappa), 플라이스의 카파(Fleiss’ Kappa), 급내 상관계수(intraclass correlation coefficient)가 있습니다. 각 방법은 평가자 간 일치 수준을 측정하고 일부 일치가 우연히 발생했을 가능성을 고려합니다.

코헨의 카파와 플라이스의 카파#

코헨의 카파는 두 평가자 간의 평가자 간 신뢰도를 측정하는 데 널리 사용되는 방법입니다. 이 방법은 일부 일치가 우연히 발생했을 가능성을 조정하면서 작업에 대해 얼마나 자주 동의하는지 계산합니다. 점수는 -1에서 1까지이며, 1은 완벽한 일치를 나타내고 0은 우연한 추측보다 나을 것이 없음을 의미합니다.

마찬가지로 Fleiss’ Kappa는 두 명 이상의 평가자가 참여할 때 사용됩니다. 그룹이 얼마나 일관성이 있는지 보여주는 전체 점수를 제공합니다. 두 방법 모두 labeling images나 감정 태깅과 같이 범주가 지정된 작업에 사용됩니다. 계산이 쉽고 대부분의 어노테이션 도구에서 지원됩니다.

퍼센트 일치도와 급내 상관계수(ICC)#

평가자 간 신뢰도를 측정하는 또 다른 방법은 퍼센트 일치도로, 평가자가 동일한 결정을 내리는 비율을 계산합니다. 사용하기는 간단하지만 우연히 발생할 수 있는 일치 가능성을 고려하지 않습니다.

한편, 급내 상관계수는 연속적 또는 척도 기반 데이터에 사용되는 더 고급 방법입니다. 이는 여러 평가자 전반에서 평가가 얼마나 일관적인지 측정하며, 고정된 범주를 넘어서는 점수, 측정값 또는 기타 데이터 유형과 관련된 연구에 자주 적용됩니다.

평가자 간 신뢰도 예시 및 애플리케이션#

이제 평가자 간 신뢰도를 측정하는 방법에 대해 더 잘 이해했으니, 이러한 방법이 실제 애플리케이션에서 어떻게 사용될 수 있는지 살펴보겠습니다.

의료 영상 주석에서의 평가자 간 신뢰도#

medical imaging의 경우 해석의 사소한 차이조차도 결과에 큰 변화를 가져올 수 있습니다. 예를 들어, 방사선 전문의는 미묘하고 모호하거나 정의하기 어려운 패턴을 식별하도록 요구받는 경우가 많습니다. 이러한 패턴이 AI 시스템의 훈련 데이터가 되면 위험 부담이 커집니다. 전문가가 동일한 스캔에 대해 서로 다른 레이블을 지정하면 모델이 잘못된 패턴을 학습하거나 아예 학습하지 못할 수 있습니다.

평가자 간 신뢰도는 이러한 데이터를 다루는 팀이 전문가의 판단이 실제로 얼마나 일관성이 있는지 평가하는 데 도움이 됩니다. 예를 들어 retinal OCT scans에 초점을 맞춘 최근 연구에서는 두 명의 평가자가 500개의 이미지에 레이블을 지정했습니다.

드루젠(망막 아래의 노란색 침전물)과 같은 명확한 특징에 대한 일치도는 카파 점수 0.87로 높았습니다. 하지만 과반사 초점(망막 스캔에서 보이는 작고 밝은 점)과 같이 정의하기 어려운 요소의 경우 점수가 0.33으로 떨어졌습니다. 이는 더 명확하고 잘 정의된 특징일수록 일관된 전문가 판단을 도출하는 경향이 있는 반면, 모호한 특징은 해석의 여지를 더 많이 남긴다는 것을 보여줍니다.

그림 3. 망막 질환과 관련된 다양한 특징에 대한 레이블 예시 (Source)

자율 주행 데이터셋과 평가자 간 신뢰도#

autonomous driving 시스템을 위한 AI 모델 훈련은 다양한 도로 조건에서 정확하고 일관된 레이블에 따라 달라집니다. 이러한 프로젝트를 수행하는 어노테이터는 일반적으로 조명이 어둡거나 혼잡한 현장에서 보행자, 차량, 교통 표지판, 차선 표시를 식별하도록 요청받습니다.

이러한 결정은 모델이 가혹한 실제 환경에서 대응하는 방법을 학습하는 방식을 결정합니다. 평가자 간 신뢰도는 팀이 주석 작성자 전반에 걸쳐 이러한 라벨이 동일한 방식으로 적용되고 있는지 확인할 수 있게 해줍니다.

그림 4. 어노테이션 불일치 살펴보기 (Source)

평가자 간 신뢰도를 넘어: 기타 품질 보증 조치#

평가자 간 신뢰도를 측정하는 것은 AI solution을 구축하는 데 중요한 단계이지만, 광범위한 품질 보증 프로세스의 일부이기도 합니다. 팀과 프로젝트 전반에 걸쳐 데이터 품질을 개선하는 데 도움이 되는 몇 가지 다른 관행은 다음과 같습니다.

• 명확한 주석 가이드라인: 지침은 모든 사람이 동일한 표준에 따라 작업할 수 있도록 라벨을 적용하는 방법을 정확하게 설명해야 합니다.
• 교육 및 보정: 정기적인 세션은 주석 작성자가 정렬된 상태를 유지하도록 돕고 질문을 하거나 예외적인 사례에 적응할 수 있는 공간을 제공합니다.
• 지속적인 품질 점검: 현장 점검과 골드 표준 예시는 실수를 조기에 포착하고 프로젝트가 확장됨에 따라 높은 품질을 유지할 수 있게 합니다.
• 불일치 해결: 주석 작성자 간에 의견이 충돌할 경우 해당 사례를 검토하고 최종 결정을 내리는 명확한 프로세스가 있어야 합니다.
• 다양한 주석 작성자 풀: 다양한 배경을 가진 사람들을 참여시키면 편향을 줄이고 데이터셋이 실제 환경의 변동성을 얼마나 잘 나타내는지 개선할 수 있습니다.

핵심 요약#

평가자 간 신뢰도는 사람들이 라벨을 적용하거나 결정을 내리는 일관성을 측정합니다. 코헨의 카파, 플라이스의 카파, ICC와 같은 방법은 해당 일치도를 수치화하는 데 도움을 줍니다. 명확한 가이드라인, 교육 및 편향 제어를 통해 신뢰할 수 있는 주석은 더 강력한 데이터와 더 나은 모델 결과로 이어집니다.

our community에 가입하고 GitHub repository를 탐색하여 AI에 대해 자세히 알아보세요. 자신만의 비전 AI 프로젝트를 시작하려는 경우 licensing options을 확인하세요. 솔루션 페이지를 방문하여 AI in healthcare 및 vision AI in retail이 어떤 영향을 미치고 있는지 확인할 수도 있습니다.