평가자 간 신뢰도: 정의, 예시, 계산 방법

AI 모델을 구축할 때 데이터 품질은 알고리즘만큼 중요합니다. 여러 사람이 동일한 데이터에 레이블을 지정하거나 검토하면 의견 차이가 발생하기 마련입니다. 이는 연구, 의료, 교육을 비롯한 여러 분야에서 나타납니다.

특히 이미지나 비디오와 같은 시각 데이터를 해석하도록 Ultralytics YOLO11과 같은 모델을 학습시키는 AI 분야인 컴퓨터 비전에서는 레이블이 지정된 예제가 매우 중요합니다. 레이블이 일관되지 않으면 컴퓨터 비전 모델이 올바른 패턴을 학습하는 데 어려움을 겪을 수 있습니다.

평가자 간 신뢰도(IRR)는 여러 개인, 즉 레이블 작업자가 특정 작업에서 얼마나 일관되게 의견을 일치시키는지를 측정합니다. 일관성을 모니터링하고 학습, 지침, 해석의 격차를 파악하는 데 도움이 됩니다. 특정 목적을 위해 지정된 데이터를 사용해 AI 모델을 구축하는 맞춤형 모델 학습에서는 특히 중요합니다.

이 글에서는 평가자 간 신뢰도의 개념과 측정 방법, 실제 프로젝트 전반에서 이를 개선하는 방법을 살펴보겠습니다. 시작하겠습니다!

평가자 간 신뢰도란 무엇인가요?#

평가자 간 신뢰도는 두 명 이상의 사람(평가자)이 동일한 콘텐츠에 레이블을 지정하거나 점수를 매기거나 검토할 때 얼마나 자주 의견이 일치하는지 측정합니다. 여러 평가자가 주어진 기준을 얼마나 일관되게 사용하는지 확인하는 데 활용됩니다. 평가자 간 일치도가 높다는 것은 작업이 잘 정의되어 있고 명확하게 이해되었다는 의미입니다.

이 개념은 여러 분야에서 사용됩니다. 분야에 따라 평가자 간 일치도, 관찰자 간 신뢰도, 코더 간 신뢰도 등 다양한 이름으로 불립니다. 그러나 기본 원리는 동일합니다.

비전 AI에서 평가자 간 신뢰도는 데이터 레이블링 과정의 핵심 요소입니다. 컴퓨터 비전 모델을 학습하려면 이미지나 동영상 프레임으로 구성된 대규모 데이터셋에 레이블을 지정해야 하는 경우가 많으므로 여러 어노테이터가 동일한 데이터에 함께 작업하는 일이 흔합니다.

정확한 결과를 얻으려면 모두 동일한 레이블링 지침을 따라야 합니다. 예를 들어 동물에 레이블을 지정할 때는 무엇을 개로 간주할지, 개 주위에 바운딩 박스를 어떻게 그릴지, 흐릿한 객체에 레이블을 지정할지 아니면 무시할지 명확히 합의해야 합니다.

그림 1. 평가자 간 신뢰도 이해하기(이미지 제공: 저자)

평가자 간 신뢰도와 평가자 내 신뢰도 및 검사-재검사 신뢰도 비교#

데이터 레이블링이나 점수 산정에 사람이 관여할 때 고려해야 할 주요 신뢰도 유형은 세 가지입니다. 각 유형은 결과의 일관성을 측정하는 목적이 다릅니다. 각각을 자세히 살펴보겠습니다.

• 평가자 간 신뢰도: 동일한 작업을 수행하는 서로 다른 사람들 간의 일치도를 살펴봅니다. 이미지 레이블링, 감성 분석, 의료 검토와 같은 프로젝트에 여러 주석 작성자가 참여할 때 특히 유용합니다.
• 평가자 내 신뢰도: 한 사람에게 초점을 맞춥니다. 평가자 내 신뢰도는 평가자가 서로 다른 시점에 동일한 작업을 반복할 때 일관성을 유지하는지 확인합니다. 레이블이 크게 달라진다면 지침이 불명확하거나 작업의 명확성이 부족하기 때문일 수 있습니다.
• 검사-재검사 신뢰도: 검사-재검사 신뢰도는 주석 작성자가 아니라 사용되는 도구나 방법에 초점을 둡니다. 비슷한 조건에서 검사를 반복했을 때 동일한 결과가 나오는지를 측정합니다. 출력이 일관되게 유지되면 해당 방법은 신뢰할 수 있다고 판단합니다.

이러한 측정 방법을 종합하면 사람과 프로세스 모두 안정적이고 신뢰할 수 있는 결과를 내는지 확인할 수 있습니다.

그림 2. 평가자 간, 평가자 내 및 검사-재검사 신뢰도 개요(이미지 출처: 저자)

평가자 간 신뢰도가 중요한 이유는 무엇인가요?#

대규모 비전 AI 프로젝트에서는 라벨링된 데이터의 품질이 모델 성능에 직접적인 영향을 미칩니다. 어노테이터가 가이드라인을 적용하는 방식에 작은 차이만 있어도 불일치가 발생하여 학습 중 모델을 혼란스럽게 할 수 있습니다. 시간이 지나면 부정확한 예측, 자원 낭비, 비용이 많이 드는 재라벨링으로 이어질 수 있습니다.

평가자 간 신뢰도를 측정하면 이러한 문제를 조기에 발견하는 데 도움이 됩니다. 일치도가 높다는 것은 어노테이터가 동일한 기준으로 작업하여 더 깔끔하고 신뢰도 높은 데이터셋을 만든다는 뜻입니다. 일치도가 낮으면 프로젝트를 진행하기 전에 지침, 예시 또는 교육을 개선해야 할 수 있습니다. 라벨러가 일관되게 작업하도록 함으로써 팀은 더 효과적으로 학습하고 실제 애플리케이션에서 더 나은 결과를 제공하는 AI 모델을 구축할 수 있습니다.

평가자 간 신뢰도에 관한 실무 고려 사항#

여러 평가자와 작업하면서 높은 평가자 간 신뢰도를 유지하기 위해 염두에 두어야 할 주요 실무 고려 사항은 다음과 같습니다.

• 모호하거나 주관적인 작업: 흐릿한 물체가 보행자인지 판단하거나 이미지 품질을 평가하는 것처럼 해석이 필요한 라벨링에서는 여러 평가자가 참여하면 판단의 일관성을 유지하고 개인적 편향의 과도한 영향을 막는 데 도움이 됩니다.
• 단순하고 객관적인 작업: 이미지에 있는 자동차 수를 세거나 물체의 존재 여부를 확인하는 것과 같은 간단한 작업은 절차가 명확하게 정의되면 일치도가 대체로 높으므로, 잘 훈련된 평가자 한 명만으로 충분한 경우가 많습니다.
• 명확한 라벨링 가이드라인: 상세하고 이해하기 쉬운 지침은 라벨 적용의 불확실성을 줄여 평가자 간 일치도를 높입니다. 일관성 없는 해석을 방지하려면 가이드라인에 예외 사례를 명시적으로 포함해야 합니다.
• 정기적인 교육 및 보정: 경험이 많은 평가자도 시간이 지나면서 판단 기준이 달라질 수 있습니다. 정기적인 교육과 보정 점검은 일관성을 유지하고 실험자 편향을 최소화하는 데 도움이 됩니다.

평가자 간 신뢰도 측정 방법#

평가자 간 신뢰도를 측정하는 방법은 여러 가지이며, 가장 적합한 방법은 데이터와 작업의 유형에 따라 달라집니다. 일부 방법은 두 평가자가 간단한 예/아니요 질문을 처리하는 경우에 적합하며, 다른 방법은 여러 평가자가 참여하는 상황을 위해 설계되었습니다.

일반적인 방법으로는 백분율 일치도, Cohen의 카파, Fleiss의 카파, 급내 상관계수가 있습니다. 각 방법은 평가자 간 일치도를 측정하며, 대부분은 우연히 일치할 가능성도 고려합니다.

Cohen의 카파와 Fleiss의 카파#

Cohen의 카파는 두 평가자 간 평가자 신뢰도를 측정하는 데 널리 사용되는 방법입니다. 이 방법은 작업에서 두 평가자가 얼마나 자주 일치하는지 계산하면서, 우연히 일치했을 가능성을 보정합니다. 점수는 -1에서 1까지이며, 1은 완벽한 일치를, 0은 무작위 추측보다 나은 일치가 없음을 의미합니다.

마찬가지로 평가자가 두 명을 초과할 때는 Fleiss’ Kappa를 사용합니다. Fleiss’ Kappa는 그룹의 일관성을 보여주는 종합 점수를 제공합니다. 두 방법 모두 이미지 라벨링이나 감정 태깅처럼 범주가 정해진 작업에 사용됩니다. 계산하기도 쉽습니다.

일치율 및 급내 상관계수(ICC)#

평가자 간 신뢰도를 측정하는 또 다른 방법은 일치율로, 평가자들이 동일한 결정을 내린 비율을 계산합니다. 사용하기 간단하지만 우연히 일치했을 가능성은 고려하지 않습니다.

한편, 급내 상관계수는 연속형 또는 척도 기반 데이터에 사용되는 고급 방법입니다. 여러 평가자 간 평정의 일관성을 측정하며, 점수, 측정값 또는 고정된 범주 이외의 데이터 유형을 다루는 연구에 자주 적용됩니다.

평가자 간 신뢰도의 사례와 적용 분야#

이제 평가자 간 신뢰도를 측정하는 방법을 이해했으니, 이러한 방법이 실제 애플리케이션에서 어떻게 사용되는지 살펴보겠습니다.

의료 영상 어노테이션에서의 평가자 간 신뢰도#

의료 영상에서는 해석의 사소한 차이도 결과에 큰 변화를 가져올 수 있습니다. 예를 들어 영상의학 전문의는 미묘하거나 모호하거나 정의하기 어려운 패턴을 식별해야 하는 경우가 많습니다. 이러한 패턴이 AI 시스템의 학습 데이터가 되면 그 중요성은 더욱 커집니다. 전문가들이 동일한 스캔에 서로 다른 라벨을 지정하면 모델이 잘못된 패턴을 학습하거나 아예 학습하지 못할 수 있습니다.

평가자 간 신뢰도는 이러한 데이터를 다루는 팀이 전문가 판단의 실제 일관성을 평가하는 데 도움이 됩니다. 예를 들어, 최근 망막 OCT 스캔에 초점을 맞춘 연구에서 평가자 두 명이 이미지 500개에 라벨을 지정했습니다.

드루젠(망막 아래에 생기는 노란색 침착물)처럼 명확한 특징에 대한 일치도는 카파 점수 0.87로 높았습니다. 그러나 망막 스캔에서 보이는 작고 밝은 점인 과반사 초점처럼 정의하기 어려운 요소의 점수는 0.33으로 낮아졌습니다. 이는 더 명확하고 잘 정의된 특징일수록 전문가 판단의 일관성이 높아지는 반면, 모호한 특징은 해석의 여지를 더 많이 남긴다는 점을 보여줍니다.

그림 3. 망막 질환과 관련된 여러 특징의 라벨 예시 (출처)

자율주행 차량 데이터셋과 평가자 간 신뢰도#

자율주행 시스템용 AI 모델을 학습하려면 다양한 도로 상황에서 정확하고 일관된 라벨이 필요합니다. 이러한 프로젝트의 어노테이터는 조명이 좋지 않거나 혼잡한 장면에서 보행자, 차량, 교통 표지판, 차선 표시를 식별하도록 요청받는 경우가 많습니다.

이러한 판단은 혹독한 실제 환경에서 모델이 대응하는 방식을 좌우합니다. 평가자 간 신뢰도를 통해 팀은 어노테이터 전반에 걸쳐 동일한 방식으로 라벨이 적용되는지 확인할 수 있습니다.

그림 4. 어노테이션 불일치 살펴보기 (출처)

평가자 간 신뢰도를 넘어: 기타 품질 보증 방법#

평가자 간 신뢰도 측정은 AI 솔루션 구축의 중요한 단계이지만, 더 광범위한 품질 보증 프로세스의 일부입니다. 팀과 프로젝트 전반에서 데이터 품질을 개선하는 데 도움이 되는 다른 방법은 다음과 같습니다.

• 명확한 어노테이션 지침: 모두가 동일한 기준에 따라 작업할 수 있도록 레이블 적용 방법을 정확하게 설명해야 합니다.
• 교육 및 보정: 정기적인 교육은 어노테이터가 일관성을 유지하고, 질문을 하며 예외 사례에 맞게 조정할 기회를 제공합니다.
• 지속적인 품질 검사: 표본 검사와 골드 스탠더드 예시를 활용하면 프로젝트 규모가 커져도 오류를 초기에 발견하고 높은 품질을 유지할 수 있습니다.
• 불일치 해결: 어노테이터 간 의견이 다를 때는 해당 사례를 검토하고 최종 결정을 내리는 명확한 절차가 있어야 합니다.
• 다양한 배경의 어노테이터 구성: 서로 다른 배경을 가진 사람들을 참여시키면 편향을 줄이고 데이터셋이 실제 세계의 다양성을 더 잘 반영하도록 할 수 있습니다.

핵심 요점#

평가자 간 신뢰도는 사람들이 얼마나 일관되게 라벨을 적용하거나 결정을 내리는지 측정합니다. Cohen의 카파, Fleiss의 카파, ICC와 같은 방법은 그 일치도를 정량화하는 데 도움이 됩니다. 명확한 가이드라인, 교육, 편향 관리를 통해 신뢰할 수 있는 어노테이션을 확보하면 데이터와 모델 결과를 개선할 수 있습니다.

AI에 대해 더 알아보려면 커뮤니티에 참여하고 GitHub 저장소를 살펴보세요. 직접 비전 AI 프로젝트를 시작하려면 라이선스 옵션을 확인해 보세요. 또한 솔루션 페이지를 방문하여 헬스케어 분야의 AI와 리테일 분야의 비전 AI가 어떤 영향을 미치고 있는지 확인할 수 있습니다.