머신러닝에서 정확도, 정밀도, 재현율 비교

머신 러닝(ML)은 데이터에서 학습하는 시스템을 만드는 데 중점을 두는 인공지능(AI)의 한 분야입니다. 머신이 이미지를 해석하는 컴퓨터 비전과 인간의 언어를 이해하고 생성하는 자연어 처리 등 AI의 여러 분야에서 중심적인 역할을 합니다.

이러한 AI 모델은 데이터에서 예측을 수행하기 위해 딥 러닝 기법을 사용하는 경우가 많습니다. 이러한 시스템은 매우 효과적일 수 있지만, 항상 정확한 예측을 생성하는 것은 아닙니다. 일부 출력은 정확할 수 있지만, 다른 출력은 목표를 벗어날 수 있습니다.

이러한 오류가 어떻게 발생하는지 파악하는 것은 모델의 성능을 평가하는 데 있어 핵심적인 부분입니다. 성능을 측정하기 위해 모델 평가 지표를 사용할 수 있습니다.

일반적인 평가 지표로는 정확도(전반적인 정확성), 정밀도(양성 예측의 신뢰성), 재현율(모델이 실제 양성을 얼마나 잘 식별하는지)이 있습니다. 처음에는 서로 비슷해 보일 수 있지만, 각 지표는 모델 동작의 서로 다른 부분에 초점을 맞춥니다.

이 글에서는 이러한 AI 모델 성능 지표를 각각 자세히 살펴봅니다. 또한 지표들이 서로 어떤 관계가 있는지와 사용 사례에 적합한 지표를 선택하는 방법도 알아봅니다. 시작해 보겠습니다!

머신 러닝에서 모델 평가 지표가 중요한 이유#

머신 러닝 모델은 처음에는 성능이 좋은 것처럼 보일 수 있습니다. 하지만 적절한 평가 지표가 없으면 결과가 얼마나 정확한지 파악하기 어렵습니다. 이러한 지표는 모델 평가에 체계를 제공하고 다음과 같은 핵심 질문에 답하는 데 도움을 줍니다. 주어진 작업에서 모델의 예측은 유용하고 신뢰할 수 있는가?

정확도, 정밀도, 재현율과 같은 지표는 AI 개발자가 모델의 작동 성능을 명확하게 측정할 수 있는 방법을 제공합니다. 예를 들어 여러 모델을 비교할 때 이러한 지표를 사용하면 특정 작업에서 어떤 모델의 성능이 가장 좋은지 확인할 수 있습니다. 또한 성능을 평가하고 AI 프로젝트의 목표에 가장 적합한 모델을 선택하는 데 도움을 줍니다.

그림 1. 모델 학습 및 평가 워크플로(출처)

이러한 지표는 성능 비교를 더욱 객관적으로 만들어 줍니다. 추측이나 불완전한 관찰에 의존하는 대신, 다양한 상황에서 모델이 어떻게 작동하는지 측정 가능한 인사이트를 제공합니다. 이를 통해 각 상황에서 어떤 성능 측면이 가장 중요한지 보여 줍니다.

예를 들어 지표의 선택은 애플리케이션에 따라 달라지는 경우가 많습니다. AI 헬스케어 애플리케이션에서는 일부 음성이 잘못 표시되더라도 가능한 한 많은 양성 사례를 식별하는 것이 목표이므로 재현율이 중요합니다. 반면 이메일 스팸 필터는 정상 이메일을 스팸으로 잘못 표시하지 않기 위해 정밀도를 우선시할 수 있습니다.

혼동 행렬: 분류 지표의 기반#

혼동 행렬은 AI 모델을 평가하는 데 기본적으로 사용되는 2×2 표입니다. 실제 결과와 예측 결과(모델이 제공하는 답)를 비교하여 예측을 네 가지 범주로 구성합니다.

이 비교를 통해 모델 성능을 상세하게 확인할 수 있습니다. 정밀도와 재현율 같은 주요 평가 지표는 행렬의 값에서 직접 계산되므로, 혼동 행렬은 이러한 지표의 기반이 됩니다.

표의 행은 실제 클래스를 나타내고 열은 예측 클래스를 나타냅니다. 각 셀에는 해당 범주에 속하는 결과의 개수가 표시됩니다. 간단히 말해, 올바른 예측이 몇 개인지와 모델이 어떤 유형의 오류를 범했는지를 보여 줍니다.

혼동 행렬은 데이터가 불균형한 경우, 즉 일부 범주에 다른 범주보다 훨씬 많은 예제가 있는 경우에 특히 유용합니다. 또한 서로 다른 유형의 실수가 서로 다른 비용을 초래할 때도 도움이 됩니다.

예를 들어 사기 탐지에서는 사기 행위를 적발하는 것이 중요하지만, 실제 거래를 잘못 표시하는 것 역시 문제를 일으킬 수 있습니다. 혼동 행렬을 사용하면 각 오류 유형이 얼마나 자주 발생하는지 명확하게 확인할 수 있습니다.

혼동 행렬의 구성 요소#

다음은 혼동 행렬의 다양한 구성 요소에 대한 개요입니다.

• 진양성(True positive, TP): 모델이 양성 인스턴스를 올바르게 예측하면 진양성으로 기록됩니다. 예를 들어 컴퓨터 비전 모델이 이미지에서 차량을 올바르게 분류하는 경우입니다.
• 진음성(True negative, TN): 모델이 음성 인스턴스를 올바르게 식별하면 진음성이 발생합니다. 예를 들어 이메일 분류기가 일반 메시지를 스팸이 아닌 것으로 표시하는 경우입니다.
• 위양성(False positive, FP): 실제로 음성인 인스턴스를 양성 결과로 잘못 예측하면 모델은 위양성을 생성합니다. 제1종 오류라고도 하며, 사기 탐지 시스템이 정상 거래를 사기 거래로 표시할 때 발생할 수 있습니다.
• 위음성(False negative, FN): 모델이 양성 사례를 탐지하지 못하고 음성으로 잘못 예측하면 위음성으로 기록됩니다. 제2종 오류라고도 하며, 실제로 질병이 있는 환자의 질병을 진단 도구가 발견하지 못할 때 발생할 수 있습니다.

그림 2. 혼동 행렬의 구성 요소(출처)

혼동 행렬의 시각적 표현과 해석#

혼동 행렬은 그리드 형식으로 표시됩니다. 세로축은 실제 클래스를 나타내고 가로축은 예측 클래스를 나타냅니다. 올바른 예측은 대각선에 표시되며, 진양성과 진음성을 나타냅니다.

오류는 대각선 바깥에 위치하며 위양성과 위음성을 포함합니다. 이러한 구조를 통해 강점과 약점을 쉽게 파악할 수 있습니다.

머신 러닝에서 정확도란 무엇인가요?#

정확도는 머신 러닝 모델의 성능을 평가하는 데 가장 널리 사용되는 지표 중 하나입니다. 모든 클래스에서 예측이 얼마나 자주 올바른지 측정합니다. 다시 말해 다음과 같은 간단한 질문에 답합니다. AI 모델이 수행한 모든 예측 중 몇 개가 맞았는가?

정확도 공식은 올바른 예측 수(진양성과 진음성을 모두 포함)를 전체 예측 수로 나눈 값입니다. 정확도는 계산하고 이해하기 쉬우므로 모델 평가의 일반적인 출발점으로 사용됩니다.

일반적으로 정확도는 균형 잡힌 데이터셋을 처리할 때 신뢰할 수 있습니다. 그러나 한 클래스가 다른 클래스보다 우세한 불균형 데이터셋에서는 정확도가 오해를 불러일으킬 수 있습니다. 다수 클래스를 항상 예측하는 모델은 다른 소수 클래스를 탐지하지 못하면서도 높은 정확도 점수를 얻을 수 있습니다.

예를 들어 보행자가 포함된 이미지가 몇 장뿐인 이미지 데이터셋에서 모든 이미지에 대해 “보행자 없음”을 예측하는 모델은 높은 정확도를 얻을 수 있지만 실제 보행자를 전혀 탐지하지 못합니다.

이는 정확도만으로는 모델이 어떤 종류의 실수를 하는지 또는 그러한 실수가 얼마나 자주 발생하는지를 보여 주지 못하기 때문입니다. 따라서 AI 모델의 작동 성능을 완전히 이해하려면 정밀도와 재현율 같은 지표도 함께 살펴보는 것이 중요합니다.

정밀도 심층 분석: 오탐 최소화#

정밀도는 모델의 양성 예측 정확도를 측정하는 핵심 평가 지표입니다. 다음 질문에 답합니다. 양성으로 예측된 모든 인스턴스 중 몇 개가 올바른가?

정밀도 공식은 진양성 수를 진양성과 위양성의 합으로 나눈 값입니다. 양성 예측이 잘못된 것으로 판명될 경우 비용이 큰 상황에서 특히 중요합니다.

그림 3. 정확도와 정밀도 비교. (출처)

예를 들어 사기 탐지에서 정밀도가 낮은 모델은 많은 정상 거래를 사기로 표시하여 사용자와 지원 팀 모두에게 불필요한 문제를 일으킬 수 있습니다. 정밀도가 높은 모델은 표시된 거래가 실제 사기일 가능성이 높도록 하여 이러한 위험을 줄입니다.

정밀도가 높은 것은 좋지만, 정밀도에 지나치게 집중하는 모델은 매우 선택적으로 변해 실제 양성 사례를 놓칠 수 있습니다. 따라서 성능의 균형을 유지하기 위해 정밀도 지표를 재현율과 함께 확인하는 경우가 많습니다.

재현율이란 무엇인가요?#

재현율은 모델이 실제 양성 사례를 얼마나 잘 식별하는지 측정하는 지표입니다. 민감도 또는 진양성률이라고도 하며, 다음 질문에 답합니다. 실제 양성 인스턴스 중 모델이 올바르게 탐지한 것은 몇 개인가?

재현율 공식은 진양성 수를 진양성과 위음성의 합으로 나눈 값입니다. 재현율 점수가 높다는 것은 데이터의 실제 양성 사례 대부분을 모델이 포착하고 있음을 의미합니다.

재현율은 의료와 같은 산업에서 필수적입니다. 질환을 탐지하지 못하면 치료가 지연되고 환자가 위험에 처할 수 있기 때문입니다. 일부 음성 사례가 잘못 표시되더라도 모든 실제 사례를 식별하는 것이 최우선입니다.

그러나 재현율에만 집중하는 모델은 위양성을 너무 많이 표시하여 정밀도를 낮추고 모델의 전반적인 효율성을 저하시킬 수 있습니다. 신뢰할 수 있는 AI 모델 성능을 위해서는 재현율과 정밀도의 균형을 맞추는 것이 중요합니다.

균형 잡기: 정밀도와 재현율의 트레이드오프#

정밀도와 재현율은 서로 반대 방향으로 움직이는 경우가 많습니다. 하나가 개선되면 다른 하나는 하락할 수 있습니다. 이러한 트레이드오프는 머신 러닝 작업에서 흔히 발생하는 문제입니다.

정밀도가 높은 모델은 확신이 있을 때만 무언가를 양성으로 예측합니다. 이 방식은 오탐을 줄이지만 실제 양성을 놓칠 수 있어 재현율이 낮아집니다. 모든 양성을 포착하려는 모델은 재현율을 높이지만 오탐이 증가할 위험이 있어 정밀도가 낮아집니다.

이러한 트레이드오프는 모델의 결정 임계값을 조정할 때 더욱 명확해집니다. 임계값은 시스템이 점수나 확률을 행동 또는 레이블로 변환할 때 사용하는 기준값입니다. 임계값을 낮추면 시스템이 더 자주 양성으로 동작하므로 재현율이 높아질 수 있지만 정밀도는 낮아질 수 있습니다. 임계값을 높이면 반대 효과가 나타납니다. 모델은 더 적은 양성을 예측하고 정밀도는 향상되지만 재현율은 대체로 하락합니다.

스팸 탐지 작업을 진행 중이라고 가정해 보겠습니다. 모델은 스팸이 받은편지함으로 들어오는 위험과 실제 이메일을 차단하는 위험 사이에서 균형을 맞춰야 합니다. 엄격한 필터는 일부 스팸을 여전히 놓칠 수 있고, 더 관대한 필터는 정상 메시지를 실수로 차단할 수 있습니다. 적절한 균형은 사용 사례와 각 오류 유형의 비용에 따라 달라집니다.

정밀도–재현율 곡선의 중요성#

정밀도-재현율 곡선 또는 PR 곡선은 모델의 결정 임계값이 변할 때 정밀도와 재현율이 어떻게 변하는지 보여 줍니다. 각 점은 두 지표 사이의 서로 다른 트레이드오프를 나타냅니다. PR 곡선은 한 클래스의 빈도가 훨씬 낮은 불균형 데이터셋에서 특히 유용합니다.

또한 다양한 결정 임계값에서 모델이 양성과 음성을 얼마나 잘 구분하는지 보여 주는 수신자 조작 특성(ROC) 곡선보다 더 의미 있는 인사이트를 제공합니다. 정밀도와 재현율이 모두 높은 모델의 정밀도–재현율 곡선은 오른쪽 위 모서리 근처에 머무르며, 이는 일반적으로 이상적인 상태입니다.

F1-score 소개: 균형을 위한 결합 지표#

F1-score는 정밀도와 재현율 사이의 균형을 하나의 값으로 나타냅니다. F1-score는 정밀도와 재현율의 곱에 2를 곱한 뒤 정밀도와 재현율의 합으로 나누어 계산합니다. 위양성과 위음성이 모두 중요하거나, 불균형 데이터셋을 다루거나, 모델 성능을 균형 있게 파악해야 할 때 유용합니다.

그림 4. 정밀도와 재현율을 사용한 F1-score 계산(출처)

정확도, 정밀도, 재현율을 넘어#

정확도, 정밀도, 재현율이 필수적이지만, 다른 지표는 모델 유형과 데이터셋 특성에 따라 추가적인 인사이트를 제공합니다.

성능의 다양한 측면을 평가하는 데 도움이 되는 일반적인 지표는 다음과 같습니다.

• 특이도: 모델이 실제 음성을 얼마나 잘 식별하는지 측정합니다. 위양성을 피하는 것이 중요한 경우에 유용합니다.
• AUC: AUC 또는 곡선하면적은 모델이 클래스 간을 얼마나 잘 구분하는지 나타내는 단일 점수를 제공합니다.
• 로그 손실: 로그 손실은 모델이 예측할 때 얼마나 확신하는지 측정하며, 높은 확신으로 잘못 예측한 경우 더 큰 페널티를 부여합니다. 여기서 confidence는 모델이 자신의 예측을 얼마나 확신하는지를 의미합니다.
• 멀티 레이블 평가: 멀티 레이블 작업에서는 전반적인 모델 성능을 반영하기 위해 레이블 전체의 지표를 평균 냅니다.

컴퓨터 비전에서 정확도, 정밀도, 재현율 적용하기#

이제 정확도, 정밀도, 재현율을 더 명확하게 이해했으므로 이러한 지표가 컴퓨터 비전에 어떻게 적용되는지 살펴보겠습니다.

Ultralytics YOLO11과 같은 컴퓨터 비전 모델은 모델이 이미지에 어떤 객체가 있는지 식별하고 바운딩 박스를 사용해 위치를 찾는 객체 감지와 같은 작업을 지원합니다. 각 예측에는 객체 레이블과 위치가 모두 포함되므로, 단순히 레이블이 올바른지만 확인하는 것보다 평가가 복잡합니다.

그림 5. 객체 감지에 Ultralytics YOLO11을 사용하는 예시. (출처)

카메라를 사용해 진열대의 제품을 자동으로 추적하는 소매 애플리케이션을 생각해 보겠습니다. 객체 감지 모델은 시리얼 상자, 탄산음료 캔 또는 생수병과 같은 품목을 식별하고 해당 위치를 표시할 수 있습니다.

이 경우 정밀도는 탐지된 품목 중 실제로 올바른 품목이 몇 개인지 알려 줍니다. 정밀도가 높다는 것은 그림자나 배경 객체를 제품으로 표시하는 것과 같은 위양성을 시스템이 방지한다는 의미입니다. 재현율은 진열대에 실제로 있는 제품 중 모델이 탐지한 제품이 몇 개인지 보여 줍니다. 재현율이 높으면 누락되는 품목이 줄어들며, 이는 정확한 재고 수량을 파악하는 데 매우 중요합니다.

정확도는 여전히 전반적인 정확성의 척도를 제공할 수 있지만, 이러한 환경에서는 제품 몇 개를 놓치거나 존재하지 않는 품목을 탐지하는 것만으로도 재고 관리에 큰 영향을 미칠 수 있습니다. 따라서 개발자는 정밀도, 재현율, 정확도를 함께 검토하여 시스템이 실제 환경에서 신뢰할 수 있고 실용적인지 확인합니다.

정확도, 정밀도, 재현율: 핵심 요점#

정확도, 정밀도, 재현율은 각각 머신 러닝 모델 성능의 서로 다른 측면을 보여 줍니다. 하나의 지표에만 의존하면 오해를 불러일으킬 수 있습니다.

혼동 행렬, 정밀도–재현율 곡선, F1-score와 같은 도구와 지표는 트레이드오프를 파악하고 ML 모델을 개선하는 방법에 대한 의사 결정을 이끌어 줍니다. 특정 AI 솔루션에 적합한 지표 조합을 선택하면 실제 애플리케이션에서 모델이 정확하고 신뢰할 수 있으며 효과적으로 작동하도록 할 수 있습니다.

성장하는 커뮤니티를 둘러보세요! GitHub 리포지토리에서 AI에 대해 자세히 알아보세요. 컴퓨터 비전 프로젝트를 시작할 준비가 되셨나요? 라이선스 옵션을 확인해 보세요. 솔루션 페이지를 방문하여 농업 분야의 AI와 로보틱스 분야의 비전 AI를 알아보세요!