혁신의 영향을 평가하기 위한 AI 성능 측정

이전에 의료, 제조, 관광과 같은 다양한 산업에서 AI가 어떻게 활용될 수 있는지 살펴보았습니다. 또한 AI가 일상적인 업무를 어떻게 개선할 수 있는지 알아보고 주요 AI 비즈니스 아이디어에 대해서도 논의했습니다. 이러한 모든 논의는 필연적으로 동일한 핵심 질문으로 이어집니다. 바로 AI 구현의 성공을 어떻게 측정할 수 있느냐는 것입니다. 단순히 AI 솔루션을 배포하는 것만으로는 충분하지 않기 때문에 이는 매우 중요한 질문입니다. 이러한 솔루션이 실제로 성과를 내고 있는지 확인하는 것이야말로 진정한 혁신을 만드는 핵심입니다.

AI 모델이 프로세스 효율성을 높이고, 혁신을 촉진하며, 문제를 해결하는 데 실제로 효과적인지 확인하기 위해 AI 성능 지표를 측정할 수 있습니다. 올바른 핵심 성과 지표(KPI)에 집중함으로써 AI 솔루션이 얼마나 잘 작동하고 있는지, 어디에서 개선이 필요한지 파악할 수 있습니다.

이 기사에서는 가장 관련성 높은 KPI를 사용하여 AI 구현의 성공 여부를 측정하는 방법을 살펴보겠습니다. 비즈니스 KPI와 AI 성능 KPI의 차이점을 다루고, 정밀도 및 재현율과 같은 주요 지표를 검토하며, 특정 AI 솔루션에 가장 적합한 KPI를 선택하도록 도와드립니다.

Link to this sectionAI 비즈니스 KPI와 AI 성능 KPI의 차이#

그림 1. AI 비즈니스 KPI와 AI 성능 KPI 비교.

KPI를 생각할 때 투자 수익률(ROI), 비용 절감, 창출된 수익과 같은 비즈니스 지표가 전부라고 가정하기 쉽습니다. 특히 엔터프라이즈 AI를 이야기할 때는 더욱 그렇습니다. 이러한 AI 비즈니스 KPI는 AI가 회사의 전반적인 성공에 어떤 영향을 미치는지 측정하며 더 광범위한 비즈니스 목표와 일치합니다.

반면, AI 성능 KPI는 정확도, 정밀도, 재현율과 같은 지표를 사용하여 AI 시스템 자체가 얼마나 잘 작동하는지에 초점을 맞춥니다. 이러한 지표에 대한 자세한 내용은 아래에서 다루겠지만, 본질적으로 비즈니스 KPI가 AI의 재무적 및 전략적 이점을 보여준다면, 성능 KPI는 AI 모델이 제 역할을 효과적으로 수행하고 있는지 확인합니다.

특정 지표는 실제로 두 가지 목적을 모두 수행할 수 있습니다. 예를 들어, 작업을 완료하는 데 필요한 시간이나 리소스 절감과 같은 효율성 향상은 성능 KPI(AI 솔루션의 작동 상태를 보여줌)이자 비즈니스 KPI(비용 절감 및 생산성 향상을 측정)가 될 수 있습니다. 고객 만족도 역시 교차 지표입니다. 이는 기술적 성능과 전반적인 비즈니스 목표에 미치는 영향이라는 두 가지 측면에서 AI 기반 고객 서비스 도구의 성공을 반영할 수 있습니다.

Link to this section주요 AI 성능 지표 이해하기#

AI 모델이 얼마나 잘 수행되는지 측정하는 데 사용되는 몇 가지 일반적인 지표가 있습니다. 먼저, 각 지표의 정의와 계산 방법을 살펴보겠습니다. 그런 다음 이러한 지표를 어떻게 모니터링할 수 있는지 알아보겠습니다.

Link to this section정밀도(Precision)#

정밀도는 AI 모델이 참 긍정(모델이 객체나 상태를 의도한 대로 정확하게 식별한 사례)을 얼마나 정확하게 식별하는지 측정하는 지표입니다. 예를 들어, 안면 인식 시스템에서 참 긍정은 시스템이 탐지하도록 학습된 사람의 얼굴을 올바르게 인식하고 식별할 때 발생합니다.

정밀도를 계산하려면 먼저 참 긍정의 수를 계산합니다. 그런 다음 이 값을 모델이 긍정으로 레이블을 지정한 총 항목 수로 나눕니다. 이 총계에는 올바른 식별과 거짓 긍정이라고 불리는 실수가 모두 포함됩니다. 본질적으로 정밀도는 모델이 무언가를 인식했다고 주장할 때 얼마나 자주 정확한지를 나타냅니다.

그림 2. 정밀도 이해하기.

이는 거짓 긍정의 결과가 비용이 많이 들거나 혼란을 초래할 수 있는 시나리오에서 특히 중요합니다. 예를 들어, 자동화된 제조에서 높은 정밀도는 시스템이 결함 제품을 더 정확하게 표시하여 좋은 제품이 불필요하게 폐기되거나 재작업되는 것을 방지할 수 있음을 나타냅니다. 또 다른 좋은 예는 보안 감시입니다. 높은 정밀도는 오경보를 최소화하고 보안 대응이 필요한 실제 위협에만 집중하도록 돕습니다.

Link to this section재현율(Recall)#

재현율은 데이터 세트 내의 모든 관련 사례 또는 참 긍정을 식별하는 AI 모델의 능력을 측정하는 데 도움이 됩니다. 간단히 말해서, 재현율은 AI 시스템이 탐지하도록 설계된 상태나 객체의 모든 실제 사례를 얼마나 잘 포착할 수 있는지를 나타냅니다. 재현율은 올바른 탐지 수를 탐지했어야 할 총 긍정 사례 수(모델이 올바르게 식별한 사례와 놓친 사례 모두 포함)로 나누어 계산할 수 있습니다.

암 탐지를 위해 사용되는 AI 기반 의료 영상 시스템을 고려해 보십시오. 이 맥락에서 재현율은 시스템이 올바르게 식별한 실제 암 사례의 비율을 반영합니다. 암 진단을 놓치면 환자 치료에 심각한 결과를 초래할 수 있으므로 이러한 시나리오에서는 높은 재현율이 매우 중요합니다.

Link to this section정밀도와 재현율의 비교#

정밀도와 재현율은 AI 모델 성능 평가에 있어 동전의 양면과 같으며, 종종 균형을 맞춰야 합니다. 문제는 한 지표를 개선하면 다른 지표가 희생되는 경우가 많다는 점입니다.

더 높은 정밀도를 추구한다고 가정해 봅시다. 모델은 더 선택적으로 변하여 자신이 매우 확신하는 긍정 사례만 식별할 수 있게 될 것입니다. 반면에 재현율을 개선하려고 하면 모델이 더 많은 긍정 사례를 식별할 수 있지만, 여기에는 더 많은 거짓 긍정이 포함되어 결국 정밀도가 낮아질 수 있습니다.

핵심은 애플리케이션의 구체적인 요구 사항에 따라 정밀도와 재현율 사이의 적절한 균형을 찾는 것입니다. 이를 위한 유용한 도구로 서로 다른 임계값에서 두 메트릭 간의 관계를 보여주는 정밀도-재현율(Precision-Recall) 곡선이 있습니다. 이 곡선을 분석하면 특정 사용 사례에서 모델이 최상의 성능을 발휘하는 최적 지점을 결정할 수 있습니다. 이러한 상충 관계를 이해하면 AI 모델을 미세 조정(fine-tuning)하여 의도한 사용 사례(use cases)에서 최적으로 작동하도록 만드는 데 도움이 됩니다.

그림 3. 정밀도-재현율 곡선 예시.

Link to this section평균 정밀도(mAP)#

mAP(Mean Average Precision)는 객체 탐지와 같이 모델이 이미지 내의 여러 객체를 식별하고 분류해야 하는 작업에서 AI 모델의 성능을 평가하는 데 사용되는 메트릭입니다. mAP는 모델이 인식하도록 학습된 모든 다양한 카테고리에 걸쳐 모델이 얼마나 잘 작동하는지 보여주는 단일 점수를 제공합니다. 이제 이것이 어떻게 계산되는지 살펴보겠습니다.

정밀도-재현율 곡선 아래 영역은 해당 클래스에 대한 평균 정밀도(AP)를 제공합니다. AP는 다양한 신뢰 수준(신뢰 수준은 모델이 예측에 대해 얼마나 확신하는지를 의미)에서 정밀도와 재현율을 모두 고려하여 모델이 특정 클래스에 대해 얼마나 정확하게 예측하는지를 측정합니다. 각 클래스에 대해 AP가 계산되면, 모든 클래스에 걸쳐 이러한 AP 값을 평균화하여 mAP를 결정합니다.

그림 4. 다양한 클래스의 평균 정밀도.

mAP는 보행자, 차량, 교통 표지판 등 여러 객체를 동시에 감지해야 하는 자율 주행(autonomous driving)과 같은 애플리케이션에서 유용합니다. 높은 mAP 점수는 모델이 모든 범주에서 일관되게 잘 작동함을 의미하며, 이는 다양한 시나리오에서 모델의 신뢰성과 정확성을 보장합니다.

Link to this section손쉽게 성능 지표 계산하기#

주요 AI 성능 지표를 계산하는 공식과 방법은 어렵게 보일 수 있습니다. 하지만 Ultralytics 패키지와 같은 도구를 사용하면 간단하고 빠르게 처리할 수 있습니다. 객체 탐지, 세그멘테이션, 분류 작업 중 무엇을 수행하든 Ultralytics는 정밀도, 재현율, 평균 정밀도(mAP)와 같은 중요한 지표를 빠르게 계산하는 데 필요한 유틸리티를 제공합니다.

Ultralytics를 사용하여 성능 지표를 계산하는 것을 시작하려면 아래와 같이 Ultralytics 패키지를 설치할 수 있습니다.

이 예제에서는 사전 훈련된 YOLOv8 모델을 로드하여 성능 지표를 검증하는 데 사용하지만, Ultralytics에서 제공하는 지원되는 모델이라면 무엇이든 로드할 수 있습니다. 방법은 다음과 같습니다:

모델이 로드되면 데이터 세트에 대해 검증(validation)을 수행할 수 있습니다. 다음 코드 조각은 정밀도, 재현율, mAP를 포함한 다양한 성능 지표를 계산하는 데 도움이 됩니다:

Ultralytics와 같은 도구를 사용하면 성능 지표 계산이 훨씬 쉬워지므로 모델 개선에 더 많은 시간을 할애하고 평가 과정의 세부 사항에 대해 걱정하는 시간을 줄일 수 있습니다.

Link to this section배포 후 AI 성능은 어떻게 측정합니까?#

AI 모델을 개발할 때는 통제된 환경에서 성능을 테스트하기 쉽습니다. 그러나 모델이 배포되면 상황이 더 복잡해질 수 있습니다. 다행히 배포 후 AI 솔루션을 모니터링하는 데 도움이 되는 도구와 모범 사례가 있습니다.

Prometheus, Grafana, Evidently AI와 같은 도구는 모델의 성능을 지속적으로 추적하도록 설계되었습니다. 이러한 도구는 실시간 통찰력을 제공하고, 이상 징후를 탐지하며, 잠재적인 문제를 경고할 수 있습니다. 이러한 도구는 프로덕션 환경에서 AI 모델의 동적인 특성에 적응하는 자동화되고 확장 가능한 솔루션을 제공함으로써 기존 모니터링 그 이상을 수행합니다.

배포 후 AI 모델의 성공 여부를 측정하려면 다음과 같은 모범 사례를 따르십시오:

• 명확한 성능 지표 설정: 정확도, 정밀도, 응답 시간과 같은 핵심 지표를 결정하여 모델의 작동 상태를 정기적으로 확인하십시오.
• 데이터 드리프트 정기 점검: 모델이 처리하는 데이터의 변화를 주시하십시오. 제대로 관리되지 않으면 예측에 영향을 미칠 수 있습니다.
• A/B 테스트 수행: A/B 테스트를 사용하여 현재 모델의 성능을 새 버전이나 수정 버전과 비교하십시오. 이를 통해 모델 동작의 개선 또는 퇴보를 정량적으로 평가할 수 있습니다.
• 성능 문서화 및 감사: 성능 메트릭과 AI 시스템에 적용된 변경 사항에 대한 상세 로그를 유지하십시오. 이는 감사, 컴플라이언스(compliance) 및 시간이 지남에 따라 모델 아키텍처를 개선하는 데 매우 중요합니다.

Link to this section최적의 AI KPI를 선택하는 것은 시작일 뿐입니다.#

AI 솔루션을 성공적으로 배포하고 관리하려면 올바른 KPI를 선택하고 최신 상태로 유지하는 것이 중요합니다. 전반적으로 AI 솔루션이 기술적으로 그리고 비즈니스 영향 측면에서 얼마나 잘 수행되는지 강조하는 지표를 선택하는 것이 필수적입니다. 기술 발전이든 비즈니스 전략의 변화든, 상황이 변함에 따라 이러한 KPI를 다시 검토하고 조정하는 것이 중요합니다.

성능 검토를 역동적으로 유지함으로써 AI 시스템의 관련성과 효과를 지속시킬 수 있습니다. 이러한 지표를 철저히 파악함으로써 운영 개선에 도움이 되는 귀중한 통찰력을 얻을 수 있습니다. 선제적인 접근 방식은 귀하의 AI 노력이 진정으로 가치 있고 비즈니스를 앞으로 나아가게 하는 데 기여하도록 보장합니다!

우리 커뮤니티에 가입하여 우리와 함께 혁신하십시오! GitHub 저장소를 탐색하여 우리의 AI 발전을 확인해 보십시오. 우리가 선구적인 AI 기술로 제조 및 의료와 같은 산업을 어떻게 재편하고 있는지 알아보십시오. 🚀