혁신의 영향을 평가하기 위한 AI 성능 측정

우리는 이전에 healthcare, manufacturing, tourism과 같은 다양한 산업에서 AI가 어떻게 활용될 수 있는지 살펴보았습니다. 또한 AI can improve everyday work tasks에 대해 살펴보고 leading AI business ideas에 대해 논의했습니다. 이러한 모든 논의는 필연적으로 동일한 핵심 질문으로 이어집니다. 이러한 AI 구현의 성공을 어떻게 측정할 수 있을까요? 단순히 AI 솔루션을 배포하는 것만으로는 충분하지 않기 때문에 이는 중요한 질문입니다. 이러한 솔루션이 실제로 결과를 제공하는지 확인하는 것이야말로 판도를 바꿀 수 있는 요인입니다.

AI 모델이 프로세스를 더 효율적으로 만들고, 혁신을 촉발하며, 문제를 해결하는 데 진정으로 효과적인지 확인하기 위해 AI performance metrics를 측정할 수 있습니다. 올바른 핵심 성과 지표(KPI)에 집중함으로써 AI 솔루션이 얼마나 잘 작동하고 있는지, 어디에 개선이 필요한지 파악할 수 있습니다.

이 글에서는 가장 관련성이 높은 KPI를 통해 AI 구현의 성공 여부를 측정하는 방법을 살펴봅니다. 비즈니스 KPI와 AI 성능 KPI의 차이점을 다루고, metrics like precision and recall 같은 주요 측정 지표를 검토하며, 특정 AI 솔루션에 가장 적합한 KPI를 선택하는 데 도움을 드립니다.

AI 비즈니스 KPI와 AI 성능 KPI의 차이#

그림 1. AI 비즈니스 KPI와 AI 성능 KPI 비교.

KPI를 생각할 때, 특히 엔터프라이즈 AI에 대해 이야기할 때는 그것이 모두 투자 대비 수익률(ROI), 비용 절감, 창출된 수익과 같은 비즈니스 지표에 관한 것이라고 가정하기 쉽습니다. 이러한 AI 비즈니스 KPI는 AI가 기업의 전반적인 성공에 미치는 영향을 측정하고 광범위한 business goals과 일치합니다.

그러나 AI 성능 KPI는 정확도, 정밀도, 재현율 같은 지표를 사용하여 AI 시스템 자체가 얼마나 잘 작동하는지에 중점을 둡니다. 이러한 지표에 대한 자세한 내용은 아래에서 다루겠지만, 요약하자면 비즈니스 KPI는 AI의 재무적 및 전략적 이점을 보여주는 반면, performance KPIs는 AI 모델이 자신의 역할을 효과적으로 수행하고 있는지 확인해 줍니다.

특정 지표는 실제로 두 가지 목적 모두에 기여할 수 있습니다. 예를 들어, 작업을 완료하는 데 필요한 시간이나 리소스의 감소와 같은 efficiency gains은 성능 KPI(AI 솔루션이 얼마나 잘 작동하고 있는지 보여줌)와 비즈니스 KPI(비용 절감 및 생산성 향상 측정) 모두가 될 수 있습니다. Customer satisfaction은 또 다른 교차 지표입니다. 이는 기술적 성능과 전반적인 비즈니스 목표에 미치는 영향이라는 측면 모두에서 AI 기반 고객 서비스 도구의 성공을 반영할 수 있습니다.

주요 AI 성능 지표 이해하기#

AI 모델이 얼마나 잘 수행되는지 측정하는 데 사용되는 몇 가지 일반적인 지표가 있습니다. 먼저, 각 지표의 정의와 계산 방법을 살펴보겠습니다. 그런 다음 이러한 지표를 어떻게 모니터링할 수 있는지 알아보겠습니다.

정밀도(Precision)#

정밀도(Precision)는 AI 모델이 참 양성(모델이 객체나 조건을 올바르게 식별해야 하는 인스턴스)을 얼마나 정확하게 식별하는지 측정하는 지표입니다. 예를 들어, facial recognition system에서 참 양성은 시스템이 detect하도록 학습된 사람의 얼굴을 정확히 인식하고 식별할 때 발생합니다.

정밀도를 계산하려면 먼저 참 긍정의 수를 계산합니다. 그런 다음 이 값을 모델이 긍정으로 레이블을 지정한 총 항목 수로 나눕니다. 이 총계에는 올바른 식별과 거짓 긍정이라고 불리는 실수가 모두 포함됩니다. 본질적으로 정밀도는 모델이 무언가를 인식했다고 주장할 때 얼마나 자주 정확한지를 나타냅니다.

Fig 2. 정밀도 이해하기.

이는 오탐(false positive)의 결과가 비용이 많이 들거나 혼란을 초래할 수 있는 시나리오에서 특히 중요합니다. 예를 들어 automated manufacturing에서 높은 정밀도는 시스템이 결함이 있는 제품을 더 정확하게 표시하고 양품의 불필요한 폐기나 재작업을 방지할 수 있음을 나타냅니다. 또 다른 좋은 예는 security surveillance입니다. 높은 정밀도는 오경보를 최소화하고 보안 대응이 필요한 실제 위협에만 집중하는 데 도움이 됩니다.

재현율(Recall)#

재현율은 데이터 세트 내의 모든 관련 사례 또는 참 긍정을 식별하는 AI 모델의 능력을 측정하는 데 도움이 됩니다. 간단히 말해서, 재현율은 AI 시스템이 탐지하도록 설계된 상태나 객체의 모든 실제 사례를 얼마나 잘 포착할 수 있는지를 나타냅니다. 재현율은 올바른 탐지 수를 탐지했어야 할 총 긍정 사례 수(모델이 올바르게 식별한 사례와 놓친 사례 모두 포함)로 나누어 계산할 수 있습니다.

암 감지에 사용되는 AI-enabled medical imaging system을 고려해 보세요. 이 맥락에서 재현율(Recall)은 시스템이 올바르게 식별한 실제 암 사례의 백분율을 반영합니다. 암 진단을 놓치면 환자 치료에 심각한 결과로 이어질 수 있으므로 이러한 시나리오에서는 높은 재현율이 매우 중요합니다.

정밀도와 재현율의 비교#

evaluating an AI model's performance와 관련하여 정밀도와 재현율은 동전의 양면과 같으며, 종종 균형이 필요합니다. 어려운 점은 하나의 지표를 개선하면 종종 다른 지표가 희생될 수 있다는 것입니다.

더 높은 정밀도를 추구한다고 가정해 봅시다. 모델은 더 선택적으로 변하여 자신이 매우 확신하는 긍정 사례만 식별할 수 있게 될 것입니다. 반면에 재현율을 개선하려고 하면 모델이 더 많은 긍정 사례를 식별할 수 있지만, 여기에는 더 많은 거짓 긍정이 포함되어 결국 정밀도가 낮아질 수 있습니다.

핵심은 애플리케이션의 특정 요구 사항에 따라 정밀도와 재현율 사이의 올바른 균형을 찾는 것입니다. 이를 위한 유용한 도구는 서로 다른 임계값에서 두 지표 간의 관계를 보여주는 정밀도-재현율 곡선(Precision-Recall curve)입니다. 이 곡선을 분석하여 특정 사용 사례에 대해 모델이 가장 잘 작동하는 최적의 지점을 결정할 수 있습니다. 상충 관계를 이해하면 의도한 use cases에 대해 최적의 성능을 발휘하도록 fine-tuning AI models할 때 도움이 됩니다.

Fig 3. 정밀도-재현율 곡선의 예.

평균 정밀도(mAP)#

평균 정밀도(mAP, Mean Average Precision)는 모델이 이미지 내의 여러 객체를 식별하고 classify해야 하는 object detection 같은 작업에 대한 AI 모델의 성능을 평가하는 데 사용되는 지표입니다. mAP는 모델이 인식하도록 학습된 모든 다양한 카테고리에서 얼마나 잘 수행되는지 보여주는 단일 점수를 제공합니다. 어떻게 계산되는지 살펴보겠습니다.

정밀도-재현율 곡선 아래 영역은 해당 클래스에 대한 평균 정밀도(AP)를 제공합니다. AP는 다양한 신뢰 수준(신뢰 수준은 모델이 예측에 대해 얼마나 확신하는지를 의미)에서 정밀도와 재현율을 모두 고려하여 모델이 특정 클래스에 대해 얼마나 정확하게 예측하는지를 측정합니다. 각 클래스에 대해 AP가 계산되면, 모든 클래스에 걸쳐 이러한 AP 값을 평균화하여 mAP를 결정합니다.

Fig 4. 다양한 클래스의 평균 정밀도.

mAP는 보행자, 차량, 교통 표지판 등 여러 객체를 동시에 감지해야 하는 autonomous driving 같은 애플리케이션에서 유용합니다. 높은 mAP 점수는 모델이 모든 카테고리에서 일관되게 잘 수행되며 다양한 시나리오에서 신뢰할 수 있고 정확함을 의미합니다.

손쉽게 성능 지표 계산하기#

핵심 AI 성능 지표를 계산하는 공식과 방법은 벅차 보일 수 있습니다. 하지만 Ultralytics package 같은 도구를 사용하면 간단하고 빠르게 처리할 수 있습니다. object detection, segmentation, classification 작업 중 무엇을 하든, Ultralytics는 정밀도, 재현율, 평균 정밀도(mAP) 같은 중요한 지표를 빠르게 계산하는 데 필요한 유틸리티를 제공합니다.

calculating performance metrics using Ultralytics를 시작하려면 아래에 표시된 대로 Ultralytics 패키지를 설치하면 됩니다.

이 예에서는 pre-trained YOLOv8 model을 로드하여 성능 지표를 검증하는 데 사용하지만, models provided by Ultralytics에서 지원하는 모델 중 원하는 것을 로드할 수 있습니다. 방법은 다음과 같습니다:

모델이 로드되면 데이터셋에 대해 validation을 수행할 수 있습니다. 다음 코드 조각은 정밀도, 재현율, mAP를 포함한 다양한 성능 지표를 계산하는 데 도움이 됩니다:

Ultralytics와 같은 도구를 사용하면 성능 지표 계산이 훨씬 쉬워지므로 모델 개선에 더 많은 시간을 할애하고 평가 과정의 세부 사항에 대해 걱정하는 시간을 줄일 수 있습니다.

배포 후 AI 성능은 어떻게 측정합니까?#

AI 모델을 개발할 때 통제된 환경에서 성능을 테스트하기는 쉽습니다. 하지만 모델이 배포되면 상황이 더 복잡해질 수 있습니다. 다행히도 monitor your AI solution after deployment하는 데 도움이 되는 도구와 모범 사례가 있습니다.

Prometheus, Grafana, Evidently AI와 같은 도구는 모델의 성능을 지속적으로 추적하도록 설계되었습니다. 이러한 도구는 실시간 통찰력을 제공하고, 이상 징후를 탐지하며, 잠재적인 문제를 경고할 수 있습니다. 이러한 도구는 프로덕션 환경에서 AI 모델의 동적인 특성에 적응하는 자동화되고 확장 가능한 솔루션을 제공함으로써 기존 모니터링 그 이상을 수행합니다.

배포 후 AI 모델의 성공 여부를 측정하려면 다음과 같은 모범 사례를 따르십시오:

• 명확한 성능 지표 설정: 정확도, 정밀도, 응답 시간과 같은 핵심 지표를 결정하여 모델의 작동 상태를 정기적으로 확인하십시오.
• 데이터 드리프트 정기 점검: 모델이 처리하는 데이터의 변화를 주시하십시오. 제대로 관리되지 않으면 예측에 영향을 미칠 수 있습니다.
• A/B 테스트 수행: A/B testing을 사용하여 현재 모델의 성능을 새 버전이나 조정된 버전과 비교합니다. 이를 통해 모델 동작의 개선이나 퇴보를 정량적으로 평가할 수 있습니다.
• 성능 문서화 및 감사: 성능 지표와 AI 시스템에 변경된 사항에 대한 상세한 로그를 유지합니다. 이는 감사, compliance, 그리고 시간이 지남에 따라 모델의 아키텍처를 개선하는 데 매우 중요합니다.

최적의 AI KPI를 선택하는 것은 시작일 뿐입니다.#

AI 솔루션을 성공적으로 deploying하고 관리하는 것은 올바른 KPI를 선택하고 이를 최신 상태로 유지하는 데 달려 있습니다. 전반적으로 AI 솔루션이 기술적으로 그리고 비즈니스 영향 측면에서 얼마나 잘 수행되고 있는지 강조하는 지표를 선택하는 것이 중요합니다. 기술 발전이든 비즈니스 전략의 변화든 상황이 바뀜에 따라 이러한 KPI를 재검토하고 조정하는 것이 중요합니다.

성능 검토를 역동적으로 유지함으로써 AI 시스템의 관련성과 효과를 지속시킬 수 있습니다. 이러한 지표를 철저히 파악함으로써 운영 개선에 도움이 되는 귀중한 통찰력을 얻을 수 있습니다. 선제적인 접근 방식은 귀하의 AI 노력이 진정으로 가치 있고 비즈니스를 앞으로 나아가게 하는 데 기여하도록 보장합니다!

our community에 가입하여 우리와 함께 혁신을 이루세요! GitHub repository를 탐색하여 우리의 AI 발전 사항을 확인해 보세요. 선구적인 AI 기술로 manufacturing 및 healthcare와 같은 산업을 어떻게 재편하고 있는지 알아보세요. 🚀