혁신의 영향을 평가하기 위한 AI 성능 측정

이전에는 헬스케어, 제조, 관광과 같은 다양한 산업에서 AI를 활용하는 방법을 살펴보았습니다. 또한 AI가 일상 업무를 개선하는 방법을 알아보고 주요 AI 비즈니스 아이디어에 대해서도 논의했습니다. 이러한 모든 논의는 결국 같은 핵심 질문으로 이어집니다. 이러한 AI 구현의 성공을 어떻게 측정할 수 있을까요? 이는 중요한 질문입니다. AI 솔루션을 단순히 배포하는 것만으로는 충분하지 않기 때문입니다. 이러한 솔루션이 실제로 성과를 내도록 보장하는 것이 AI를 판도를 바꾸는 기술로 만듭니다.

AI 성능 지표를 측정하면 AI 모델이 프로세스를 더욱 효율적으로 만들고, 혁신을 촉진하며, 문제를 해결하는 데 실제로 효과적인지 판단할 수 있습니다. 적절한 핵심 성과 지표(KPI)에 집중하면 AI 솔루션이 얼마나 잘 작동하는지, 그리고 어디를 개선해야 하는지 파악할 수 있습니다.

이 글에서는 가장 관련성 높은 KPI를 사용하여 AI 구현의 성공을 측정하는 방법을 살펴봅니다. 비즈니스 KPI와 AI 성능 KPI의 차이를 다루고, 정밀도와 재현율 같은 주요 지표를 살펴보며, 특정 AI 솔루션에 가장 적합한 KPI를 선택하는 데 도움을 드립니다.

AI 비즈니스 KPI와 AI 성능 KPI의 차이#

그림 1. AI 비즈니스 KPI와 AI 성능 KPI 비교

KPI를 생각하면 특히 엔터프라이즈 AI를 이야기할 때 투자수익률(ROI), 비용 절감, 창출된 수익과 같은 비즈니스 지표를 떠올리는 것이 자연스럽습니다. 이러한 AI 비즈니스 KPI는 AI가 기업의 전반적인 성공에 미치는 영향을 측정하고 더 광범위한 비즈니스 목표에 부합하는지 보여줍니다.

반면 AI 성능 KPI는 정확도, 정밀도, 재현율과 같은 지표를 사용하여 AI 시스템 자체가 얼마나 잘 작동하는지에 초점을 맞춥니다. 이러한 지표에 대한 자세한 내용은 아래에서 살펴보겠지만, 본질적으로 비즈니스 KPI가 AI의 재무적·전략적 이점을 보여준다면 성능 KPI는 AI 모델이 맡은 작업을 효과적으로 수행하고 있는지 확인합니다.

일부 지표는 실제로 두 가지 목적을 모두 충족할 수 있습니다. 예를 들어 작업을 완료하는 데 필요한 시간이나 리소스의 감소와 같은 효율성 향상은 성능 KPI(AI 솔루션이 얼마나 잘 작동하는지 보여줌)이면서 비즈니스 KPI(비용 절감과 생산성 향상을 측정함)일 수 있습니다. 고객 만족도도 이러한 교차 지표의 또 다른 예입니다. 고객 만족도는 AI 기반 고객 서비스 도구의 기술적 성능과 전반적인 비즈니스 목표에 미치는 영향 측면에서 모두 성공 여부를 나타낼 수 있습니다.

주요 AI 성능 지표 이해하기#

AI 모델이 얼마나 잘 작동하는지 측정하는 데 사용되는 몇 가지 일반적인 지표가 있습니다. 먼저 각 지표의 정의와 계산 방법을 살펴보겠습니다. 그런 다음 이러한 지표를 모니터링하는 방법을 알아보겠습니다.

정밀도#

정밀도는 AI 모델이 진양성(모델이 객체나 조건을 의도한 대로 정확하게 식별한 경우)을 얼마나 정확하게 식별하는지 측정하는 지표입니다. 예를 들어 얼굴 인식 시스템에서 진양성은 시스템이 감지하도록 학습된 사람의 얼굴을 정확하게 인식하고 식별할 때 발생합니다.

정밀도를 계산하려면 먼저 진양성의 수를 셉니다. 그런 다음 이를 모델이 양성으로 분류한 전체 항목 수로 나눕니다. 이 전체 수에는 정확한 식별과 오식별이 모두 포함되며, 오식별을 위양성이라고 합니다. 즉, 정밀도는 모델이 무언가를 인식했다고 판단할 때 실제로 얼마나 자주 맞는지를 보여줍니다.

그림 2. 정밀도 이해하기

위양성으로 인한 결과가 비용이 많이 들거나 업무를 방해할 수 있는 상황에서는 정밀도가 특히 중요합니다. 예를 들어 자동화된 제조에서 높은 정밀도는 시스템이 불량 제품을 더욱 정확하게 표시하여 양품을 불필요하게 폐기하거나 재작업하는 일을 방지할 수 있음을 의미합니다. 또 다른 좋은 예는 보안 감시입니다. 높은 정밀도는 오경보를 최소화하고 보안 대응이 필요한 실제 위협에만 집중하는 데 도움이 됩니다.

재현율#

재현율은 데이터셋 내 모든 관련 사례, 즉 진양성을 식별하는 AI 모델의 능력을 측정하는 데 도움이 됩니다. 간단히 말해, 재현율은 AI 시스템이 감지하도록 설계된 조건이나 객체의 실제 사례를 얼마나 빠짐없이 포착할 수 있는지를 나타냅니다. 재현율은 정확하게 감지한 수를 감지했어야 하는 양성 사례의 전체 수로 나누어 계산할 수 있습니다. 여기에는 모델이 정확하게 식별한 사례와 놓친 사례가 모두 포함됩니다.

암 검출에 사용되는 AI 기반 의료 영상 시스템을 생각해 보겠습니다. 이 맥락에서 재현율은 시스템이 실제 암 사례를 정확하게 식별하는 비율을 나타냅니다. 이러한 상황에서는 높은 재현율이 매우 중요합니다. 암 진단을 놓치면 환자 치료에 심각한 결과가 발생할 수 있기 때문입니다.

정밀도와 재현율 비교#

정밀도와 재현율은 AI 모델의 성능을 평가할 때 동전의 양면과 같으며, 두 지표 사이의 균형이 필요한 경우가 많습니다. 한 지표를 개선하면 다른 지표가 저하되는 경우가 많다는 점이 과제입니다.

정밀도를 높이는 데 집중한다고 가정해 보겠습니다. 그러면 모델이 더욱 선택적으로 변하여 확신할 수 있는 양성만 식별하게 될 수 있습니다. 반대로 재현율을 개선하려고 하면 모델이 더 많은 양성을 식별할 수 있지만, 여기에는 위양성이 더 많이 포함되어 결국 정밀도가 낮아질 수 있습니다.

핵심은 애플리케이션의 구체적인 요구 사항에 따라 정밀도와 재현율 사이에서 적절한 균형을 찾는 것입니다. 이를 위한 유용한 도구가 정밀도-재현율 곡선이며, 이 곡선은 다양한 임계값에서 두 지표 간의 관계를 보여줍니다. 이 곡선을 분석하면 특정 사용 사례에서 모델의 성능이 가장 좋은 최적 지점을 결정할 수 있습니다. 이러한 트레이드오프를 이해하면 의도한 사용 사례에 맞춰 최적의 성능을 내도록 AI 모델을 미세 조정하는 데 도움이 됩니다.

그림 3. 정밀도-재현율 곡선 예시

평균 정밀도 (mAP)#

평균 정밀도(mAP)는 모델이 이미지 내 여러 객체를 식별하고 분류해야 하는 객체 감지와 같은 작업에서 AI 모델의 성능을 평가하는 데 사용되는 지표입니다. mAP는 모델이 학습을 통해 인식하도록 훈련된 모든 카테고리에서 얼마나 잘 작동하는지를 보여주는 단일 점수를 제공합니다. 계산 방법을 살펴보겠습니다.

정밀도-재현율 곡선 아래 영역은 해당 클래스의 평균 정밀도(AP)를 나타냅니다. AP는 다양한 신뢰도 수준(신뢰도 수준은 모델이 예측을 얼마나 확신하는지를 의미함)에서 정밀도와 재현율을 모두 고려하여 모델이 특정 클래스를 얼마나 정확하게 예측하는지 측정합니다. 각 클래스의 AP를 계산한 후 모든 클래스의 AP 값을 평균 내어 mAP를 산출합니다.

그림 4. 다양한 클래스의 평균 정밀도

mAP는 보행자, 차량, 교통 표지판과 같은 여러 객체를 동시에 감지해야 하는 자율주행과 같은 애플리케이션에서 유용합니다. 높은 mAP 점수는 모델이 모든 카테고리에서 일관되게 우수한 성능을 발휘한다는 의미이므로, 광범위한 상황에서 신뢰할 수 있고 정확합니다.

성능 지표를 간편하게 계산하기#

주요 AI 성능 지표를 계산하는 공식과 방법은 복잡해 보일 수 있습니다. 그러나 Ultralytics 패키지와 같은 도구를 사용하면 간단하고 빠르게 계산할 수 있습니다. 객체 감지, 세그멘테이션, 분류 작업 중 무엇을 수행하든 Ultralytics는 정밀도, 재현율, 평균 정밀도(mAP)와 같은 중요한 지표를 신속하게 계산하는 데 필요한 유틸리티를 제공합니다.

Ultralytics를 사용하여 성능 지표를 계산하려면 아래와 같이 Ultralytics 패키지를 설치하면 됩니다.

이 예시에서는 사전 학습된 YOLOv8 모델을 불러와 성능 지표를 검증하는 데 사용하지만, Ultralytics가 제공하는 지원 모델은 무엇이든 불러올 수 있습니다. 방법은 다음과 같습니다.

모델이 로드되면 데이터셋에 대해 검증을 수행할 수 있습니다. 다음 코드 스니펫을 사용하면 정밀도, 재현율, mAP를 비롯한 다양한 성능 지표를 계산할 수 있습니다.

Ultralytics와 같은 도구를 사용하면 성능 지표를 훨씬 쉽게 계산할 수 있으므로 평가 프로세스의 세부 사항을 걱정하는 시간은 줄이고 모델 개선에 더 많은 시간을 사용할 수 있습니다.

배포 후 AI 성능은 어떻게 측정할까요?#

AI 모델을 개발할 때는 통제된 환경에서 성능을 테스트하기 쉽습니다. 그러나 모델을 배포하고 나면 상황이 더욱 복잡해질 수 있습니다. 다행히 배포 후 AI 솔루션을 모니터링하는 데 도움이 되는 도구와 모범 사례가 있습니다.

Prometheus, Grafana, Evidently AI와 같은 도구는 모델의 성능을 지속적으로 추적하도록 설계되었습니다. 이러한 도구는 실시간 인사이트를 제공하고, 이상을 감지하며, 잠재적인 문제를 알려줄 수 있습니다. 또한 프로덕션 환경의 AI 모델이 지닌 동적인 특성에 맞춰 조정되는 자동화되고 확장 가능한 솔루션을 제공하므로 기존 모니터링을 뛰어넘습니다.

배포 후 AI 모델의 성공을 측정하려면 다음 모범 사례를 따르십시오.

• 명확한 성능 지표 설정: 정확도, 정밀도, 응답 시간과 같은 주요 지표를 정하고 모델이 얼마나 잘 작동하는지 정기적으로 확인합니다.
• 데이터 드리프트 정기 점검: 모델이 처리하는 데이터의 변화를 주시합니다. 적절히 관리하지 않으면 이러한 변화가 모델의 예측에 영향을 줄 수 있습니다.
• A/B 테스트 수행: A/B 테스트를 사용하여 현재 모델의 성능을 새 버전이나 변경 사항과 비교합니다. 이를 통해 모델 동작의 개선 또는 성능 저하를 정량적으로 평가할 수 있습니다.
• 성능 문서화 및 감사: 성능 지표와 AI 시스템에 적용한 변경 사항을 상세히 기록합니다. 이는 감사, 규정 준수, 시간에 따른 모델 아키텍처 개선에 매우 중요합니다.

최적의 AI KPI 선택은 시작에 불과합니다#

AI 솔루션을 성공적으로 배포하고 관리하려면 적절한 KPI를 선택하고 최신 상태로 유지해야 합니다. 전반적으로 AI 솔루션이 기술적 측면과 비즈니스 영향 측면에서 얼마나 잘 작동하는지 보여주는 지표를 선택하는 것이 중요합니다. 기술 발전이나 비즈니스 전략의 변화 등 상황이 바뀌면 이러한 KPI를 다시 검토하고 조정해야 합니다.

성과 검토를 유동적으로 유지하면 AI 시스템의 관련성과 효율성을 유지할 수 있습니다. 이러한 지표를 지속적으로 관리하면 운영 개선에 도움이 되는 귀중한 인사이트를 얻을 수 있습니다. 선제적인 접근 방식을 취하면 AI 활동이 실제로 가치를 창출하고 비즈니스를 발전시키는 데 기여하도록 할 수 있습니다.

커뮤니티에 참여하여 함께 혁신해 보십시오! GitHub 저장소를 살펴보고 AI 분야의 발전 현황을 확인해 보십시오. 선도적인 AI 기술로 제조와 헬스케어 같은 산업을 어떻게 재편하고 있는지 알아보십시오. 🚀