Ultralytics Platform에서 배포된 컴퓨터 비전 모델 모니터링

이미지와 영상을 분석하는 컴퓨터 비전 모델을 테스트하는 것이 항상 프로덕션 환경에서 실행하는 것과 같지는 않습니다. 개발 단계에서 이러한 모델이나 알고리즘은 조건이 통제되고 예측 가능한 깨끗하며 잘 준비된 데이터셋에서 테스트됩니다.

배포 후에는 상황이 더 역동적으로 변합니다. 모델은 실제 트래픽에 노출되며, 이때 요청 볼륨이 변하고, 응답 시간이 달라지며, 간헐적인 오류가 발생할 수 있습니다.

이 단계에서는 시스템이 안정적으로 실행되고 있는지, 변화하는 조건에서도 엔드포인트가 가용 상태를 유지하며 응답성과 안정성을 갖추고 있는지에 초점이 맞춰집니다.

그렇기에 모니터링이 필수적입니다. 모니터링은 요청 볼륨, 지연 시간(latency), 오류율, 전반적인 시스템 상태와 같은 메트릭을 통해 프로덕션 환경에서 배포된 엔드포인트가 어떻게 작동하는지 명확한 시야를 제공합니다.

이를 더 쉽게 만들기 위해, 적절한 도구를 갖추는 것이 모델 그 자체만큼 중요해졌습니다. 최근 Ultralytics는 데이터 및 학습부터 배포와 모니터링까지 전체 컴퓨터 비전 워크플로를 통합하는 새로운 엔드투엔드 환경인 Ultralytics Platform을 출시했습니다.

그림 1. 모니터링 기능이 포함된 Ultralytics Platform의 배포 대시보드 (출처)

이 워크플로에 모니터링이 직접 내장되어 있어, 사용자는 별도의 도구에 의존하지 않고도 엔드포인트 상태를 추적하고, 요청 동작을 검사하며, 안정적인 시스템을 유지할 수 있습니다. 이 글에서는 Ultralytics Platform을 사용하여 배포된 모델 엔드포인트를 모니터링하고 프로덕션 시스템을 원활하게 운영하는 방법을 살펴봅니다. 시작해 보겠습니다!

Link to this sectionAI 모델 모니터링 개요#

AI 모델 수명 주기에서 모니터링은 모델이 라이브 상태가 되어 실제 요청을 처리할 때 배포된 시스템이 어떻게 동작하는지 관찰하는 것을 의미합니다. 학습 및 검증은 머신 러닝 모델(ML 모델)이 준비된 데이터셋에서 어떻게 수행되는지를 보여주지만, 모니터링은 배포된 엔드포인트가 프로덕션 환경에서 어떻게 작동하는지에 집중합니다.

모니터링의 중요한 부분은 신뢰성과 응답성을 반영하는 시스템 수준의 메트릭을 추적하는 것입니다. 지연 시간(latency) 및 가동 시간(uptime)과 같은 메트릭은 시스템이 들어오는 요청을 얼마나 잘 처리하고 있는지 파악하는 데 도움을 줍니다. 지연 시간은 요청을 처리하고 응답을 반환하는 데 걸리는 시간을 측정하며, 가동 시간은 엔드포인트가 얼마나 일관되게 가용 상태를 유지하는지를 보여줍니다.

또 다른 핵심 측면은 관측 가능성(observability)으로, 이는 요청이 어떻게 처리되는지에 대한 가시성을 제공합니다. 이미지나 비디오 프레임과 같은 입력이 배포된 모델로 전송될 때마다, 해당 데이터는 추론 요청으로 처리됩니다.

로그는 타임스탬프, 응답 시간, 상태 코드와 같은 세부 정보와 함께 이러한 요청을 캡처합니다. 이러한 로그를 통해 요청을 추적하고, 문제를 디버깅하며, 오류 발생 시 조사하기가 더 쉬워집니다. 특히 반복되는 오류, 느린 응답 또는 예기치 않은 시스템 동작과 같은 패턴을 식별하는 데 매우 유용합니다.

메트릭과 로그를 결합함으로써, 모니터링은 사용자가 프로덕션 환경에서 시스템이 어떻게 운영되는지 이해하고 문제가 발생할 때 신속하게 대응하도록 돕습니다.

Link to this section모델 성능 메트릭과 시스템 메트릭 비교#

프로덕션 모니터링으로 들어가기 전에, 모델 성능 메트릭과 시스템 메트릭의 차이점에 대해 논의해 보겠습니다.

일반적으로 모델 모니터링은 정확도(accuracy), 정밀도(precision), 재현율(recall) 및 mAP(mean average precision)와 같은 평가 메트릭(모델 메트릭이라고도 함)과 관련이 있습니다. 이러한 메트릭은 모델의 동작을 설명하고 프로덕션 데이터나 입력 데이터와 관련하여 모델 예측의 품질을 평가하는 데 사용됩니다. 특히 새로운 데이터에서 엣지 케이스나 이상치를 식별하는 데 매우 유용할 수 있습니다.

하지만 이는 프로덕션 환경의 배포된 시스템을 모니터링하는 것과는 다릅니다. 이 맥락에서 모니터링은 모델 예측을 직접 평가하는 것이 아니라 시스템이 어떻게 실행되고 있는지에 중점을 둡니다.

배포 모니터링은 모델 메트릭 대신 요청 볼륨, 지연 시간(latency), 오류율, 가동 시간(uptime)과 같은 시스템 수준의 신호에 의존합니다. 이러한 메트릭은 엔드포인트가 입력 데이터를 어떻게 처리하고, 얼마나 일관되게 응답하며, 프로덕션 환경에서 어떻게 작동하는지에 대한 가시성을 제공합니다.

Link to this section컴퓨터 비전 프로젝트에서 모델 모니터링의 역할#

다음으로, 컴퓨터 비전 배포에서 모니터링 시스템의 필요성을 강조하는 실제 사례를 살펴보겠습니다.

인간의 신체 움직임을 식별하고 분석하여 건설 노동자의 안전 준수 여부를 모니터링하는 컴퓨터 비전 작업인 포즈 추정(pose estimation)을 사용하는 비전 솔루션을 생각해 보십시오. 초기 모델 배포 단계에서는 명확한 가시성과 표준 시나리오를 갖춘 통제된 조건에서 시스템이 잘 작동할 수 있습니다.

하지만 실제 건설 현장은 추가적인 복잡성을 수반합니다. 하루 종일 요청 볼륨이 변할 수 있고, 네트워크 상태가 일관되지 않을 수 있으며, 여러 대의 카메라나 엔드포인트가 동시에 데이터를 전송할 수 있습니다. 시스템이 제대로 모니터링되지 않으면 이러한 요인들로 인해 응답이 느려지거나 간헐적인 오류가 발생할 수 있습니다.

그림 2. 건설 현장에서 작업자를 모니터링하는 데 사용되는 포즈 추정 (출처)

이와 같은 프로덕션 환경에서는 시스템이 얼마나 안정적으로 작동하는지 이해하는 것이 중요합니다. 모니터링은 엔드포인트의 가용성, 들어오는 요청에 대한 응답 속도, 시간이 지남에 따라 트래픽을 얼마나 일관되게 처리하는지에 대한 가시성을 제공합니다.

예를 들어, 지연 시간(latency) 증가는 부하 증가나 리소스 제약을 나타낼 수 있으며, 오류율 상승은 요청 처리나 시스템 안정성에 문제가 있음을 나타낼 수 있습니다. 로그는 개별 요청이 어떻게 처리되고 어디에서 오류가 발생하는지 보여줌으로써 더 많은 맥락을 제공합니다.

이러한 신호를 추적함으로써, AI 애호가와 데이터 과학자는 문제를 조기에 식별하고, 더 효과적으로 문제를 해결하며, 실제 조건이 변화함에 따라 시스템이 안정적으로 계속 실행되도록 보장할 수 있습니다.

Link to this sectionUltralytics Platform을 사용하여 배포된 비전 모델 모니터링#

많은 딥러닝 워크플로에서 모니터링은 로깅, 메트릭, 시스템 상태 확인을 위해 별도의 도구를 사용하여 처리되는 경우가 많습니다. 이러한 파편화된 설정은 프로덕션 환경에서 배포된 엔드포인트가 어떻게 작동하는지 명확하게 파악하기 어렵게 만들며, 배포 관리를 복잡하게 만듭니다.

Ultralytics Platform은 데이터 수집 및 주석(annotation)부터 학습, 배포, 모니터링에 이르는 전체 컴퓨터 비전 워크플로를 포괄하는 통합 환경에 모니터링을 직접 포함하여 이를 간소화합니다.

이 통합 설정을 통해 사용자는 외부 로깅 시스템이나 추가 대시보드를 설정하지 않고도 배포된 엔드포인트가 실제 트래픽을 어떻게 처리하는지 추적할 수 있습니다. 모든 것이 한곳에서 제공되므로 시스템 동작을 관찰하고 시간이 지남에 따라 안정적인 배포를 유지하기가 더 쉽습니다.

모니터링 기능은 Deploy 탭에서 직접 액세스할 수 있습니다. 사용자는 단일 대시보드에서 핵심 메트릭을 추적하고, 요청 수준의 동작을 분석하며, 추세를 시각화할 수 있습니다. 이러한 내장 시각화 도구를 사용하면 도구 간에 전환할 필요 없이 솔루션의 성능을 쉽게 파악할 수 있습니다.

모니터링, 배포 및 모델 관리를 더 넓은 워크플로 안에서 결합함으로써 플랫폼은 복잡성을 줄입니다. 이를 통해 배포 관리, 시스템 성능 최적화, 신뢰성 유지에 더 원활하게 집중할 수 있습니다.

Link to this sectionUltralytics Platform의 내장 모니터링 기능#

실제 배포 환경에서 모니터링은 시간이 지남에 따라 조건이 변화할 때 시스템이 어떻게 실행되고 있는지에 대한 명확한 가시성을 확보하는 것에 달려 있습니다. 이는 단순히 몇 가지 메트릭을 추적하는 것을 넘어, 여러 환경에 걸쳐 배포된 엔드포인트가 어떻게 동작하는지 파악하고 여러 배포를 효과적으로 관리하는 것을 포함합니다.

비전 AI 커뮤니티의 공통적인 컴퓨터 비전 과제에 대한 피드백에서 영감을 받은 Ultralytics Platform은 모니터링을 더욱 실용적이고 확장 가능하게 만드는 여러 기능을 포함하고 있습니다.

다음은 이러한 주요 기능에 대한 개요입니다:

• 전역 배포 가시성: Deploy 페이지에는 활성 및 진행 중인 엔드포인트에 대한 시각적 표시가 포함된 대화형 세계 지도가 포함되어 있어, 사용자가 지리적 분포와 지역 활동을 모니터링할 수 있습니다.
• 유연한 대시보드 뷰: 배포 대시보드는 카드 뷰, 컴팩트 그리드, 이름/지역/상태/요청 등 정렬 가능한 열이 있는 테이블 뷰를 포함한 다양한 뷰 모드를 제공하여 체계적인 모니터링과 비교를 지원합니다.
• 여러 엔드포인트 모니터링: 대시보드는 개요 카드와 배포 목록을 사용하여 모든 배포의 모니터링 데이터를 집계합니다.
• 데이터 보존 정책: 모니터링 데이터는 정의된 기간 동안 보존되며, 메트릭은 30일간, 로그는 7일간 제공되어 최근 성능 분석 및 디버깅 워크플로를 지원합니다.
• 외부 모니터링 지원: 배포 엔드포인트는 Datadog, New Relic 및 가동 시간 모니터링 서비스와 같은 외부 도구를 사용하여 모니터링하거나, 사용자 지정 모니터링 및 상태 확인을 위해 API 엔드포인트를 통해 액세스할 수 있습니다.

다음으로, 이러한 기능 중 일부를 더 자세히 살펴보고 프로덕션 환경에서 배포된 엔드포인트를 모니터링하는 데 어떻게 사용할 수 있는지 알아보겠습니다.

Link to this sectionUltralytics Platform을 사용하여 핵심 성능 메트릭을 추적하는 방법#

모델이 배포되면 모니터링은 핵심 시스템 메트릭을 추적하는 것부터 시작됩니다. 개발 중에는 정확도나 재현율과 같은 메트릭이 유용하지만, 프로덕션 모니터링은 엔드포인트가 실제 트래픽을 얼마나 안정적으로 처리하고 있는지에 대한 측정 가능한 통찰력을 제공하는 응답 시간 및 오류율과 같은 시스템 수준의 신호에 집중합니다.

Ultralytics Platform은 엔드포인트 활동과 시스템 동작에 대한 명확한 시야를 제공하는 중앙 집중식 대시보드를 제공합니다. 특히 배포 대시보드에는 엔드포인트가 어떻게 사용되고 들어오는 요청에 어떻게 응답하는지 보여주는 4가지 핵심 메트릭이 포함되어 있습니다.

이 메트릭들을 더 자세히 살펴보겠습니다:

• 총 요청 수(Total requests): 24시간 동안 모든 엔드포인트에 걸쳐 이루어진 총 요청 수입니다. 이는 사용 패턴과 전반적인 수요를 식별하는 데 도움이 됩니다.
• 활성 배포(Active deployments): 현재 실행 중이며 요청을 처리하고 있는 엔드포인트의 수입니다.
• P95 지연 시간(P95 latency): 요청의 95%가 완료되는 응답 시간입니다. 이는 느린 응답을 고려하여 더 현실적인 성능 관점을 제공합니다.
• 오류율(Error rate): 전체 요청 수 대비 실패한 요청의 백분율입니다. 이 메트릭은 문제를 식별하는 데 도움이 되며 이상 징후를 감지하는 데 사용할 수 있습니다.

간단히 말해서, 이러한 메트릭은 배포된 엔드포인트가 프로덕션 환경에서 어떻게 작동하는지 명확하게 보여줍니다. 사용 패턴을 분석함으로써 팀과 개인은 트래픽 분포를 이해하고, 최대 부하 기간을 식별하며, 사용량이 증가함에 따라 시스템이 응답성 있고 안정적으로 유지되도록 할 수 있습니다.

Link to this section로그를 통한 모델 배포 동작 이해#

메트릭이 시스템 성능에 대한 상위 수준의 뷰를 제공한다면, 로그는 배포된 엔드포인트가 개별 요청을 어떻게 처리하는지에 대한 더 자세한 정보를 제공합니다. 로그는 엔드포인트로 전송된 각 요청과 해당 응답을 기록합니다.

로그는 문제를 추적하고, 오류를 검사하며, 요청이 어떻게 처리되는지 이해하는 데 유용합니다. Ultralytics Platform 내에서 배포를 선택하여 로그를 포함한 세부 정보를 볼 수 있습니다.

그림 3. Ultralytics Platform 내의 로그 예시 (출처)

플랫폼의 로그 항목은 구조화된 형식으로 표시되어 각 요청 중에 무슨 일이 일어났는지 쉽게 이해할 수 있습니다. 각 항목에는 이벤트의 중요도를 나타내는 심각도 수준과 발생 시간을 보여주는 타임스탬프가 포함되어 있습니다.

또한 이벤트에 대한 메시지와 상태 코드 및 지연 시간과 같은 HTTP 관련 세부 정보가 포함되어 있습니다. 이 정보는 요청을 추적하고, 문제 해결을 지원하며, 문제를 더 효과적으로 디버깅하는 데 도움이 됩니다. 또한 로그는 심각도별로 그룹화되어 사용자가 주의가 필요한 배포의 우선순위를 정할 수 있습니다.

Link to this sectionUltralytics Platform에서 엔드포인트 상태 및 신뢰성 분석#

모니터링은 또한 엔드포인트가 제대로 실행되고 있는지, 제때 응답하는지, 오류 없이 일관되게 요청을 처리하는지 등 배포된 엔드포인트의 전반적인 상태를 이해하는 것을 포함합니다. Ultralytics Platform은 각 배포의 상태에 대한 명확한 가시성을 제공하여 엔드포인트가 예상대로 작동하는지 쉽게 확인할 수 있게 합니다.

플랫폼에는 각 배포에 대한 시각적 상태 표시기가 포함되어 있으며, 이는 개별 배포 카드에 표시됩니다.

예를 들어, 녹색 표시기는 엔드포인트가 정상 상태이며 평소대로 응답하고 있음을 나타내고, 빨간색 표시기는 문제나 가동 중단(downtime)을 나타냅니다. 회전하는 아이콘은 시스템이 배포 상태를 활발히 확인하고 있음을 나타냅니다.

시간에 따라 엔드포인트 상태를 추적함으로써 문제를 조기에 감지하고, 일관된 성능을 유지하며, 프로덕션 환경에서 실행되는 애플리케이션에 대해 안정적인 경험을 보장할 수 있습니다.

Link to this section모니터링 데이터와 성능 개선 간의 연결#

모델 모니터링은 단순히 메트릭을 추적하는 것 이상입니다. 이는 시간이 지남에 따라 지속적인 개선을 지원하는 피드백 루프를 생성합니다. 엔드포인트가 실제 트래픽을 처리함에 따라, 지연 시간 증가, 오류율 상승 또는 일관되지 않은 시스템 동작과 같은 문제를 드러낼 수 있는 패턴이 메트릭과 로그에서 나타나기 시작합니다.

모니터링은 주의가 필요한 영역을 강조합니다. 예를 들어, 지속적으로 높은 지연 시간은 더 나은 리소스 할당이나 스케일링이 필요함을 나타낼 수 있고, 상승하는 오류율은 요청 처리나 시스템 안정성에 문제가 있음을 가리킬 수 있습니다.

이러한 문제가 식별되면 신뢰성을 개선하기 위한 조치를 취할 수 있습니다. 여기에는 인프라 조정, 리소스 스케일링 또는 요청 처리 방식의 문제 수정이 포함될 수 있습니다. 이러한 변경 후에도 시스템을 계속 모니터링하여 성능이 개선되었는지 확인할 수 있습니다.

모니터링을 지속적인 개선과 연결함으로써, 사용자는 사용량이 증가하고 조건이 변화함에 따라 견고한 시스템을 유지할 수 있습니다.

Link to this section실제 사례 탐구: 항공 분야의 수하물 처리 모니터링#

실제 시나리오에서 모니터링의 영향을 더 잘 이해하기 위해, 항공 지상 운영 자동화에 모니터링이 어떻게 적용되는지 살펴보겠습니다.

항공기 지상 작업 중 수하물 상하역을 모니터링하기 위해 설계된 비전 시스템을 생각해 보십시오. 이 설정에서 Ultralytics YOLO26과 같은 객체 탐지 모델을 사용하여 수하물이 컨베이어 벨트나 처리 장비에서 떨어지는지 감지할 수 있습니다.

테스트 및 초기 배포 단계에서는 실시간 시스템이 수하물을 정확하게 식별하고 신속하게 응답하며 잘 작동할 수 있습니다.

하지만 실제 공항 환경에서는 조건이 훨씬 예측 불가능합니다. 하루 종일 조명이 변하고, 여러 대의 카메라가 동시에 데이터를 스트리밍하며, 바쁜 시간에는 요청 볼륨이 급증합니다. 이러한 요인들로 인해 지연 시간이 길어지거나 오류가 나타날 수 있으며, 시스템에 대한 가시성이 없으면 이러한 문제는 쉽게 간과될 수 있습니다.

이때 모니터링이 가치를 발휘합니다. 요청 볼륨, 지연 시간(latency), 오류율과 같은 메트릭을 상세 로그와 함께 추적함으로써 팀은 엔드포인트가 느려지거나 실패할 때 신속하게 파악할 수 있습니다. 피크 시간대에 지연 시간이 상승하면 리소스 스케일링이 필요하다는 신호일 수 있으며, 갑작스러운 오류 급증은 특정 카메라나 요청 처리에 문제가 있음을 나타낼 수 있습니다. 이러한 신호에 따라 조치를 취하면 시스템의 신뢰성을 유지하는 데 도움이 되며, 조건이 변하더라도 수하물 처리를 정확하게 모니터링할 수 있습니다.

Link to this section핵심 요약#

모니터링은 배포된 컴퓨터 비전 모델이 통제된 개발 환경을 떠나 실제 트래픽을 처리하기 시작할 때 신뢰성을 유지하게 해주는 요소입니다. 요청 볼륨, 지연 시간, 오류율, 가동 시간과 같은 시스템 수준의 신호를 상세 로그와 함께 집중적으로 관찰함으로써, 모니터링은 문제를 조기에 감지하고 프로덕션 시스템을 원활하게 운영하는 데 필요한 가시성을 제공합니다.

배포 워크플로에 모니터링이 직접 내장된 Ultralytics Platform은 별도의 도구에 의존하지 않고도 엔드포인트 상태를 추적하고, 요청 동작을 검사하며, 신뢰할 수 있는 시스템을 유지하기 쉽게 만듭니다. 데이터, 학습, 배포 및 모니터링을 한곳으로 모음으로써, 이 플랫폼은 팀이 실험 단계에서 신뢰할 수 있는 실제 배포 단계로 나아가도록 돕습니다.

성장하는 저희 커뮤니티에 참여하고 저희 GitHub 저장소를 탐색하여 비전 AI에 대해 더 자세히 알아보십시오. 지금 비전 AI로 빌드하려면 저희 라이선스 옵션을 확인해 보십시오. 저희 솔루션 페이지를 방문하여 제조업에서의 AI 및 의료 분야에서의 AI가 어떻게 미래를 형성하고 있는지 알아보십시오.