Ultralytics Platform에서 배포된 컴퓨터 비전 모델 모니터링

이미지와 비디오를 분석하는 컴퓨터 비전 모델을 테스트하는 것과 실제 운영 환경에서 실행하는 것은 항상 같지 않습니다. 개발 단계에서 이러한 모델이나 알고리즘은 조건이 제어되고 예측 가능한 깔끔하고 잘 준비된 데이터셋에서 테스트됩니다.

일단 배포되면 상황은 훨씬 역동적으로 변합니다. 모델은 요청량의 변화, 응답 시간의 변화, 간헐적인 장애가 발생할 수 있는 실제 트래픽에 노출됩니다.

이 단계에서는 시스템이 안정적으로 실행되는지, 그리고 변화하는 조건 속에서도 엔드포인트가 가용성, 응답성 및 안정성을 유지하는지에 초점이 맞춰집니다.

이것이 바로 모니터링이 필수적인 이유입니다. 모니터링은 요청량, 지연 시간, 오류율 및 전반적인 시스템 상태와 같은 메트릭을 통해 배포된 엔드포인트가 운영 환경에서 어떻게 작동하는지에 대한 명확한 시야를 제공합니다.

이를 더 쉽게 만들기 위해 올바른 도구를 갖추는 것은 모델 자체만큼이나 중요해졌습니다. 최근 Ultralytics는 데이터 및 학습부터 배포 및 모니터링에 이르기까지 전체 컴퓨터 비전 워크플로를 통합하는 새로운 엔드투엔드 환경인 Ultralytics Platform을 도입했습니다.

그림 1. 모니터링 기능이 포함된 Ultralytics Platform의 배포 대시보드 (출처)

이 워크플로에 모니터링이 직접 내장되어 있어, 사용자는 별도의 도구에 의존하지 않고도 엔드포인트 상태를 추적하고, 요청 동작을 검사하며, 안정적인 시스템을 유지할 수 있습니다. 이 기사에서는 Ultralytics Platform을 사용하여 배포된 모델 엔드포인트를 모니터링하고 운영 시스템을 원활하게 실행하는 방법을 살펴보겠습니다. 시작해 보겠습니다!

Link to this sectionAI 모델 모니터링 개요#

AI 모델 수명 주기에서 모니터링이란 모델이 실무에 투입되어 실제 요청을 처리할 때 배포된 시스템이 어떻게 작동하는지 관찰하는 것을 의미합니다. 학습 및 검증은 머신러닝 모델(ML 모델)이 준비된 데이터셋에서 어떻게 수행되는지를 보여주지만, 모니터링은 배포된 엔드포인트가 운영 환경에서 어떻게 작동하는지에 집중합니다.

모니터링의 중요한 부분은 신뢰성과 응답성을 반영하는 시스템 수준의 메트릭을 추적하는 것입니다. 지연 시간 및 가동 시간과 같은 메트릭은 시스템이 들어오는 요청을 얼마나 잘 처리하고 있는지 나타내는 데 도움이 됩니다. 지연 시간은 요청을 처리하고 응답을 반환하는 데 걸리는 시간을 측정하며, 가동 시간은 엔드포인트가 얼마나 일관되게 사용 가능한 상태를 유지하는지를 강조합니다.

또 다른 핵심 측면은 관찰 가능성(observability)으로, 이는 요청이 처리되는 방식에 대한 가시성을 제공합니다. 이미지나 비디오 프레임과 같은 입력이 배포된 모델로 전송될 때마다, 이는 추론 요청으로 처리됩니다.

로그는 타임스탬프, 응답 시간, 상태 코드와 같은 세부 정보와 함께 이러한 요청을 캡처합니다. 이러한 로그를 통해 요청을 추적하고, 문제를 디버깅하며, 장애 발생 시 원인을 조사하기가 더 쉬워집니다. 특히 반복되는 오류, 느린 응답 또는 예상치 못한 시스템 동작과 같은 패턴을 식별하는 데 매우 유용합니다.

메트릭과 로그를 결합함으로써 모니터링은 사용자가 시스템이 운영 환경에서 어떻게 작동하는지 이해하고 문제가 발생할 때 신속하게 대응하도록 돕습니다.

Link to this section모델 성능 메트릭과 시스템 메트릭 비교#

운영 모니터링을 시작하기 전에 모델 성능 메트릭과 시스템 메트릭의 차이점에 대해 논의해 보겠습니다.

일반적으로 모델 모니터링은 정확도(accuracy), 정밀도(precision), 재현율(recall), mAP(mean average precision)와 같은 모델 메트릭(또는 평가 메트릭)과 관련이 있습니다. 이러한 메트릭은 모델 동작을 설명하고 모델 예측의 품질을 평가하는 데 사용되며, 종종 운영 데이터나 입력 데이터와 관련이 있습니다. 이는 새로운 데이터에서 엣지 케이스나 이상값을 식별하는 데 특히 유용할 수 있습니다.

그러나 이는 운영 환경에서 배포된 시스템을 모니터링하는 것과는 다릅니다. 이 컨텍스트에서 모니터링은 모델 예측을 직접 평가하기보다는 시스템이 어떻게 실행되고 있는지에 중점을 둡니다.

배포 모니터링은 모델 메트릭 대신 요청량, 지연 시간, 오류율, 가동 시간과 같은 시스템 수준의 신호에 의존합니다. 이러한 메트릭은 엔드포인트가 입력 데이터를 처리하는 방식, 응답의 일관성, 운영 환경에서의 작동 상태에 대한 가시성을 제공합니다.

Link to this section컴퓨터 비전 프로젝트에서 모델 모니터링의 역할#

다음으로 컴퓨터 비전 배포에서 모니터링 시스템의 필요성을 강조하는 실제 사례를 살펴보겠습니다.

안전 규정 준수를 위해 건설 노동자를 모니터링하는, 인체의 움직임을 식별하고 분석하는 컴퓨터 비전 작업인 포즈 추정(pose estimation)을 사용하는 비전 솔루션을 고려해 보십시오. 초기 모델 배포 단계에서는 이러한 시스템이 명확한 가시성과 표준 시나리오가 있는 제어된 조건에서 잘 작동할 수 있습니다.

그러나 실제 건설 현장에서는 추가적인 복잡성이 발생합니다. 하루 종일 요청량이 변할 수 있고, 네트워크 상태가 일관되지 않을 수 있으며, 여러 카메라나 엔드포인트가 동시에 데이터를 보낼 수도 있습니다. 시스템이 적절하게 모니터링되지 않으면 이러한 요인으로 인해 응답이 느려지거나 간헐적인 장애가 발생할 수 있습니다.

그림 2. 건설 현장에서 작업자를 모니터링하는 데 사용되는 포즈 추정 (출처)

이러한 운영 환경에서는 시스템이 얼마나 신뢰성 있게 작동하는지 이해하는 것이 중요합니다. 모니터링은 엔드포인트의 가용성, 들어오는 요청에 대한 응답 속도, 시간에 따른 트래픽 처리의 일관성을 파악할 수 있는 가시성을 제공합니다.

예를 들어 지연 시간의 증가는 부하 증가나 리소스 제한을 나타낼 수 있으며, 오류율 상승은 요청 처리나 시스템 안정성에 문제가 있음을 나타낼 수 있습니다. 로그는 개별 요청이 처리되는 방식과 장애가 발생하는 위치를 보여줌으로써 더 많은 컨텍스트를 추가합니다.

이러한 신호를 추적함으로써 AI 애호가와 데이터 과학자는 문제를 조기에 식별하고, 더 효과적으로 문제를 해결하며, 실제 조건이 변화함에 따라 시스템이 지속적으로 안정적으로 실행되도록 보장할 수 있습니다.

Link to this sectionUltralytics Platform을 사용하여 배포된 비전 모델 모니터링#

많은 딥러닝 워크플로에서 모니터링은 로깅, 메트릭, 시스템 상태를 위해 별도의 도구를 사용하여 처리되는 경우가 많습니다. 이러한 파편화된 설정은 운영 환경에서 배포된 엔드포인트의 상태를 명확하게 파악하기 어렵게 만들고 배포 관리의 복잡성을 증가시킵니다.

Ultralytics Platform은 데이터 수집 및 주석부터 학습, 배포, 모니터링에 이르는 전체 컴퓨터 비전 워크플로를 포괄하는 통합 환경에 모니터링을 직접 가져와 이를 간소화합니다.

이 통합 설정을 통해 사용자는 외부 로깅 시스템이나 추가 대시보드를 설정하지 않고도 배포된 엔드포인트가 실제 트래픽을 어떻게 처리하는지 추적할 수 있습니다. 모든 것이 한곳에서 제공되므로 시스템 동작을 관찰하고 시간이 지나도 안정적인 배포를 유지하기가 더 쉽습니다.

모니터링 기능은 Deploy 탭에서 직접 액세스할 수 있습니다. 단일 대시보드에서 사용자는 핵심 메트릭을 추적하고, 요청 수준의 동작을 분석하며, 트렌드를 시각화할 수 있습니다. 이러한 내장 시각화 기능을 사용하면 도구 간에 전환할 필요 없이 솔루션의 성능을 쉽게 파악할 수 있습니다.

모니터링, 배포 및 모델 관리를 더 넓은 워크플로 내에서 통합함으로써 플랫폼은 복잡성을 줄입니다. 이를 통해 배포 관리, 시스템 성능 최적화, 신뢰성 유지에 더 집중할 수 있습니다.

Link to this sectionUltralytics Platform의 내장 모니터링 기능#

실제 배포에서 모니터링은 시간이 지남에 따라 조건이 변화할 때 시스템이 어떻게 실행되고 있는지에 대한 명확한 가시성을 확보하는 것에 달려 있습니다. 이는 단순히 몇 가지 메트릭을 추적하는 것을 넘어, 환경 전반에서 배포된 엔드포인트가 어떻게 작동하는지 이해하고 여러 배포를 효과적으로 관리하는 것을 포함합니다.

비전 AI 커뮤니티의 일반적인 컴퓨터 비전 과제에 대한 피드백에서 영감을 받은 Ultralytics Platform에는 모니터링을 보다 실용적이고 확장 가능하게 만드는 여러 기능이 포함되어 있습니다.

주요 기능에 대한 개요는 다음과 같습니다.

• 전역 배포 가시성: Deploy 페이지에는 활성 및 진행 중인 엔드포인트에 대한 시각적 표시기가 포함된 대화형 세계 지도가 포함되어 있어 사용자가 지리적 분포 및 지역 활동을 모니터링할 수 있습니다.
• 유연한 대시보드 뷰: 배포 대시보드는 카드 뷰, 컴팩트 그리드, 이름, 지역, 상태 및 요청과 같이 정렬 가능한 열이 있는 테이블 뷰를 포함한 여러 뷰 모드를 제공하여 구조화된 모니터링 및 비교를 지원합니다.
• 여러 엔드포인트 모니터링: 대시보드는 개요 카드와 배포 목록을 사용하여 모든 배포에 걸친 모니터링 데이터를 집계합니다.
• 데이터 보존 정책: 모니터링 데이터는 정의된 기간 동안 보존되며, 메트릭은 30일, 로그는 7일 동안 제공되어 최근 성능 분석 및 디버깅 워크플로를 지원합니다.
• 외부 모니터링 지원: 배포 엔드포인트는 Datadog, New Relic 및 가동 시간 모니터링 서비스와 같은 외부 도구를 사용하여 모니터링하거나, 사용자 지정 모니터링 및 상태 확인을 위해 API 엔드포인트를 통해 액세스할 수 있습니다.

다음으로, 이러한 기능 중 일부를 더 자세히 살펴보고 운영 환경에서 배포된 엔드포인트를 모니터링하는 데 어떻게 사용할 수 있는지 알아보겠습니다.

Link to this sectionUltralytics Platform을 사용하여 핵심 성능 메트릭을 추적하는 방법#

모델이 배포되면 모니터링은 핵심 시스템 메트릭을 추적하는 것부터 시작됩니다. 개발 중에는 정확도나 재현율과 같은 메트릭이 유용하지만, 운영 모니터링은 응답 시간 및 오류율과 같은 시스템 수준의 신호에 집중하며, 이는 엔드포인트가 실제 트래픽을 얼마나 신뢰성 있게 처리하는지에 대한 측정 가능한 통찰력을 제공합니다.

Ultralytics Platform은 엔드포인트 활동과 시스템 동작을 명확하게 볼 수 있는 중앙 집중식 대시보드를 제공합니다. 특히 배포 대시보드에는 엔드포인트가 어떻게 사용되는지와 들어오는 요청에 어떻게 응답하는지 보여주는 4가지 핵심 메트릭이 포함되어 있습니다.

이러한 메트릭을 자세히 살펴보겠습니다.

• 총 요청 수: 24시간 동안 모든 엔드포인트에서 이루어진 총 요청 수입니다. 이는 사용 패턴과 전반적인 수요를 식별하는 데 도움이 됩니다.
• 활성 배포: 현재 실행 중이며 요청을 처리하고 있는 엔드포인트의 수입니다.
• P95 지연 시간: 요청의 95%가 완료되는 응답 시간입니다. 이는 더 느린 응답을 고려하여 성능을 보다 현실적으로 보여줍니다.
• 오류율: 총 요청 수 중 실패한 요청의 비율입니다. 이 메트릭은 문제를 식별하고 이상 징후를 감지하는 데 사용될 수 있습니다.

간단히 말해, 이러한 메트릭은 배포된 엔드포인트가 운영 환경에서 어떻게 작동하는지에 대한 명확한 시야를 제공합니다. 사용 패턴을 분석함으로써 팀과 개인은 트래픽 분포를 이해하고, 피크 부하 기간을 식별하며, 사용량이 증가함에 따라 시스템이 응답성을 유지하고 신뢰할 수 있도록 보장할 수 있습니다.

Link to this section로그를 통해 모델 배포 동작 이해하기#

메트릭은 시스템 성능에 대한 높은 수준의 시야를 제공하는 반면, 로그는 배포된 엔드포인트가 개별 요청을 어떻게 처리하는지에 대한 더 자세한 정보를 제공합니다. 로그는 엔드포인트로 전송된 각 요청과 해당 응답을 기록합니다.

로그는 문제를 추적하고, 실패를 검사하며, 요청이 처리되는 방식을 이해하는 데 유용합니다. Ultralytics Platform 내에서 모든 배포를 선택하여 로그를 포함한 세부 정보를 볼 수 있습니다.

그림 3. Ultralytics Platform 내의 로그 예시 (출처)

플랫폼의 로그 항목은 구조화된 형식으로 표시되어 각 요청 중에 무슨 일이 일어났는지 이해하기 쉽습니다. 각 항목에는 이벤트의 중요도를 나타내는 심각도 수준과 발생 시점을 보여주는 타임스탬프가 포함됩니다.

또한 이벤트에 대한 설명 메시지와 상태 코드 및 지연 시간과 같은 HTTP 관련 세부 정보가 포함되어 있습니다. 이 정보는 요청을 추적하고 문제 해결을 지원하며 디버깅을 보다 효과적으로 수행하는 데 도움이 됩니다. 그 위에 로그는 심각도별로 그룹화되므로 사용자는 주의가 필요한 배포의 우선순위를 정할 수 있습니다.

Link to this sectionUltralytics Platform에서 엔드포인트 상태 및 신뢰성 분석#

모니터링에는 엔드포인트가 제대로 실행되고 있는지, 제시간에 응답하는지, 오류 없이 일관되게 요청을 처리하는지를 포함하여 배포된 엔드포인트의 전반적인 상태를 이해하는 것도 포함됩니다. Ultralytics Platform은 각 배포의 상태에 대한 명확한 시야를 제공하여 엔드포인트가 예상대로 작동하는지 쉽게 확인할 수 있습니다.

플랫폼에는 각 배포에 대한 시각적 상태 표시기가 포함되어 있으며, 이는 개별 배포 카드에 표시됩니다.

예를 들어, 녹색 표시기는 엔드포인트가 정상이며 정상적으로 응답하고 있음을 나타내고, 빨간색 표시기는 문제나 다운타임을 알립니다. 회전하는 아이콘은 시스템이 배포 상태를 활발히 확인하고 있음을 나타냅니다.

시간에 따른 엔드포인트 상태를 추적함으로써 문제를 조기에 감지하고, 일관된 성능을 유지하며, 운영 환경에서 실행되는 애플리케이션에 대해 안정적인 경험을 보장할 수 있습니다.

Link to this section모니터링 데이터와 성능 개선 간의 연결#

모델 모니터링은 단순히 메트릭을 추적하는 것만이 아닙니다. 이는 시간이 지남에 따라 지속적인 개선을 지원하는 피드백 루프를 생성합니다. 엔드포인트가 실제 트래픽을 처리함에 따라 메트릭과 로그에서 지연 시간 증가, 오류율 상승 또는 일관되지 않은 시스템 동작과 같은 문제를 드러낼 수 있는 패턴이 나타나기 시작합니다.

모니터링은 주의가 필요한 영역을 강조합니다. 예를 들어 지속적으로 높은 지연 시간은 더 나은 리소스 할당이나 확장이 필요함을 나타낼 수 있으며, 상승하는 오류율은 요청 처리나 시스템 안정성에 문제가 있음을 나타낼 수 있습니다.

이러한 문제가 확인되면 신뢰성을 개선하기 위한 조치를 취할 수 있습니다. 여기에는 인프라 조정, 리소스 확장 또는 요청 처리 방식의 문제 수정이 포함될 수 있습니다. 이러한 변경 후에도 시스템을 계속 모니터링하여 성능이 개선되었는지 확인할 수 있습니다.

모니터링과 지속적인 개선을 연결함으로써 사용자는 사용량이 증가하고 조건이 변화함에 따라 강력한 시스템을 유지할 수 있습니다.

Link to this section실제 사례 탐색: 항공의 수하물 처리 모니터링#

실제 시나리오에서 모니터링의 영향을 더 잘 이해하기 위해, 이것이 항공 지상 운영의 자동화에 어떻게 적용되는지 살펴보겠습니다.

항공기 지상 작업 중 수하물 상하차를 모니터링하도록 설계된 비전 시스템을 생각해 보십시오. 이 설정에서는 Ultralytics YOLO26과 같은 객체 탐지 모델을 사용하여 수하물이 컨베이어 벨트나 처리 장비에서 떨어지는지 감지하는 데 사용할 수 있습니다.

테스트 및 초기 배포 중에 실시간 시스템은 수하물을 정확하게 식별하고 신속하게 응답하며 잘 작동할 수 있습니다.

그러나 실제 공항 환경에서는 조건이 훨씬 덜 예측 가능합니다. 하루 종일 조명이 바뀌고, 여러 카메라가 동시에 데이터를 스트리밍하며, 바쁜 시간대에는 요청량이 급증합니다. 이러한 요인으로 인해 지연 시간이 길어지거나 오류가 나타날 수 있으며, 시스템에 대한 가시성이 없으면 이러한 문제는 쉽게 간과될 수 있습니다.

이것이 모니터링이 가치 있는 지점입니다. 요청량, 지연 시간 및 오류율과 같은 메트릭을 상세한 로그와 함께 추적함으로써 팀은 엔드포인트가 느려지거나 실패할 때를 신속하게 확인할 수 있습니다. 피크 시간에 지연 시간이 길어지면 리소스 확장 필요성을 나타낼 수 있고, 갑작스러운 오류 증가는 특정 카메라나 요청 처리에 문제가 있음을 나타낼 수 있습니다. 이러한 신호에 따라 조치를 취하면 시스템 신뢰성을 유지하는 데 도움이 되며, 조건이 변하더라도 수하물 처리를 정확하게 모니터링할 수 있습니다.

Link to this section핵심 요약#

모니터링은 배포된 컴퓨터 비전 모델이 개발의 제어된 조건을 떠나 실제 트래픽을 처리하기 시작할 때 신뢰성을 유지하게 해주는 것입니다. 요청량, 지연 시간, 오류율 및 가동 시간과 같은 시스템 수준의 신호에 상세한 로그를 더해 집중함으로써, 모니터링은 문제를 조기에 감지하고 운영 시스템을 원활하게 실행하는 데 필요한 가시성을 제공합니다.

배포 워크플로에 모니터링이 직접 내장된 Ultralytics Platform을 사용하면 별도의 도구에 의존하지 않고도 엔드포인트 상태를 추적하고, 요청 동작을 검사하며, 안정적인 시스템을 유지하기가 더 쉬워집니다. 데이터, 학습, 배포 및 모니터링을 한곳으로 모음으로써 플랫폼은 팀이 실험에서 신뢰할 수 있는 실제 배포로 나아갈 수 있도록 돕습니다.

성장하는 저희 커뮤니티에 참여하시고 GitHub 저장소를 살펴보며 비전 AI에 대해 자세히 알아보세요. 지금 바로 비전 AI를 활용하여 개발하시려면 저희 라이선스 옵션을 확인해 보시기 바랍니다. 저희 솔루션 페이지를 방문하여 제조업에서의 AI와 헬스케어에서의 AI가 어떻게 미래를 형성하고 있는지 확인해 보세요.