Ultralytics Platform에서 배포된 컴퓨터 비전 모델 모니터링

이미지와 동영상을 분석하는 컴퓨터 비전 모델을 테스트하는 것은 프로덕션 환경에서 실행하는 것과 항상 같지는 않습니다. 개발 중에는 이러한 모델이나 알고리즘을 조건이 통제되고 예측 가능한 깨끗하고 잘 준비된 데이터셋으로 테스트합니다.

배포 후에는 상황이 더 동적으로 변합니다. 모델은 요청량이 달라지고, 응답 시간이 변하며, 간혹 오류가 발생할 수 있는 실제 트래픽에 노출됩니다.

이 단계에서는 엔드포인트를 사용할 수 있고, 응답성이 유지되며, 변화하는 조건에서도 안정적으로 작동하는 등 시스템이 신뢰성 있게 실행되는지가 중요해집니다.

따라서 모니터링은 필수적입니다. 요청량, 지연 시간, 오류율, 전반적인 시스템 상태와 같은 지표를 통해 프로덕션 환경에 배포된 엔드포인트의 동작을 명확하게 파악할 수 있습니다.

이를 더 쉽게 하려면 모델 자체만큼 적절한 도구를 갖추는 것도 중요합니다. 최근 Ultralytics는 데이터와 학습부터 배포와 모니터링까지 전체 컴퓨터 비전 워크플로를 통합하는 새로운 엔드투엔드 환경인 Ultralytics Platform을 출시했습니다.

그림 1. 모니터링 기능이 포함된 Ultralytics Platform의 배포 대시보드 (출처)

이 워크플로에 모니터링 기능이 직접 내장되어 있어 사용자는 별도의 도구에 의존하지 않고도 엔드포인트 상태를 추적하고, 요청 동작을 살펴보며, 시스템의 신뢰성을 유지할 수 있습니다. 이 글에서는 Ultralytics Platform을 사용해 배포된 모델 엔드포인트를 모니터링하고 프로덕션 시스템이 원활하게 작동하도록 유지하는 방법을 살펴보겠습니다. 시작해 보겠습니다!

AI 모델 모니터링 개요#

AI 모델 수명 주기에서 모니터링이란 모델이 운영 환경에 배포되어 실제 요청을 처리하기 시작한 뒤 배포된 시스템의 동작을 관찰하는 것을 의미합니다. 학습과 검증이 준비된 데이터셋에서 머신러닝 모델(ML 모델)의 성능을 보여 준다면, 모니터링은 프로덕션 환경에서 배포된 엔드포인트가 어떻게 작동하는지에 중점을 둡니다.

모니터링의 중요한 부분은 신뢰성과 응답성을 나타내는 시스템 수준 지표를 추적하는 것입니다. 지연 시간과 가동 시간 같은 지표는 시스템이 들어오는 요청을 얼마나 잘 처리하는지 보여 줍니다. 지연 시간은 요청을 처리하고 응답을 반환하는 데 걸리는 시간을 측정하며, 가동 시간은 엔드포인트가 얼마나 지속적으로 사용 가능한지를 나타냅니다.

또 다른 핵심 요소는 요청 처리 방식에 대한 가시성을 제공하는 관측 가능성입니다. 이미지나 동영상 프레임과 같은 입력이 배포된 모델로 전송될 때마다 해당 입력은 추론 요청으로 처리됩니다.

로그에는 타임스탬프, 응답 시간, 상태 코드와 같은 세부 정보와 함께 이러한 요청이 기록됩니다. 이러한 로그를 통해 요청을 추적하고, 문제를 디버깅하며, 오류가 발생했을 때 조사하기가 쉬워집니다. 반복되는 오류, 느린 응답, 예상치 못한 시스템 동작과 같은 패턴을 파악하는 데 특히 유용합니다.

모니터링은 지표와 로그를 결합하여 사용자가 프로덕션 환경에서 시스템이 어떻게 작동하는지 파악하고 문제가 발생할 때 신속하게 대응할 수 있도록 합니다.

모델 성능 지표와 시스템 지표 비교#

프로덕션 모니터링을 자세히 살펴보기 전에 모델 성능 지표와 시스템 지표의 차이를 알아보겠습니다.

일반적으로 모델 모니터링은 정확도, 정밀도, 재현율, mAP(평균 정밀도)와 같은 평가 지표, 즉 모델 지표와 관련이 있습니다. 이러한 지표는 모델의 동작을 설명하고 예측 품질을 평가하는 데 사용되며, 대개 프로덕션 데이터 또는 입력 데이터와 비교합니다. 새 데이터의 엣지 케이스나 이상치를 식별하는 데 특히 유용할 수 있습니다.

하지만 이는 프로덕션 환경에 배포된 시스템을 모니터링하는 것과는 다릅니다. 여기서 모니터링은 모델 예측을 직접 평가하기보다 시스템의 작동 상태에 중점을 둡니다.

배포 모니터링은 모델 지표 대신 요청량, 지연 시간, 오류율, 가동 시간과 같은 시스템 수준 신호를 활용합니다. 이러한 지표를 통해 엔드포인트가 입력 데이터를 어떻게 처리하는지, 얼마나 일관되게 응답하는지, 프로덕션 환경에서 어떻게 작동하는지 파악할 수 있습니다.

컴퓨터 비전 프로젝트에서 모델 모니터링의 역할#

이제 컴퓨터 비전 배포에 모니터링 시스템이 필요한 이유를 보여 주는 실제 사례를 살펴보겠습니다.

건설 노동자의 안전 규정 준수 여부를 모니터링하기 위해 사람의 신체 움직임을 식별하고 분석하는 컴퓨터 비전 작업인 자세 추정을 사용하는 비전 솔루션을 생각해 보겠습니다. 초기 모델 배포 단계에서 이러한 시스템은 가시성이 양호하고 표준적인 상황이 갖춰진 통제된 조건에서 잘 작동할 수 있습니다.

하지만 실제 건설 현장에서는 추가적인 복잡성이 발생합니다. 요청량은 하루 중 시간대에 따라 달라질 수 있고, 네트워크 상태가 일정하지 않을 수 있으며, 여러 카메라나 엔드포인트가 동시에 데이터를 전송할 수 있습니다. 시스템을 제대로 모니터링하지 않으면 이러한 요인으로 인해 응답이 느려지거나 간헐적인 오류가 발생할 수 있습니다.

그림 2. 건설 현장의 작업자를 모니터링하는 데 사용되는 자세 추정 (출처)

이와 같은 프로덕션 환경에서는 시스템이 얼마나 안정적으로 작동하는지 파악하는 것이 중요합니다. 모니터링을 통해 엔드포인트를 사용할 수 있는지, 들어오는 요청에 얼마나 빠르게 응답하는지, 시간에 따라 트래픽을 얼마나 일관되게 처리하는지 확인할 수 있습니다.

예를 들어 지연 시간이 늘어나면 부하 증가나 리소스 제약을 나타낼 수 있고, 오류율이 높아지면 요청 처리 또는 시스템 안정성에 문제가 있음을 의미할 수 있습니다. 로그는 개별 요청의 처리 방식과 오류 발생 지점을 보여 주어 더 많은 맥락을 제공합니다.

이러한 신호를 추적하면 AI 애호가와 데이터 과학자는 문제를 조기에 식별하고, 더 효과적으로 문제를 해결하며, 실제 환경이 변화해도 시스템이 안정적으로 계속 작동하도록 할 수 있습니다.

Ultralytics Platform을 사용한 배포된 비전 모델 모니터링#

많은 딥러닝 워크플로에서는 로깅, 지표, 시스템 상태를 각각 별도의 도구로 모니터링하는 경우가 많습니다. 이렇게 분리된 설정은 프로덕션 환경에 배포된 엔드포인트의 작동 상태를 명확하게 파악하기 어렵게 만들고 배포 관리의 복잡성을 높일 수 있습니다.

Ultralytics Platform은 데이터 수집 및 주석 처리부터 학습, 배포, 모니터링까지 전체 컴퓨터 비전 워크플로를 아우르는 통합 환경에 모니터링 기능을 직접 포함하여 이러한 문제를 간소화합니다.

이 통합 환경을 사용하면 외부 로깅 시스템이나 추가 대시보드를 설정하지 않고도 배포된 엔드포인트가 실제 트래픽을 어떻게 처리하는지 추적할 수 있습니다. 모든 기능을 한곳에서 이용할 수 있어 시스템 동작을 관찰하고 시간이 지나도 안정적인 배포를 유지하기가 더 쉽습니다.

모니터링 기능은 배포 탭에서 직접 이용할 수 있습니다. 단일 대시보드에서 주요 지표를 추적하고, 요청 수준의 동작을 분석하며, 추세를 시각화할 수 있습니다. 이러한 내장 시각화 기능을 사용하면 도구를 전환하지 않고도 솔루션의 성능을 파악하기가 더 쉽습니다.

모니터링, 배포, 모델 관리를 전체 워크플로에 통합하여 플랫폼의 복잡성을 줄였습니다. 이를 통해 배포 관리, 시스템 성능 최적화, 신뢰성 유지에 더욱 원활하게 집중할 수 있습니다.

Ultralytics Platform의 내장 모니터링 기능#

실제 환경에 배포된 시스템을 모니터링하려면 시간이 지나면서 조건이 바뀌는 동안 시스템이 어떻게 작동하는지 명확하게 파악할 수 있어야 합니다. 몇 가지 지표를 추적하는 데 그치지 않고, 다양한 환경에서 배포된 엔드포인트가 어떻게 작동하는지 이해하며 여러 배포를 효과적으로 관리해야 합니다.

컴퓨터 비전 분야의 일반적인 과제에 대한 비전 AI 커뮤니티의 피드백을 바탕으로, Ultralytics Platform에는 모니터링을 더 실용적이고 확장 가능하게 만드는 여러 기능이 포함되어 있습니다.

주요 기능 몇 가지를 살펴보겠습니다.

• 전역 배포 현황: 배포 페이지에는 배포 지역을 표시하는 대화형 세계 지도가 포함되어 있습니다. 활성 상태 및 진행 중인 엔드포인트를 시각적 표시로 보여 주어 사용자가 지리적 분포와 지역별 활동을 모니터링할 수 있습니다.
• 유연한 대시보드 보기: 배포 대시보드에서는 카드 보기, 간결한 그리드 보기, 이름, 지역, 상태, 요청과 같은 열을 정렬할 수 있는 표 보기 등 여러 보기 모드를 제공하여 체계적인 모니터링과 비교를 지원합니다.
• 여러 엔드포인트 모니터링: 대시보드는 개요 카드와 배포 목록을 사용해 모든 배포의 모니터링 데이터를 통합합니다.
• 데이터 보존 정책: 모니터링 데이터는 정해진 기간 동안 보존됩니다. 최근 성능 분석 및 디버깅 워크플로를 지원하도록 지표는 30일간, 로그는 7일간 사용할 수 있습니다.
• 외부 모니터링 지원: Datadog, New Relic, 가동 시간 모니터링 서비스와 같은 외부 도구를 사용하여 배포 엔드포인트를 모니터링할 수 있으며, 맞춤형 모니터링과 상태 점검을 위해 API 엔드포인트를 통해 접근할 수도 있습니다.

다음으로, 이러한 기능 중 일부를 자세히 살펴보고 프로덕션 환경에 배포된 엔드포인트를 모니터링하는 데 어떻게 활용할 수 있는지 알아보겠습니다.

Ultralytics Platform을 사용하여 주요 성능 지표를 추적하는 방법#

모델을 배포한 후에는 주요 시스템 지표를 추적하는 것부터 모니터링을 시작합니다. 정확도와 재현율 같은 지표는 개발 과정에서 유용하지만, 프로덕션 모니터링은 응답 시간과 오류율 같은 시스템 수준 신호에 중점을 둡니다. 이러한 신호는 엔드포인트가 실제 트래픽을 얼마나 안정적으로 처리하는지 측정 가능한 인사이트를 제공합니다.

Ultralytics Platform은 엔드포인트 활동과 시스템 동작을 명확하게 보여주는 중앙 집중식 대시보드를 제공합니다. 특히 Deployment 대시보드에는 엔드포인트의 사용 현황과 수신 요청에 대한 응답 방식을 보여주는 네 가지 주요 지표가 포함되어 있습니다.

각 지표를 자세히 살펴보겠습니다.

• 총 요청 수: 24시간 동안 모든 엔드포인트에서 발생한 요청의 총수입니다. 이를 통해 사용 패턴과 전반적인 수요를 파악할 수 있습니다.
• 활성 배포: 현재 실행 중이며 요청을 처리하는 엔드포인트의 수입니다.
• P95 지연 시간: 전체 요청 중 95%가 완료되는 데 걸리는 응답 시간입니다. 응답 속도가 느린 경우까지 고려하므로 성능을 더욱 현실적으로 파악할 수 있습니다.
• 오류율: 전체 요청 중 실패한 요청의 비율입니다. 이 지표는 문제를 파악하고 이상 징후를 감지하는 데 사용할 수 있습니다.

간단히 말해, 이러한 지표는 프로덕션 환경에서 배포된 엔드포인트가 어떻게 작동하는지 명확하게 보여줍니다. 팀과 개인은 사용 패턴을 분석하여 트래픽 분포를 파악하고, 부하가 집중되는 시간을 식별하며, 사용량이 늘어나는 상황에서도 시스템의 응답성과 안정성을 유지할 수 있습니다.

로그를 통한 모델 배포 동작 이해#

지표가 시스템 성능을 개략적으로 보여준다면, 로그는 배포된 엔드포인트가 개별 요청을 처리하는 방식을 더 자세히 보여줍니다. 로그에는 엔드포인트로 전송된 각 요청과 이에 해당하는 응답이 기록됩니다.

로그는 문제를 추적하고, 실패를 조사하고, 요청 처리 방식을 이해하는 데 유용합니다. Ultralytics Platform에서는 배포 항목을 선택하여 로그를 포함한 세부 정보를 확인할 수 있습니다.

그림 3. Ultralytics Platform의 로그 예시 (출처)

플랫폼의 로그 항목은 구조화된 형식으로 표시되므로 각 요청에서 발생한 일을 더 쉽게 이해할 수 있습니다. 각 항목에는 이벤트의 중요도를 나타내는 심각도와 이벤트가 발생한 시각을 보여주는 타임스탬프가 포함됩니다.

로그에는 이벤트를 설명하는 메시지와 상태 코드 및 지연 시간 같은 HTTP 관련 세부 정보도 포함됩니다. 이 정보는 요청 추적, 문제 해결 지원, 효율적인 디버깅에 도움이 됩니다. 또한 로그는 심각도별로 그룹화되므로 사용자는 주의가 필요한 배포 항목의 우선순위를 정할 수 있습니다.

Ultralytics Platform에서 엔드포인트 상태와 안정성 분석#

모니터링에는 배포된 엔드포인트가 제대로 실행되고 있는지, 제시간에 응답하는지, 오류 없이 일관되게 요청을 처리하는지 등 전반적인 상태를 파악하는 과정도 포함됩니다. Ultralytics Platform은 각 배포의 상태를 명확하게 보여주므로 엔드포인트가 예상대로 작동하는지 쉽게 확인할 수 있습니다.

플랫폼은 각 배포 항목의 카드에 시각적 상태 표시기를 제공합니다.

예를 들어 녹색 표시기는 엔드포인트가 정상 상태이며 정상적으로 응답하고 있음을 나타내고, 빨간색 표시기는 문제나 서비스 중단을 나타냅니다. 회전하는 아이콘은 시스템이 배포 상태를 확인하고 있음을 나타냅니다.

시간 경과에 따른 엔드포인트 상태를 추적하면 문제를 조기에 감지하고, 일관된 성능을 유지하며, 프로덕션 환경에서 실행되는 애플리케이션에 안정적인 경험을 제공할 수 있습니다.

모니터링 데이터와 성능 개선의 연관성#

모델 모니터링은 단순히 지표를 추적하는 데 그치지 않습니다. 시간이 지남에 따라 지속적인 개선을 지원하는 피드백 루프를 만듭니다. 엔드포인트가 실제 트래픽을 처리하면서 지표와 로그에 패턴이 나타나기 시작하고, 이를 통해 지연 시간 증가, 오류율 상승, 일관되지 않은 시스템 동작과 같은 문제를 파악할 수 있습니다.

모니터링을 통해 주의가 필요한 영역을 확인할 수 있습니다. 예를 들어 지연 시간이 지속적으로 높다면 리소스를 더 효율적으로 할당하거나 시스템을 확장해야 할 수 있으며, 오류율이 높아진다면 요청 처리 또는 시스템 안정성에 문제가 있음을 나타낼 수 있습니다.

이러한 문제를 파악한 후에는 안정성을 개선하기 위한 조치를 취할 수 있습니다. 여기에는 인프라 조정, 리소스 확장, 요청 처리 방식의 문제 해결 등이 포함될 수 있습니다. 이러한 변경을 적용한 뒤에도 시스템을 계속 모니터링하여 성능이 개선되었는지 확인할 수 있습니다.

모니터링을 지속적인 개선과 연계하면 사용자는 사용량이 늘고 조건이 변하는 상황에서도 견고한 시스템을 유지할 수 있습니다.

실제 사례 살펴보기: 항공 수하물 처리 모니터링#

실제 상황에서 모니터링이 미치는 영향을 더 잘 이해하기 위해, 항공 지상 운영 자동화에 어떻게 적용되는지 살펴보겠습니다.

항공기 지상 운영 중 수하물의 적재와 하역을 모니터링하도록 설계된 비전 시스템을 예로 들어보겠습니다. 이러한 시스템에서는 Ultralytics YOLO26과 같은 객체 감지 모델을 사용하여 수하물이 컨베이어 벨트나 취급 장비에서 떨어지는지 감지할 수 있습니다.

테스트와 초기 배포 단계에서 실시간 시스템은 우수한 성능을 발휘하여 수하물을 정확하게 식별하고 신속하게 응답할 수 있습니다.

그러나 실제 공항 환경에서는 상황을 예측하기가 훨씬 어렵습니다. 하루 동안 조명이 바뀌고, 여러 카메라가 동시에 데이터를 스트리밍하며, 혼잡한 시간대에는 요청량이 급증합니다. 이러한 요인으로 지연 시간이 늘거나 오류가 발생할 수 있으며, 시스템을 파악할 수 없다면 문제를 쉽게 놓칠 수 있습니다.

이때 모니터링이 유용합니다. 세부 로그와 함께 요청량, 지연 시간, 오류율 같은 지표를 추적하면 엔드포인트의 처리 속도가 느려지거나 실패하는 시점을 팀에서 신속하게 파악할 수 있습니다. 피크 시간대에 지연 시간이 늘어난다면 리소스 확장이 필요하다는 신호일 수 있으며, 오류가 갑자기 증가한다면 특정 카메라나 요청 처리에 문제가 있음을 나타낼 수 있습니다. 이러한 신호에 대응하면 시스템의 안정성을 유지하여 상황이 변하더라도 수하물 처리를 정확하게 계속 모니터링할 수 있습니다.

핵심 요점#

개발 환경의 통제된 조건을 벗어나 실제 트래픽을 처리하기 시작한 컴퓨터 비전 모델의 안정성을 유지하는 것이 바로 모니터링입니다. 모니터링은 상세한 로그와 함께 요청량, 지연 시간, 오류율, 가동 시간 같은 시스템 수준 신호에 중점을 둡니다. 이를 통해 문제를 조기에 감지하고 프로덕션 시스템을 원활하게 운영하는 데 필요한 가시성을 제공합니다.

Ultralytics Platform은 모니터링 기능을 배포 워크플로에 직접 통합하여 별도의 도구를 사용하지 않고도 엔드포인트 상태를 추적하고, 요청 동작을 조사하고, 시스템 안정성을 유지할 수 있도록 지원합니다. 데이터, 학습, 배포, 모니터링을 한곳에 모아 팀이 실험 단계에서 신뢰할 수 있는 실제 배포로 나아가도록 돕습니다.

성장하는 커뮤니티에 참여하고 GitHub 저장소를 살펴보며 비전 AI에 대해 자세히 알아보세요. 지금 바로 비전 AI를 구축하려면 라이선스 옵션을 확인하세요. 솔루션 페이지에서 제조 분야의 AI와 헬스케어 분야의 AI가 미래를 어떻게 만들어 가는지 알아보세요.