Ultralytics Platform 모니터링: 비전 AI 배포를 원활하게 관리하세요

컴퓨터 비전 모델 배포는 중요한 이정표이지만, 프로덕션에서의 성공은 그다음에 어떤 일이 일어나는지에 달려 있습니다. 트래픽이 증가하고 실제 환경이 바뀌면 팀은 엔드포인트가 계속 응답하고 안정적으로 작동하며 유용한 결과를 제공하는지 확인해야 합니다.

Ultralytics Platform의 모니터링은 데이터, 학습, 배포를 관리하는 동일한 환경에서 배포된 Ultralytics YOLO 모델을 확인할 수 있도록 합니다. 운영 상태를 추적하고, 예측 추세를 살펴보고, 문제를 해결하며, 프로덕션에서 유용한 사례를 향후 모델 개선을 위한 데이터로 전환하세요.

비전 AI 모델 모니터링이란 무엇인가요?#

비전 AI 모델 모니터링은 팀이 배포된 엔드포인트와 그 예측이 프로덕션에서 어떻게 작동하는지 파악하도록 지원합니다.

Ultralytics Platform은 다음 두 가지 중요한 질문에 답합니다.

• 엔드포인트가 안정적으로 작동하고 있나요? 요청 수, P95 지연 시간, 오류율, 상태, 로그를 추적합니다.
• 모델이 무엇을 보고 예측하고 있나요? 샘플 예측과 클래스 수, 신뢰도, 추론 시간, 지원되는 경우 예측 위치와 같은 통계를 확인합니다.

이러한 정보를 함께 살펴보면 엔드포인트 가용성만 볼 때보다 더 명확하게 상황을 파악할 수 있습니다. 트래픽 패턴, 응답 시간, 예측 분포가 바뀌어도 엔드포인트는 계속 온라인 상태일 수 있습니다. 모니터링을 사용하면 이러한 신호를 더 쉽게 조사할 수 있습니다.

배포 상태를 한눈에 파악#

Deploy 페이지는 엔드포인트를 위한 중앙 모니터링 대시보드 역할을 합니다. 개요 카드에는 지난 24시간 동안의 HTTP 요청, 활성 배포, 오류율, P95 지연 시간이 요약되어 표시됩니다.

이러한 지표를 사용하면 다음을 수행할 수 있습니다.

• 수요 파악: 엔드포인트 트래픽이 증가하거나 감소하는지, 또는 예상치 못하게 변하는지 확인합니다.
• 성능 문제 식별: P95 지연 시간을 사용해 애플리케이션에 영향을 줄 수 있는 응답 지연을 조사합니다.
• 장애 파악: HTTP 오류율이 높아지는지 확인하고 배포 로그를 사용해 원인을 진단합니다.
• 가용성 확인: 각 엔드포인트가 정상 상태이며 응답하고 있는지 확인합니다.
• 배포 비교: 카드, 간결한 보기 또는 정렬 가능한 테이블 보기로 엔드포인트를 검토합니다.

오류율이 5%를 초과하면 오류율 카드가 강조 표시되어, 팀이 모든 엔드포인트를 개별적으로 살펴보지 않아도 운영 문제를 쉽게 파악할 수 있습니다.

상태 점검과 로그로 문제를 더 빠르게 해결#

엔드포인트에 문제가 발생하면 팀에는 개괄적인 지표 이상의 정보가 필요합니다. 준비 상태인 각 배포에는 상태 표시기와 최근 로그에 대한 액세스가 포함됩니다.

상태 점검은 엔드포인트의 응답 여부를 보여주고 응답 지연 시간을 보고합니다. 또한 프로덕션 트래픽을 전송하기 전에 0으로 축소된 엔드포인트를 준비 상태로 전환하는 데도 도움이 됩니다.

로그는 타임스탬프, 심각도, 메시지, HTTP 세부 정보로 추가 맥락을 제공합니다. 따라서 팀은 별도의 로깅 인터페이스로 바로 이동하지 않고도 실패한 요청, 예상치 못한 응답, 성능 변화를 조사할 수 있습니다.

Ultralytics Platform은 지표, 상태 점검, 로그를 각 배포에 연결하여 문제를 발견한 뒤 원인을 파악하는 경로를 더 직접적으로 제공합니다.

실시간 예측 동작 확인#

모니터링 기능을 지원하는 런타임에서 실행되는 유료 전용 엔드포인트(가동 시간 기준 과금)는 임시 예시와 예측 통계가 포함된 Monitoring 탭을 추가로 제공합니다.

임시 예시 갤러리에는 예측 오버레이가 표시된 처리 이미지의 최신 샘플이 나타납니다. 팀은 이 예시를 활용해 모델이 무엇을 보고 있는지 표본 확인하고, 출력을 살펴보며, 추가 검토가 필요한 입력을 식별할 수 있습니다.

사용 가능한 예측 통계는 모델 작업에 따라 달라지며 다음을 포함할 수 있습니다.

• 시간에 따른 처리 이미지 및 예측 수
• 모델 추론 시간 평균
• 자주 예측되는 클래스
• 이미지당 예측 수
• 예측 신뢰도 및 신뢰도 추세
• 예측 크기
• 예측 위치의 공간 히트맵

이러한 신호는 신뢰도 하락, 예상치 못한 클래스 분포 변화, 이미지에서 특이한 위치에 나타나는 예측처럼 조사할 가치가 있는 변화를 보여줄 수 있습니다.

신뢰도는 모델의 확신 수준을 나타내며 정확성을 의미하지는 않습니다. 모델 정확도를 평가할 때 팀은 예시를 살펴보고 예측을 검토된 라벨과 비교해야 합니다.

프로덕션 예시를 더 나은 학습 데이터로 전환#

프로덕션에서 얻은 인사이트를 다음 개발 주기에 반영할 수 있을 때 모니터링의 가치가 커집니다.

예시에서 까다로운 조건, 특이한 객체 또는 잠재적인 데이터 범위 공백이 드러나는 경우, 적절한 권한이 있는 워크스페이스 구성원은 해당 예시를 호환되는 데이터셋에 바로 저장할 수 있습니다. 이미지와 예측 결과는 표준 데이터셋 수집 워크플로로 전달되며, 학습에 데이터를 사용하기 전에 라벨을 검토할 수 있습니다.

이렇게 하면 다음과 같은 통합 개선 루프가 만들어집니다.

1. 데이터셋을 사용해 Ultralytics YOLO 모델을 학습합니다.
2. 전용 엔드포인트에 모델을 배포합니다.
3. 엔드포인트 상태와 예측 동작을 모니터링합니다.
4. 유용하거나 문제가 있는 프로덕션 예시를 검토합니다.
5. 선택한 예시를 데이터셋에 저장하고 검토합니다.
6. 실제 환경을 반영한 데이터를 사용해 모델을 재학습하고 재배포합니다.

프로덕션 관찰 결과를 다른 시스템에 따로 남기는 대신, 팀은 해당 결과를 Ultralytics Platform에서 이미 관리 중인 데이터셋과 모델에 연결할 수 있습니다.

복잡성을 더하지 않고 운영 상태를 파악하도록 설계#

프로덕션 컴퓨터 비전 워크플로에는 배포, 지표, 로그, 모델 검사, 데이터 관리에 각각 별도의 시스템이 사용되는 경우가 많습니다. 이러한 시스템을 오가면 조사 속도가 느려지고 모델 동작과 향후 개선 사항을 연결하기 어려워질 수 있습니다.

Ultralytics Platform은 이러한 단계를 하나로 통합합니다. 팀은 여러 도구에서 맥락을 다시 구성하지 않고도 학습에서 배포로 진행하고, 엔드포인트 상태를 검토하고, 샘플 예측을 살펴보고, 유용한 예시를 저장할 수 있습니다.

예를 들어, 제조 팀은 결함 예측이 이미지의 예상된 영역에 나타나는지 확인할 수 있습니다. 물류 팀은 운영 조건이 바뀔 때 자주 탐지되는 클래스가 어떻게 달라지는지 검토할 수 있습니다. 소매 팀은 지연 시간 증가를 조사하고 엔드포인트 구성이나 유입 이미지 크기를 확인해야 하는지 판단할 수 있습니다.

어떤 경우든 모니터링은 팀이 “무언가 바뀌었다”는 사실에서 출발해 더 충분한 정보를 바탕으로 다음 단계를 정하도록 돕습니다.

모니터링 데이터 및 사용 조건#

요청, 지연 시간, 오류, 상태 점검, 로그를 포함한 운영 모니터링은 배포 환경에서 사용할 수 있습니다.

실시간 예측 통계와 임시 예시를 사용하려면 준비 상태인 유료 전용 엔드포인트와 모니터링을 지원하는 런타임이 필요합니다. Monitoring 탭을 사용하려면 이전에 생성된 엔드포인트를 업데이트해야 할 수 있습니다.

예측 예시와 통계는 서빙 인스턴스의 메모리에 저장됩니다. 엔드포인트가 중지, 재시작, 재배포되거나 리소스가 변경되거나 모델이 교체되면 해당 데이터가 삭제될 수 있습니다. 엔드포인트를 변경하기 전에 보관할 예시를 데이터셋에 저장하세요.

배포된 모델 모니터링 시작하기#

Ultralytics Platform Monitoring은 팀이 배포 이후에도 비전 AI를 관리하는 데 필요한 가시성을 제공합니다. 엔드포인트 지표, 로그, 상태 점검, 예측 인사이트, 데이터셋 피드백을 하나의 워크플로로 통합하여 팀이 문제를 더 빠르게 식별하고 안정적인 프로덕션 시스템으로 이어지는 경로를 명확하게 구축하도록 지원합니다.

Ultralytics Platform에 로그인한 다음 Deploy를 열고 준비 상태인 엔드포인트를 선택해 상태와 성능을 검토하세요. 기능 사용 가능 여부, 예측 통계, 데이터 보존 세부 정보는 모니터링 문서에서 확인하세요.