Ultralytics Platform 모니터링: 비전 AI 배포를 올바른 방향으로 유지하세요

컴퓨터 비전 모델을 배포하는 것은 중요한 이정표이지만, 프로덕션 성공 여부는 그 이후의 과정에 달려 있습니다. 트래픽이 증가하고 실제 환경 조건이 변화함에 따라 팀은 엔드포인트가 여전히 응답성, 안정성 및 유용성을 유지하고 있는지 파악해야 합니다.

Ultralytics Platform에서의 모니터링을 통해 팀은 데이터, 학습 및 배포를 관리하는 것과 동일한 환경에서 배포된 Ultralytics YOLO 모델에 대한 가시성을 확보할 수 있습니다. 운영 상태를 추적하고, 예측 트렌드를 검사하며, 문제를 해결하고, 유용한 프로덕션 예시를 향후 모델 개선을 위한 데이터로 전환하세요.

비전 AI 모델 모니터링이란 무엇인가요?#

비전 AI 모델 모니터링은 팀이 배포된 엔드포인트와 해당 예측이 프로덕션에서 어떻게 동작하는지 이해할 수 있도록 돕습니다.

Ultralytics Platform은 다음과 같은 두 가지 중요한 질문을 해결합니다.

• 엔드포인트가 안정적으로 작동하고 있나요? 요청, P95 지연 시간, 오류율, 상태 및 로그를 추적합니다.
• 모델이 무엇을 보고 예측하고 있나요? 샘플 예측 및 클래스 수, 신뢰도, 추론 시간, 지원되는 경우 예측 위치 등의 통계를 검사합니다.

이러한 인사이트를 종합하면 엔드포인트 가용성만 확인할 때보다 훨씬 명확한 전체 그림을 파악할 수 있습니다. 트래픽 패턴, 응답 시간 또는 예측 분포가 변경되는 동안에도 엔드포인트는 계속 온라인 상태를 유지할 수 있습니다. 모니터링을 통해 이러한 신호를 더 쉽게 조사할 수 있습니다.

한눈에 배포 상태 파악하기#

Deploy 페이지는 엔드포인트를 위한 중앙 모니터링 대시보드 역할을 합니다. 개요 카드를 통해 지난 24시간 동안의 HTTP 요청, 활성 배포, 오류율 및 P95 지연 시간을 요약하여 확인할 수 있습니다.

팀은 이러한 메트릭을 활용하여 다음을 수행할 수 있습니다.

• 수요 파악: 엔드포인트 트래픽이 증가하고 있는지, 감소하고 있는지, 혹은 예기치 않게 변화하고 있는지 확인합니다.
• 성능 문제 식별: P95 지연 시간을 사용하여 애플리케이션에 영향을 미칠 수 있는 느린 응답을 조사합니다.
• 오류 표면화: 높아진 HTTP 오류율을 파악하고 배포 로그를 사용하여 원인을 진단합니다.
• 가용성 확인: 개별 엔드포인트가 정상 상태이며 응답하고 있는지 확인합니다.
• 배포 비교: 카드 뷰, 컴팩트 뷰 또는 정렬 가능한 테이블 뷰를 통해 엔드포인트를 검토합니다.

오류율이 5%를 초과할 경우 오류율 카드가 강조 표시되어 팀이 모든 엔드포인트를 개별적으로 검사하지 않고도 운영 문제를 쉽게 발견할 수 있도록 돕습니다.

상태 확인 및 로그를 통한 더 빠른 문제 해결#

엔드포인트에 문제가 발생할 경우 팀에는 상위 수준의 메트릭 그 이상이 필요합니다. 준비된 각 배포에는 상태 표시기와 최근 로그에 대한 액세스 권한이 포함되어 있습니다.

상태 확인은 엔드포인트가 응답하고 있는지 보여주고 응답 지연 시간을 보고합니다. 또한 프로덕션 트래픽이 전송되기 전에 스케일 투 제로(0) 상태가 된 엔드포인트를 예열하는 데 도움을 줄 수 있습니다.

로그는 타임스탬프, 심각도 수준, 메시지 및 HTTP 세부 정보를 통해 추가적인 컨텍스트를 제공합니다. 이를 통해 팀은 별도의 로깅 인터페이스로 즉시 전환하지 않고도 실패한 요청, 예기치 않은 응답 또는 성능 변화를 조사할 수 있습니다.

Ultralytics Platform은 각 배포에 메트릭, 상태 확인 및 로그를 연결함으로써 문제를 식별하는 단계에서 이를 이해하는 단계로 이어지는 보다 직접적인 경로를 생성합니다.

실시간 예측 동작 검사#

모니터링이 가능한 런타임을 실행하는 유료 가동 시간 과금 전용 엔드포인트는 임시 예시와 예측 통계가 포함된 추가적인 Monitoring 탭을 제공합니다.

임시 예시 갤러리는 예측 오버레이가 포함된 처리된 이미지의 롤링 샘플을 보여줍니다. 팀은 이러한 예시를 사용하여 모델이 무엇을 보고 있는지 스팟 체크하고, 출력을 검사하며, 추가 검토가 필요한 입력을 식별할 수 있습니다.

사용 가능한 예측 통계는 모델 태스크에 따라 다르며 다음을 포함할 수 있습니다.

• 시간에 따른 처리된 이미지 및 예측
• 평균 모델 추론 시간
• 자주 예측되는 클래스
• 이미지당 예측 수
• 예측 신뢰도 및 신뢰도 트렌드
• 예측 치수
• 예측 위치의 공간 히트맵

이러한 신호는 신뢰도 하락, 클래스 분포의 예기치 않은 변화, 이미지의 비정상적인 부분에 나타나는 예측 등 조사가 필요한 변화를 드러낼 수 있습니다.

신뢰도는 정확성이 아닌 모델의 확신 정도를 나타냅니다. 팀은 모델 정확도를 평가할 때 예시를 검사하고 검토된 레이블과 예측을 비교해야 합니다.

프로덕션 예시를 더 나은 학습 데이터로 전환하기#

모니터링은 프로덕션 인사이트가 다음 개발 주기에 반영될 수 있을 때 더욱 가치 있어집니다.

예시에서 까다로운 조건, 비정상적인 객체 또는 잠재적인 커버리지 공백이 발견되는 경우 적절한 권한을 가진 워크스페이스 멤버는 해당 예시를 호환되는 데이터셋에 직접 저장할 수 있습니다. 이후 이미지와 해당 예측은 표준 데이터셋 수집 워크플로를 거치며, 데이터가 학습에 사용되기 전에 레이블을 검토할 수 있습니다.

이를 통해 다음과 같은 연결된 개선 루프가 생성됩니다.

1. 데이터셋을 사용하여 Ultralytics YOLO 모델을 학습합니다.
2. 모델을 전용 엔드포인트에 배포합니다.
3. 엔드포인트 상태와 예측 동작을 모니터링합니다.
4. 유용하거나 문제가 있는 프로덕션 예시를 검사합니다.
5. 선택한 예시를 데이터셋에 저장하고 검토합니다.
6. 실제 환경 조건에 기반한 데이터를 사용하여 재학습하고 재배포합니다.

팀은 프로덕션 관찰 내용을 다른 시스템에 격리해 두는 대신, Ultralytics Platform에서 이미 관리되고 있는 데이터셋 및 모델에 연결할 수 있습니다.

추가적인 복잡성 없이 운영 가시성을 제공하도록 구축됨#

프로덕션 컴퓨터 비전 워크플로에는 종종 배포, 메트릭, 로그, 모델 검사 및 데이터 관리를 위한 별도의 시스템이 포함됩니다. 이러한 시스템 간 이동은 조사를 지연시키고 모델 동작을 향후 개선 사항과 연결하기 어렵게 만들 수 있습니다.

Ultralytics Platform은 이러한 단계를 하나로 통합합니다. 팀은 여러 도구에 걸쳐 컨텍스트를 다시 구축할 필요 없이 학습에서 배포로 이동하고, 엔드포인트 상태를 검토하고, 샘플링된 예측을 검사하고, 유용한 예시를 저장할 수 있습니다.

예를 들어, 제조 팀은 결함 예측이 이미지의 예상 영역에 나타나고 있는지 검사할 수 있습니다. 물류 팀은 운영 조건이 진화함에 따라 자주 감지되는 클래스의 변화를 검토할 수 있습니다. 소매 팀은 지연 시간 증가를 조사하고 엔드포인트 구성이나 들어오는 이미지 크기에 주의가 필요한지 확인할 수 있습니다.

각 경우에 모니터링은 팀이 "무언가 변경되었습니다"라는 상태에서 보다 정보에 기반한 다음 단계로 나아갈 수 있도록 돕습니다.

모니터링 데이터 및 자격 요건#

요청, 지연 시간, 오류, 상태 확인 및 로그를 포함한 운영 모니터링은 배포 환경에서 사용할 수 있습니다.

실시간 예측 통계 및 임시 예시를 사용하려면 모니터링이 가능한 런타임이 탑재된 준비된 유료 전용 엔드포인트가 필요합니다. Monitoring 탭을 사용하기 전에 이전 엔드포인트를 업데이트해야 할 수 있습니다.

예측 예시와 통계는 서빙 인스턴스의 메모리에 보관됩니다. 엔드포인트가 중지, 재시작, 재배포되거나, 리소스가 변경되거나, 모델이 교체될 때 이러한 데이터는 지워질 수 있습니다. 엔드포인트를 변경하기 전에 유지하고자 하는 예시를 데이터셋에 저장하세요.

배포된 모델 모니터링 시작하기#

Ultralytics Platform Monitoring은 팀이 배포를 넘어 비전 AI를 관리하는 데 필요한 가시성을 제공합니다. 엔드포인트 메트릭, 로그, 상태 확인, 예측 인사이트 및 데이터셋 피드백을 단일 워크플로로 통합함으로써 팀이 더 빠르게 문제를 식별하고 신뢰할 수 있는 프로덕션 시스템을 향한 더 명확한 경로를 구축할 수 있도록 돕습니다.

Ultralytics Platform에 로그인하고, Deploy를 연 다음, 준비된 엔드포인트를 선택하여 상태와 성능을 검토하세요. 모니터링 문서에서 기능 가용성, 예측 통계 및 데이터 보존 세부 정보를 살펴보세요.