Ultralytics Platform: 컴퓨터 비전 모델을 모든 리전에 배포하기

이번 주 초 Ultralytics는 데이터 준비와 모델 개발부터 배포에 이르기까지 비전 AI 워크플로의 모든 단계를 간소화하여 컴퓨터 비전(CV) 시스템의 출시를 가속화하도록 설계된 새로운 엔드투엔드 환경인 Ultralytics Platform을 출시했습니다.

Ultralytics Platform을 개발하게 된 주요 동기 중 하나는 머신이 이미지와 동영상을 분석할 수 있도록 지원하는 컴퓨터 비전 솔루션을 아이디어 단계에서 실제 성과를 내는 단계로 발전시키는 데 강력한 모델을 구축하는 것 이상의 작업이 필요하다는 점입니다. 모델이 학습되고 검증을 통과하면 애플리케이션이 이미지를 보내고 예측을 수신하며 실제 환경에서 안정적으로 추론을 실행할 수 있도록 배포해야 합니다.

머신 러닝 수명 주기에서 이 단계는 컴퓨터 비전 모델이 실험을 넘어 실제 시스템을 구동하기 시작하는 단계입니다. 데이터셋 준비, 어노테이션, 모델 학습, 테스트와 같은 이전 단계가 원활하게 진행되더라도 모델을 배포할 안정적인 방법이 없으면 이러한 결과는 실질적인 변화를 만들 수 없습니다.

많은 컴퓨터 비전 프로젝트에서 배포는 워크플로의 가장 복잡한 단계 중 하나가 될 수 있습니다.

팀은 추론 API를 구성하고, 컴퓨팅 리소스를 관리하며, 지연 시간을 줄이기 위해 사용자와 가까운 곳에 모델을 배포하고, 시스템이 프로덕션에서 실행된 후 성능을 모니터링해야 하는 경우가 많습니다.

Ultralytics Platform은 모델 내보내기 형식, 공유 추론 서비스, 전 세계 여러 지역의 전용 엔드포인트를 비롯한 다양한 배포 옵션을 제공하여 이 프로세스를 간소화하고 자동화합니다. 관리형 인프라와 기본 제공 모니터링을 통해 팀은 학습된 모델에서 프로덕션에 바로 사용할 수 있는 컴퓨터 비전 시스템으로 쉽게 전환할 수 있습니다.

그림 1. Ultralytics Platform을 사용한 모델 배포 예시 (출처)

이 글에서는 Ultralytics Platform의 전용 엔드포인트를 사용하여 모든 지역에 컴퓨터 비전 모델을 배포하는 방법을 살펴봅니다. 시작해 보겠습니다!

CV 모델 배포란 무엇인가요?#

Ultralytics Platform을 사용하여 딥러닝 모델을 배포하는 방법을 살펴보기 전에 컴퓨터 비전 모델 배포가 실제로 무엇을 의미하는지 먼저 자세히 알아보겠습니다.

컴퓨터 비전 모델 배포는 학습된 모델을 실제 환경에서 사용할 수 있도록 제공하는 프로세스입니다. 모델을 학습 환경에서만 실행하는 대신, 애플리케이션이 이미지나 동영상을 모델로 보내고 그 결과로 예측을 받을 수 있도록 설정합니다.

예를 들어 모델은 이미지에서 객체를 감지하거나, 이미지 세그멘테이션을 수행하거나, 창고의 품목을 식별하거나, 동영상 영상에서 패턴을 인식할 수 있습니다. 대부분의 실제 시스템에서는 API 또는 추론 엔드포인트를 통해 이 작업이 수행됩니다.

애플리케이션이 모델로 이미지를 보내면 모델이 이를 처리하고 수 밀리초 이내에 예측을 반환합니다. 이를 통해 Ultralytics YOLO와 같은 컴퓨터 비전 모델로 실시간 애플리케이션을 구현할 수 있습니다.

사용 사례에 따라 모델은 다양한 환경에 배포할 수 있습니다. 일부 모델은 클라우드 플랫폼을 통해 클라우드에서 실행되어 여러 애플리케이션이 액세스할 수 있으며, 다른 모델은 빠른 로컬 예측이 필요한 온프레미스 카메라, 로봇 또는 임베디드 시스템과 같은 엣지 디바이스에서 실행됩니다.

Ultralytics Platform의 AI 모델 배포 옵션#

Ultralytics Platform은 컴퓨터 비전 커뮤니티가 직면하는 여러 문제, 특히 모델 배포와 관련된 문제를 해결하는 동시에 애플리케이션의 요구 사항에 따라 추론을 실행할 수 있는 유연한 방법을 제공합니다.

플랫폼에서 사용할 수 있는 모델 배포 옵션을 간단히 살펴보겠습니다.

• 모델 내보내기: ONNX, TensorRT, CoreML, TFLite를 포함한 17가지 형식으로 모델을 내보낼 수 있으므로 Raspberry Pi 및 NVIDIA Jetson과 같은 엣지 디바이스, 모바일 앱, Docker 컨테이너, 사용자 지정 인프라 등 다양한 환경에서 모델을 실행할 수 있습니다.
• 공유 추론: 플랫폼의 관리형 공유 추론 서비스를 통해 예측을 실행할 수 있으며, 모델을 빠르게 테스트하는 데 적합합니다.
• 전용 엔드포인트: 고유한 API URL을 사용하는 독립 서비스로 모델을 쉽게 배포할 수 있으며, 기본 제공 자동 스케일링, 모니터링, 상태 점검을 통해 전 세계 43개 지역에서 프로덕션 배포를 실행할 수 있습니다.

전용 엔드포인트를 사용한 배포#

Ultralytics Platform에서 사전 학습된 모델 또는 사용자 지정 학습한 컴퓨터 비전 모델을 프로덕션 환경에서 실행하는 가장 확장성 높은 방법 중 하나는 전용 엔드포인트를 사용하는 것입니다. 전용 엔드포인트를 사용하면 학습된 모델을 자체 서비스로 배포할 수 있으므로 애플리케이션이 모델로 이미지를 보내고 API를 통해 예측을 받을 수 있습니다.

모델을 학습 환경이나 로컬 노트북에서만 실행하는 대신 엔드포인트로 배포하면 실제 애플리케이션에서 액세스할 수 있습니다. 예를 들어 창고 시스템은 객체 감지를 위해 패키지 이미지를 보낼 수 있고, 스마트 카메라는 동영상 프레임을 분석할 수 있으며, 로보틱스 시스템은 예측을 사용하여 동작을 안내할 수 있습니다.

각 전용 엔드포인트는 단일 테넌트 서비스로 실행되므로 모델을 실행하는 인프라가 다른 사용자와 공유되지 않습니다. 이를 통해 더 예측 가능한 성능을 제공하고 프로덕션에서 모델의 동작을 더 쉽게 모니터링할 수 있습니다.

전용 추론 엔드포인트의 기능 이해하기#

전용 엔드포인트를 모델을 위한 호스팅 서비스라고 생각할 수 있습니다. Ultralytics Platform은 애플리케이션의 진입점 역할을 하는 고유한 엔드포인트 URL을 제공합니다.

애플리케이션이 해당 URL로 요청을 보내면 인증을 위한 API 키와 함께 이미지 및 confidence threshold나 이미지 크기와 같은 선택적 매개변수가 포함됩니다.

서비스는 모델을 사용하여 이미지에 대한 추론을 실행하고 구조화된 응답으로 예측을 반환합니다. 이 설정을 통해 개발자는 표준 웹 도구를 사용하여 컴퓨터 비전 모델을 실제 시스템에 통합할 수 있습니다.

애플리케이션은 Python, JavaScript, cURL 또는 기타 HTTP 클라이언트를 사용하여 요청을 보낼 수 있으므로 모델을 대시보드, 로보틱스 시스템 또는 클라우드 애플리케이션에 쉽게 연결할 수 있습니다. 엔드포인트가 독립적으로 실행되므로 스케일링, 모니터링, 글로벌 배포도 지원할 수 있어 팀이 안정적인 프로덕션 컴퓨터 비전 시스템을 구축하는 데 도움이 됩니다.

다중 지역 배포로 실시간 추론 성능 향상#

Ultralytics Platform의 전용 엔드포인트가 제공하는 주요 이점 중 하나는 43개 글로벌 지역에 모델을 배포할 수 있다는 점입니다. 이러한 지역은 북미, 남미, 유럽, 아시아 태평양, 중동 및 아프리카를 비롯한 전 세계 여러 지역에 분포합니다.

그림 2. Ultralytics Platform은 43개 글로벌 지역을 지원합니다 (출처)

애플리케이션이 실행되는 위치와 가까운 지역에 모델을 배포하면 지연 시간을 줄일 수 있습니다. 지연 시간이란 애플리케이션이 이미지를 보내고 예측을 받는 데 걸리는 시간입니다. 또한 데이터 처리를 데이터가 생성되는 위치와 가까운 곳에서 수행함으로써 조직이 데이터 개인정보 보호 및 데이터 레지던시 요구 사항을 충족하는 데 도움이 될 수 있습니다.

낮은 지연 시간은 로보틱스 시스템, 사물 인터넷(IoT) 디바이스, 산업 검사 파이프라인, 스마트 시티 인프라와 같이 실시간 추론에 의존하는 여러 컴퓨터 비전 애플리케이션에 중요합니다.

예를 들어 애플리케이션이 주로 유럽에서 사용되는 경우 유럽 지역에 모델을 배포하면 먼 지역에서 모델을 실행하는 것보다 응답 시간을 크게 개선할 수 있습니다.

Ultralytics Platform을 사용하여 모든 지역에 배포하는 방법#

특정 지역에 모델을 배포하는 작업은 간단하며 일반적으로 몇 분밖에 걸리지 않습니다. 플랫폼이 인프라 설정을 처리하므로 개발자는 모델을 애플리케이션에 통합하는 데 집중할 수 있습니다. 관련 단계를 살펴보겠습니다.

1단계: 모델 학습 또는 업로드#

배포하기 전에 프로젝트에서 사용할 수 있는 학습된 모델이 있어야 합니다. 이 모델은 Ultralytics Platform에서 직접 학습한 모델, 다른 곳에서 학습한 후 업로드한 모델, 또는 “Explore 탭”에서 찾은 커뮤니티 프로젝트를 복제한 모델일 수 있습니다. Explore 탭에서는 다른 사용자가 공유한 공개 프로젝트를 클릭 한 번으로 자신의 계정에 복사할 수 있습니다.

모델이 준비되면 프로젝트 내에서 해당 모델 페이지를 열어 다음 단계로 진행합니다.

2단계: Deploy 탭 열기#

모델의 Deploy 탭으로 이동합니다. 이 플랫폼 섹션에서 배포를 구성하고 시작할 수 있습니다.

해당 페이지에는 전 세계에서 사용할 수 있는 배포 위치를 보여 주는 지역 테이블과 대화형 지도가 표시됩니다. 플랫폼은 현재 위치에서 측정한 지연 시간을 기준으로 지역을 정렬하여 가장 적합한 지역을 선택할 수 있도록 지원합니다.

그림 3. Ultralytics Platform에서 지연 시간순으로 정렬된 지역 (출처)

3단계: 배포 지역 선택#

사용자 또는 애플리케이션의 위치를 기준으로 지역을 선택합니다. 요청이 발생하는 위치와 가까운 곳에 모델을 배포하면 응답 시간을 크게 줄일 수 있습니다.

4단계: 엔드포인트 배포#

지역을 선택하고 구성을 확인한 후 Deploy를 클릭합니다.

그러면 플랫폼이 배포 환경을 준비하고, 모델 이미지를 가져오며, 서비스를 시작하고, 엔드포인트가 준비되었는지 확인하기 위해 상태 점검을 수행합니다. 이 프로세스는 일반적으로 1~2분 정도 걸립니다.

배포가 완료되면 플랫폼은 애플리케이션이 추론 요청을 보내는 데 사용할 수 있는 고유한 엔드포인트 URL을 생성합니다.

그림 4. 배포된 엔드포인트 예시 (출처)

5단계: 추론 요청 전송 시작#

엔드포인트가 실행되면 애플리케이션은 제공된 REST API 엔드포인트와 Authorization 헤더에 전달되는 API 키를 사용하여 모델로 이미지를 보내기 시작할 수 있습니다. 엔드포인트는 각 요청을 처리하고 감지된 객체, bounding box 또는 기타 작업별 출력과 같은 예측을 반환합니다.

모델 배포에 대한 자세한 내용은 공식 Ultralytics Platform 문서를 확인하세요.

배포된 엔드포인트의 모델 성능 및 메트릭 모니터링#

컴퓨터 비전 모델을 배포한 후에는 시스템의 안정성과 견고성을 유지하기 위해 성능 모니터링이 중요한 과정이 됩니다. 잘 학습된 모델이라도 프로덕션에서 계속 빠르게 응답하고, 수신 요청을 올바르게 처리하며, 정확한 예측을 제공하는지 확인하려면 관찰해야 합니다.

Ultralytics Platform은 배포된 엔드포인트의 성능을 팀이 파악할 수 있도록 기본 제공 모니터링 도구를 제공합니다. 플랫폼의 Deploy 페이지는 모니터링 대시보드 역할을 하며, 실행 중인 모든 엔드포인트와 시스템 상태 및 사용량을 추적하는 데 도움이 되는 주요 메트릭을 중앙에서 확인할 수 있습니다.

Platform을 사용하여 모니터링할 수 있는 메트릭은 다음과 같습니다.

• P95 지연 시간: 이 메트릭은 추론 요청에 대한 서버 측 응답 시간의 95번째 백분위수를 측정합니다. 대부분의 추론 요청에 걸리는 시간을 파악하고 성능 저하를 식별하는 데 도움이 됩니다.
• 오류율: 선택한 모니터링 기간 내에 실패했거나 오류를 반환한 요청의 비율을 나타냅니다. 오류율을 모니터링하면 배포 또는 수신 요청의 문제를 신속하게 감지할 수 있습니다.
• 총 요청 수: 이 메트릭은 선택한 기간(예: 최근 24시간) 동안 배포된 엔드포인트 전체에서 처리된 추론 요청의 총 수를 보여 줍니다. 팀이 트래픽 수준과 모델 사용 빈도를 파악하는 데 도움이 됩니다.

이러한 메트릭 외에도 플랫폼은 엔드포인트 상태 점검과 배포 로그를 제공합니다. 상태 점검은 엔드포인트가 올바르게 응답하는지 나타내며, 로그는 최근 요청과 시스템 활동에 대한 자세한 정보를 제공합니다.

핵심 요점#

컴퓨터 비전 모델 배포는 학습된 모델을 실제 애플리케이션을 구동하는 시스템으로 전환하는 데 중요한 단계입니다. Ultralytics Platform을 사용하면 팀은 43개 글로벌 지역의 전용 엔드포인트를 통해 모델을 쉽게 배포하고, API를 통해 실시간 추론을 실행하며, 단일 환경에서 성능을 모니터링할 수 있습니다. 유연한 배포 옵션, 기본 제공 모니터링, 확장 가능한 인프라를 결합하여 플랫폼은 개발자가 학습된 머신 러닝 모델에서 안정적인 컴퓨터 비전 애플리케이션으로 더 빠르게 전환할 수 있도록 지원합니다.

성장하는 커뮤니티에 참여해 보세요! GitHub 저장소를 살펴보고 AI에 대해 자세히 알아보세요. 컴퓨터 비전 솔루션을 구축하려는 경우 라이선스 옵션을 확인해 보세요. 의료 분야의 컴퓨터 비전의 이점을 살펴보고 물류 분야의 AI가 어떻게 변화를 만들어 내는지 확인해 보세요!