Ultralytics Platform: 컴퓨터 비전 모델을 원하는 리전에 배포하기

이번 주 초, Ultralytics는 데이터 준비와 모델 개발부터 배포까지 비전 AI 워크플로의 모든 단계를 간소화하여 컴퓨터 비전(CV) 시스템의 출시를 앞당기도록 설계된 새로운 종단 간 환경인 Ultralytics Platform을 출시했습니다.

Ultralytics Platform 개발의 주요 동기 중 하나는 컴퓨터 비전 솔루션을 아이디어에서 실제 성과로 발전시키려면 우수한 모델을 구축하는 것 이상의 과정이 필요하다는 점입니다. 모델을 학습하고 검증을 통과한 후에는 애플리케이션이 이미지를 전송하고 예측을 받아 실제 환경에서 안정적으로 추론을 실행할 수 있도록 모델을 배포해야 합니다.

머신러닝 수명 주기의 이 단계에서 컴퓨터 비전 모델은 실험을 넘어 실제 시스템을 구동하기 시작합니다. 데이터셋 준비, 어노테이션, 모델 학습, 테스트와 같은 이전 단계가 순조롭게 진행되더라도, 모델을 안정적으로 배포할 방법이 없으면 그 결과는 실질적인 영향을 미칠 수 없습니다.

많은 컴퓨터 비전 프로젝트에서 배포는 워크플로에서 가장 복잡한 단계 중 하나일 수 있습니다.

팀은 추론 API를 구성하고, 컴퓨팅 리소스를 관리하며, 지연 시간을 줄이기 위해 사용자와 가까운 곳에 모델을 배포하고, 시스템을 프로덕션 환경에서 실행한 뒤 성능을 모니터링해야 하는 경우가 많습니다.

Ultralytics Platform은 모델 내보내기 형식, 공유 추론 서비스, 전 세계 여러 지역의 전용 엔드포인트를 비롯한 다양한 배포 옵션을 제공하여 이 프로세스를 간소화하고 자동화합니다. 관리형 인프라와 기본 제공 모니터링을 통해 팀은 학습된 모델을 프로덕션에 바로 투입할 수 있는 컴퓨터 비전 시스템으로 손쉽게 전환할 수 있습니다.

그림 1. Ultralytics Platform을 사용한 모델 배포 (출처)

이 글에서는 Ultralytics Platform의 전용 엔드포인트를 사용해 컴퓨터 비전 모델을 모든 리전에 배포하는 방법을 살펴봅니다.

CV 모델 배포란 무엇인가요?#

Ultralytics Platform을 사용해 딥러닝 모델을 배포하는 방법을 살펴보기 전에, 컴퓨터 비전 모델 배포가 실제로 무엇을 의미하는지 알아보겠습니다.

컴퓨터 비전 모델 배포는 학습된 모델을 실제 환경에서 사용할 수 있도록 제공하는 과정입니다. 학습 환경에서만 실행하는 대신, 애플리케이션이 이미지나 동영상을 모델에 보내고 예측 결과를 받을 수 있도록 모델을 설정합니다.

예를 들어 모델은 이미지에서 객체를 탐지하거나, 이미지 분할을 수행하거나, 창고의 물품을 식별하거나, 영상의 패턴을 인식할 수 있습니다. 대부분의 실제 시스템에서는 API 또는 추론 엔드포인트를 통해 이러한 작업이 수행됩니다.

애플리케이션이 모델에 이미지를 전송하면 모델은 이미지를 처리한 뒤 밀리초 이내에 예측 결과를 반환합니다. 이를 통해 Ultralytics YOLO와 같은 컴퓨터 비전 모델로 실시간 애플리케이션을 구현할 수 있습니다.

사용 사례에 따라 모델은 다양한 환경에 배포할 수 있습니다. 일부 모델은 클라우드 플랫폼을 통해 클라우드에서 실행되며 여러 애플리케이션이 이용할 수 있습니다. 다른 모델은 온프레미스 카메라, 로봇, 빠른 로컬 예측이 필요한 임베디드 시스템과 같은 엣지 기기에서 실행됩니다.

Ultralytics Platform의 AI 모델 배포 옵션#

Ultralytics Platform은 컴퓨터 비전 커뮤니티가 모델 배포 시 겪는 여러 문제를 해결하고, 애플리케이션의 요구 사항에 따라 추론을 실행할 수 있는 유연한 방법을 제공합니다.

플랫폼에서 사용할 수 있는 모델 배포 옵션을 간단히 살펴보겠습니다.

• 모델 내보내기: 모델을 ONNX, TensorRT, CoreML, TFLite를 비롯한 22가지 형식으로 내보낼 수 있어 Raspberry Pi 및 NVIDIA Jetson과 같은 엣지 디바이스, 모바일 앱, Docker 컨테이너, 맞춤형 인프라 등 다양한 환경에서 모델을 실행할 수 있습니다.
• 공유 추론: 플랫폼에서 관리형 공유 추론 서비스를 통해 예측을 실행할 수 있으며, 모델을 빠르게 테스트하는 데 적합합니다.
• 전용 엔드포인트: 고유한 API URL을 사용하며 전 세계 42개 지역에서 실행할 수 있는 독립 서비스로 모델을 간편하게 배포할 수 있습니다. 프로덕션 배포를 위해 0개까지 축소, 모니터링, 상태 점검 기능도 제공합니다.

전용 엔드포인트를 사용한 배포#

Ultralytics Platform에서 사전 학습 모델이나 사용자 지정 학습 컴퓨터 비전 모델을 프로덕션 환경에 배포하는 가장 확장성 높은 방법 중 하나는 전용 엔드포인트를 사용하는 것입니다. 전용 엔드포인트를 사용하면 학습된 모델을 독립된 서비스로 배포하여 애플리케이션이 이미지를 전송하고 API를 통해 예측 결과를 받을 수 있습니다.

모델을 학습 환경이나 로컬 노트북에서만 실행하는 대신 엔드포인트로 배포하면 실제 애플리케이션에서 사용할 수 있습니다. 예를 들어 창고 시스템은 객체 탐지를 위해 패키지 이미지를 전송하고, 스마트 카메라는 비디오 프레임을 분석하며, 로봇 시스템은 예측 결과를 사용해 동작을 제어할 수 있습니다.

각 전용 엔드포인트는 단일 테넌트 서비스로 실행되므로 모델을 실행하는 인프라를 다른 사용자와 공유하지 않습니다. 이를 통해 성능을 더 예측하기 쉬워지고 프로덕션 환경에서 모델의 동작을 더 간편하게 모니터링할 수 있습니다.

전용 추론 엔드포인트의 기능 이해하기#

전용 엔드포인트는 모델을 위한 호스팅 서비스라고 생각할 수 있습니다. Ultralytics Platform은 애플리케이션의 진입점 역할을 하는 고유한 엔드포인트 URL을 제공합니다.

애플리케이션이 해당 URL로 요청을 보내면 이미지와 함께 신뢰도 임계값이나 이미지 크기와 같은 선택적 매개변수, 인증용 API 키가 포함됩니다.

서비스는 사용자의 모델로 이미지에 대한 추론을 수행하고 구조화된 응답으로 예측 결과를 반환합니다. 이 설정을 통해 개발자는 표준 웹 도구를 사용해 컴퓨터 비전 모델을 실제 시스템에 통합할 수 있습니다.

애플리케이션은 Python, JavaScript, cURL 또는 기타 HTTP 클라이언트를 사용해 요청을 전송할 수 있으므로 모델을 대시보드, 로봇 시스템, 클라우드 애플리케이션에 쉽게 연결할 수 있습니다. 엔드포인트는 독립적으로 실행되므로 확장, 모니터링, 전역 배포도 지원하며, 이를 통해 팀은 프로덕션 환경에서 신뢰할 수 있는 컴퓨터 비전 시스템을 구축할 수 있습니다.

다중 리전 배포로 실시간 추론 성능 향상#

Ultralytics Platform의 전용 엔드포인트가 제공하는 주요 장점은 전 세계 42개 지역에 모델을 배포할 수 있다는 점입니다. 해당 지역은 북미, 남미, 유럽, 아시아 태평양, 중동 및 아프리카 등 여러 대륙에 걸쳐 있습니다.

그림 2. Ultralytics Platform은 전 세계 42개 지역을 지원합니다 (출처)

애플리케이션이 실행되는 위치와 가까운 리전에 모델을 배포하면 애플리케이션이 이미지를 전송하고 예측을 받는 데 걸리는 시간인 지연 시간을 줄일 수 있습니다. 또한 데이터 처리를 데이터가 발생한 위치와 가까운 곳에서 수행함으로써 데이터 개인정보 보호 및 데이터 레지던시 요건을 충족하는 데 도움이 될 수 있습니다.

로보틱스 시스템, 사물 인터넷(IoT) 장치, 산업 검사 파이프라인, 스마트 시티 인프라와 같이 실시간 추론에 의존하는 많은 컴퓨터 비전 애플리케이션에서 낮은 지연 시간은 중요합니다.

예를 들어 애플리케이션이 주로 유럽에서 사용된다면, 유럽 리전에 모델을 배포할 경우 멀리 떨어진 리전에서 모델을 실행하는 것보다 응답 시간을 크게 개선할 수 있습니다.

Ultralytics Platform으로 원하는 리전에 배포하는 방법#

특정 리전에 모델을 배포하는 과정은 간단하며 일반적으로 몇 분밖에 걸리지 않습니다. 플랫폼이 인프라 설정을 처리하므로 개발자는 모델을 애플리케이션에 통합하는 데 집중할 수 있습니다. 이제 관련 단계를 살펴보겠습니다.

1단계: 모델 학습 또는 업로드#

배포하기 전에 프로젝트에서 사용할 수 있는 학습된 모델이 있어야 합니다. Ultralytics Platform에서 직접 학습한 모델, 다른 곳에서 학습한 후 업로드한 모델, 또는 “탐색 탭”에서 찾은 커뮤니티 프로젝트를 복제한 모델을 사용할 수 있습니다. 다른 사용자가 공유한 공개 프로젝트는 클릭 한 번으로 자신의 계정에 복사할 수 있습니다.

모델 준비가 완료되면 프로젝트 내에서 해당 모델 페이지를 열어 다음 단계로 진행합니다.

2단계: Deploy 탭 열기#

모델의 Deploy 탭으로 이동합니다. 플랫폼의 이 섹션에서 배포를 구성하고 시작할 수 있습니다.

해당 페이지에는 리전 표와 전 세계에서 사용 가능한 배포 위치를 보여주는 대화형 지도가 표시됩니다. 플랫폼은 현재 위치에서의 지연 시간을 측정하고 그에 따라 리전을 정렬하여 가장 적합한 리전을 선택할 수 있도록 지원합니다.

그림 3. Ultralytics Platform에서 지연 시간 순으로 정렬된 리전 (출처)

3단계: 배포 리전 선택#

사용자 또는 애플리케이션이 위치한 곳을 기준으로 리전을 선택합니다. 요청 발생 지점에 더 가까운 곳에 모델을 배포하면 응답 시간을 크게 단축할 수 있습니다.

4단계: 엔드포인트 배포#

리전을 선택하고 구성을 확인한 다음 Deploy를 클릭합니다.

그러면 플랫폼이 배포 환경을 준비하고 모델 이미지를 가져온 후 서비스를 시작하고, 엔드포인트가 준비되었는지 확인하기 위해 상태 점검을 수행합니다. 이 과정은 일반적으로 1~2분 정도 걸립니다.

배포가 완료되면 플랫폼에서 고유한 엔드포인트 URL을 생성하며, 애플리케이션은 이 URL을 사용해 추론 요청을 보낼 수 있습니다.

그림 4. 배포된 엔드포인트 예시 (출처)

5단계: 추론 요청 전송 시작#

엔드포인트가 실행되면 애플리케이션은 제공된 REST API 엔드포인트와 Authorization 헤더에 전달하는 API 키를 사용해 모델에 이미지를 보내기 시작할 수 있습니다. 엔드포인트는 각 요청을 처리하고 감지된 객체, 바운딩 박스 또는 기타 작업별 출력과 같은 예측 결과를 반환합니다.

모델 배포에 관한 자세한 내용은 공식 Ultralytics Platform 문서를 참조하세요.

배포된 엔드포인트의 모델 성능 및 지표 모니터링#

컴퓨터 비전 모델을 배포한 후에는 시스템의 안정성과 견고성을 유지하기 위해 성능을 모니터링하는 것이 중요합니다. 잘 학습된 모델이라도 프로덕션 환경에서 계속 빠르게 응답하고, 들어오는 요청을 적절히 처리하며, 정확한 예측을 제공하는지 확인해야 합니다.

Ultralytics Platform은 배포된 엔드포인트의 성능을 팀이 파악할 수 있도록 기본 제공 모니터링 도구를 제공합니다. 플랫폼의 Deploy 페이지는 모니터링 대시보드 역할을 하며, 실행 중인 모든 엔드포인트를 중앙에서 확인할 수 있고 시스템 상태와 사용량을 추적하는 데 필요한 주요 지표도 제공합니다.

Platform에서 모니터링할 수 있는 지표는 다음과 같습니다.

• P95 지연 시간: 이 지표는 추론 요청의 서버 측 응답 시간에 대한 95백분위수를 측정합니다. 대부분의 추론 요청이 처리되는 데 걸리는 시간을 파악하고 성능 저하를 찾아내는 데 도움이 됩니다.
• 오류율: 선택한 모니터링 기간에 실패하거나 오류를 반환한 요청의 비율입니다. 오류율을 모니터링하면 배포 또는 수신 요청의 문제를 빠르게 감지할 수 있습니다.
• 총 요청 수: 이 지표는 선택한 기간(예: 최근 24시간) 동안 배포된 엔드포인트 전체에서 처리한 추론 요청의 총수를 보여줍니다. 팀은 이를 통해 트래픽 수준과 모델 사용 빈도를 파악할 수 있습니다.

이러한 지표 외에도 플랫폼은 엔드포인트 상태 점검과 배포 로그를 제공합니다. 상태 점검은 엔드포인트가 올바르게 응답하는지 나타내고, 로그는 최근 요청과 시스템 활동에 관한 자세한 정보를 제공합니다.

핵심 요점#

컴퓨터 비전 모델 배포는 학습된 모델을 실제 애플리케이션을 구동하는 시스템으로 전환하는 중요한 단계입니다. Ultralytics Platform을 사용하면 팀은 전 세계 42개 지역의 전용 엔드포인트를 통해 모델을 간편하게 배포하고, API를 통해 실시간 추론을 수행하며, 단일 환경에서 성능을 모니터링할 수 있습니다. 유연한 배포 옵션, 기본 제공 모니터링, 확장 가능한 인프라를 결합해 개발자가 학습된 머신러닝 모델에서 안정적인 컴퓨터 비전 애플리케이션으로 더 빠르게 전환하도록 지원합니다.

성장하는 커뮤니티에 참여해 보세요! GitHub 리포지토리에서 AI에 대해 자세히 알아보세요. 컴퓨터 비전 솔루션을 구축하려면 라이선스 옵션을 확인하세요. 헬스케어 분야의 컴퓨터 비전이 제공하는 이점을 살펴보고, 물류 분야의 AI가 어떻게 변화를 이끌고 있는지 알아보세요!