Ultralytics Platform: 모든 지역에 컴퓨터 비전 모델 배포

이번 주 초, Ultralytics는 데이터 준비 및 모델 개발부터 배포에 이르는 비전 AI 워크플로의 모든 단계를 간소화하여 컴퓨터 비전(CV) 시스템 구축을 더 빠르게 만들기 위해 설계된 새로운 엔드투엔드 환경인 Ultralytics Platform을 출시했습니다.

Ultralytics Platform을 개발하게 된 주요 동기 중 하나는 기계가 이미지와 영상을 분석할 수 있도록 지원하는 컴퓨터 비전 솔루션을 아이디어 단계에서 실제 영향력을 발휘하는 단계까지 구현하는 과정이 단순히 강력한 모델을 구축하는 것 이상의 작업을 필요로 한다는 점입니다. 모델 학습과 검증이 완료되면, 애플리케이션이 이미지를 전송하고 예측값을 받아 실제 환경에서 안정적으로 추론을 실행할 수 있도록 모델을 배포해야 합니다.

머신러닝 수명 주기의 이 단계는 컴퓨터 비전 모델이 실험 단계를 넘어 실제 시스템을 구동하기 시작하는 지점입니다. 데이터셋 준비, 주석 작업, 모델 학습 및 테스트와 같은 초기 단계가 원활하게 진행되더라도, 모델을 배포할 안정적인 방법이 없다면 해당 결과물은 실질적인 변화를 만들어낼 수 없습니다.

많은 컴퓨터 비전 프로젝트의 현실을 보면, 배포가 워크플로에서 가장 복잡한 단계 중 하나일 수 있습니다.

팀들은 종종 추론 API를 구성하고, 컴퓨팅 자원을 관리하며, 지연 시간을 줄이기 위해 사용자 가까이에 모델을 배포하고, 시스템이 프로덕션 환경에서 실행될 때 성능을 모니터링해야 합니다.

Ultralytics Platform은 모델 내보내기 형식, 공유 추론 서비스, 전 세계 지역에 걸친 전용 엔드포인트를 포함한 다양한 배포 옵션을 제공하여 이 프로세스를 간소화하고 자동화합니다. 관리형 인프라와 내장된 모니터링 기능을 통해 팀은 학습된 모델에서 프로덕션 준비가 완료된 컴퓨터 비전 시스템으로 쉽게 전환할 수 있습니다.

그림 1. Ultralytics Platform을 사용한 모델 배포 모습 (출처)

이 글에서는 Ultralytics Platform의 전용 엔드포인트를 사용하여 모든 지역에 컴퓨터 비전 모델을 배포하는 방법을 살펴보겠습니다. 시작해 보겠습니다!

Link to this sectionCV 모델 배포란 무엇입니까?#

Ultralytics Platform을 사용하여 딥러닝 모델을 배포하는 방법을 알아보기 전에, 컴퓨터 비전 모델 배포가 실제로 무엇을 의미하는지 더 자세히 이해해 보겠습니다.

컴퓨터 비전 모델 배포는 학습된 모델을 가져와 실제 환경에서 사용할 수 있도록 만드는 과정입니다. 모델이 학습 환경에서만 실행되는 대신, 애플리케이션이 이미지나 영상을 보내고 예측값을 반환받을 수 있도록 설정됩니다.

예를 들어, 모델은 이미지 내의 객체를 감지하거나, 이미지 세분화를 수행하거나, 창고의 품목을 식별하거나, 영상 내의 패턴을 인식할 수 있습니다. 대부분의 실제 시스템에서 이는 API 또는 추론 엔드포인트를 통해 이루어집니다.

애플리케이션이 모델에 이미지를 전송하면, 모델이 이를 처리하고 밀리초 내에 예측값을 반환합니다. 이것이 바로 Ultralytics YOLO와 같은 컴퓨터 비전 모델이 실시간 애플리케이션을 구현할 수 있게 하는 원리입니다.

모델은 사용 사례에 따라 다양한 환경에 배포될 수 있습니다. 일부 모델은 클라우드(클라우드 플랫폼을 통해)에서 실행되어 많은 애플리케이션이 접근할 수 있게 하며, 또 다른 모델은 빠른 로컬 예측이 필요한 온프레미스 카메라, 로봇, 임베디드 시스템과 같은 엣지 디바이스에서 실행됩니다.

Link to this sectionUltralytics Platform의 AI 모델 배포 옵션#

Ultralytics Platform은 컴퓨터 비전 커뮤니티가 직면한 많은 과제, 특히 모델 배포와 관련된 문제를 해결하며 애플리케이션의 요구 사항에 따라 추론을 실행할 수 있는 유연한 방법을 제공합니다.

플랫폼에서 제공하는 모델 배포 옵션을 간단히 살펴보겠습니다.

• 모델 내보내기: ONNX, TensorRT, CoreML, TFLite를 포함한 17가지 다른 형식으로 모델을 내보낼 수 있어 Raspberry Pi 및 NVIDIA Jetson과 같은 엣지 디바이스, 모바일 앱, Docker 컨테이너, 커스텀 인프라 등 광범위한 환경에서 모델을 실행할 수 있습니다.
• 공유 추론: 이 플랫폼을 통해 관리형 공유 추론 서비스로 예측을 실행할 수 있으며, 이는 모델을 빠르게 테스트하는 데 이상적입니다.
• 전용 엔드포인트: 프로덕션 배포를 위한 내장된 자동 확장, 모니터링 및 상태 확인 기능을 갖춘 43개의 글로벌 지역에서 실행 가능한 고유 API URL을 통해 독립적인 서비스로 모델을 쉽게 배포할 수 있습니다.

Link to this section전용 엔드포인트를 사용한 배포#

Ultralytics Platform에서 사전 학습된 모델이나 커스텀 학습된 컴퓨터 비전 모델을 프로덕션 환경에서 실행하는 가장 확장성 높은 방법 중 하나는 전용 엔드포인트를 사용하는 것입니다. 전용 엔드포인트를 사용하면 학습된 모델을 자체 서비스로 배포할 수 있으므로, 애플리케이션이 모델로 이미지를 전송하고 API를 통해 예측값을 받을 수 있습니다.

모델을 학습 환경이나 로컬 노트북에서만 실행하는 대신, 엔드포인트로 배포하면 실제 애플리케이션에서 접근할 수 있게 됩니다. 예를 들어, 창고 시스템은 객체 감지를 위해 패키지 이미지를 전송할 수 있고, 스마트 카메라는 영상 프레임을 분석할 수 있으며, 로봇 시스템은 행동을 유도하기 위해 예측값을 사용할 수 있습니다.

각 전용 엔드포인트는 단일 테넌트 서비스로 실행되므로 모델을 실행하는 인프라가 다른 사용자와 공유되지 않습니다. 이는 보다 예측 가능한 성능을 제공하며 프로덕션 환경에서 모델의 동작을 모니터링하기 쉽게 만들어 줍니다.

Link to this section전용 추론 엔드포인트의 기능 이해#

전용 엔드포인트는 모델을 위한 호스팅 서비스라고 생각할 수 있습니다. Ultralytics Platform은 애플리케이션을 위한 진입점 역할을 하는 고유한 엔드포인트 URL을 제공합니다.

애플리케이션이 해당 URL로 요청을 보낼 때, 이미지와 신뢰도 임계값이나 이미지 크기와 같은 선택적 매개변수를 포함하며 인증을 위한 API 키를 함께 전송합니다.

서비스는 모델을 사용하여 이미지에 대한 추론을 실행하고 구조화된 응답으로 예측값을 반환합니다. 이 설정을 통해 개발자는 표준 웹 도구를 사용하여 컴퓨터 비전 모델을 실제 시스템에 통합할 수 있습니다.

애플리케이션은 Python, JavaScript, cURL 또는 기타 HTTP 클라이언트를 사용하여 요청을 보낼 수 있으므로 모델을 대시보드, 로봇 시스템 또는 클라우드 애플리케이션에 쉽게 연결할 수 있습니다. 엔드포인트가 독립적으로 실행되므로 확장, 모니터링 및 글로벌 배포를 지원하여 팀이 안정적인 프로덕션 컴퓨터 비전 시스템을 구축하도록 돕습니다.

Link to this section다중 지역 배포로 실시간 추론 개선#

Ultralytics Platform의 전용 엔드포인트가 가진 핵심 장점은 43개의 글로벌 지역에 모델을 배포할 수 있다는 점입니다. 이 지역들은 북미, 남미, 유럽, 아시아 태평양, 중동 및 아프리카를 포함하여 전 세계 여러 지역에 걸쳐 있습니다.

그림 2. Ultralytics Platform은 43개의 글로벌 지역을 지원합니다 (출처)

애플리케이션이 실행되는 곳과 가까운 지역에 모델을 배포하면 지연 시간(애플리케이션이 이미지를 전송하고 예측값을 받는 데 걸리는 시간)을 줄이는 데 도움이 됩니다. 또한 데이터가 발생하는 곳과 가까운 곳에서 데이터 처리를 수행함으로써 데이터 개인정보 보호 및 데이터 현지화 요구 사항을 충족하는 데에도 기여할 수 있습니다.

낮은 지연 시간은 로봇 시스템, 사물 인터넷(IoT) 디바이스, 산업용 검사 파이프라인, 스마트 시티 인프라와 같이 실시간 추론에 의존하는 많은 컴퓨터 비전 애플리케이션에 매우 중요합니다.

예를 들어, 애플리케이션이 주로 유럽에서 사용되는 경우 모델을 유럽 지역에 배포하면 먼 지역에서 모델을 실행하는 것보다 응답 시간을 크게 개선할 수 있습니다.

Link to this sectionUltralytics Platform으로 모든 지역에 배포하는 방법#

특정 지역에 모델을 배포하는 것은 간단하며 일반적으로 몇 분밖에 걸리지 않습니다. 플랫폼이 인프라 설정을 처리하므로 개발자는 모델을 애플리케이션에 통합하는 데 집중할 수 있습니다. 관련된 단계를 살펴보겠습니다.

Link to this section1단계: 모델 학습 또는 업로드#

배포하기 전에 프로젝트 내에 학습된 모델이 있어야 합니다. 이는 Ultralytics Platform에서 직접 학습된 모델일 수도 있고, 다른 곳에서 학습한 후 업로드한 모델일 수도 있으며, 혹은 “탐색(Explore) 탭”에서 찾은 커뮤니티 프로젝트에서 복제한 모델일 수도 있습니다. 탐색 탭에서는 다른 사용자가 공유한 공개 프로젝트를 클릭 한 번으로 내 계정에 복사할 수 있습니다.

모델이 준비되면 프로젝트 내의 모델 페이지를 열어 진행하십시오.

Link to this section2단계: 배포(Deploy) 탭 열기#

모델에 대한 배포(Deploy) 탭으로 이동하십시오. 플랫폼의 이 섹션에서 배포를 구성하고 실행할 수 있습니다.

해당 페이지에서 전 세계의 사용 가능한 배포 위치를 보여주는 지역 테이블과 대화형 지도를 볼 수 있습니다. 플랫폼은 사용자의 위치로부터 지연 시간을 측정하고 이에 따라 지역을 정렬하여 가장 적합한 지역을 선택할 수 있도록 돕습니다.

그림 3. Ultralytics Platform에서 지연 시간별로 정렬된 지역 (출처)

Link to this section3단계: 배포 지역 선택#

사용자나 애플리케이션이 위치한 곳을 기준으로 지역을 선택하십시오. 요청이 발생하는 곳에 더 가까운 곳에 모델을 배포하면 응답 시간을 크게 줄일 수 있습니다.

Link to this section4단계: 엔드포인트 배포#

지역을 선택하고 구성을 확인한 후, '배포(Deploy)'를 클릭하십시오.

플랫폼은 배포 환경을 준비하고, 모델 이미지를 가져오고, 서비스를 시작하며, 엔드포인트가 준비되었는지 확인하기 위한 상태 검사를 수행합니다. 이 과정은 일반적으로 1~2분 정도 소요됩니다.

배포가 완료되면, 플랫폼은 애플리케이션이 추론 요청을 보내는 데 사용할 수 있는 고유한 엔드포인트 URL을 생성합니다.

그림 4. 배포된 엔드포인트 예시 (출처)

Link to this section5단계: 추론 요청 전송 시작#

엔드포인트가 실행되면, 애플리케이션은 제공된 REST API 엔드포인트와 Authorization 헤더에 전달된 API 키를 사용하여 모델로 이미지를 전송하기 시작할 수 있습니다. 엔드포인트는 각 요청을 처리하고 감지된 객체, BBox 또는 기타 작업별 출력과 같은 예측값을 반환합니다.

모델 배포와 관련된 자세한 내용은 공식 Ultralytics Platform 문서를 확인하십시오.

Link to this section배포된 엔드포인트의 모델 성능 및 지표 모니터링#

컴퓨터 비전 모델이 배포되면 시스템의 안정성과 견고성을 유지하기 위해 성능 모니터링이 중요한 요소가 됩니다. 잘 학습된 모델이라도 프로덕션 환경에서 지속적으로 빠르게 응답하고, 들어오는 요청을 적절하게 처리하며, 정확한 예측값을 전달하는지 관찰해야 합니다.

Ultralytics Platform은 팀이 배포된 엔드포인트의 성능을 파악할 수 있도록 내장 모니터링 도구를 제공합니다. 플랫폼의 Deploy 페이지는 모니터링 대시보드 역할을 하며, 모든 실행 중인 엔드포인트에 대한 중앙 집중식 보기와 시스템 상태 및 사용량을 추적하는 데 도움이 되는 주요 지표를 제공합니다.

플랫폼을 사용하여 모니터링할 수 있는 지표는 다음과 같습니다.

• P95 지연 시간: 이 지표는 추론 요청에 대한 95번째 백분위수 서버 측 응답 시간을 측정합니다. 대부분의 추론 요청에 걸리는 시간을 파악하고 성능 저하 지점을 식별하는 데 도움을 줍니다.
• 오류율: 선택한 모니터링 기간 내에 실패하거나 오류를 반환한 요청의 비율을 나타냅니다. 오류율을 모니터링하면 팀이 배포 문제나 들어오는 요청의 문제를 빠르게 감지할 수 있습니다.
• 총 요청 수: 이 지표는 선택한 기간(예: 최근 24시간) 동안 배포된 엔드포인트에서 처리된 총 추론 요청 수를 보여줍니다. 팀이 트래픽 수준과 모델 사용 빈도를 이해하는 데 도움이 됩니다.

이러한 지표 외에도 플랫폼은 엔드포인트 상태 확인 및 배포 로그를 제공합니다. 상태 확인은 엔드포인트가 올바르게 응답하고 있는지 여부를 나타내며, 로그는 최근 요청 및 시스템 활동에 대한 자세한 정보를 제공합니다.

Link to this section핵심 요약#

컴퓨터 비전 모델 배포는 학습된 모델을 실제 애플리케이션을 구동하는 시스템으로 바꾸는 중요한 단계입니다. Ultralytics Platform을 통해 팀은 43개의 글로벌 지역에 전용 엔드포인트를 쉽게 배포하고, API를 통해 실시간 추론을 실행하며, 단일 환경에서 성능을 모니터링할 수 있습니다. 유연한 배포 옵션, 내장 모니터링 및 확장 가능한 인프라를 결합함으로써 이 플랫폼은 개발자가 학습된 머신러닝 모델에서 신뢰할 수 있는 컴퓨터 비전 애플리케이션으로 더 빠르게 전환할 수 있도록 돕습니다.

성장하는 저희 커뮤니티의 일원이 되어 보세요! AI에 대해 자세히 알아보려면 GitHub 저장소를 살펴보십시오. 컴퓨터 비전 솔루션을 구축하려는 경우 당사의 라이선스 옵션을 확인해 보시기 바랍니다. 의료 분야의 컴퓨터 비전의 이점을 살펴보고 물류 분야의 AI가 어떻게 변화를 만들고 있는지 확인해 보십시오!