Ultralytics Platform이 컴퓨터 비전 모델 배포를 간소화하는 방법

Ultralytics는 수년간 컴퓨터 비전 커뮤니티와 협력하여 누구나 비전 AI를 더 쉽게 활용할 수 있는 모델과 도구를 개발해 왔습니다. 당사는 Ultralytics Platform을 통해 데이터셋 관리 및 어노테이션부터 모델 학습, 검증, 배포에 이르는 전체 컴퓨터 비전 개발 워크플로우를 하나의 통합 환경으로 가져와 한 단계 더 발전시키고 있습니다.

특히 당사는 컴퓨터 비전 모델 배포를 더 쉽게 만드는 데 주력하고 있습니다. 컴퓨터 비전이 실제 애플리케이션에 지속적으로 도입되고 있지만, 통제된 환경 밖에서 이미지와 비디오를 분석하는 작업은 여전히 복잡합니다.

조건이 예측 가능한 테스트 환경과 달리, 실제 상황에서는 조명 변화, 입력 데이터 변경, 예측 불가능한 워크로드 등이 발생하며, 이는 배포를 비전 워크플로우에서 가장 까다로운 작업 중 하나로 만듭니다.

배포는 단순히 모델을 사용 가능한 상태로 만드는 것 이상의 의미를 가집니다. 실제 데이터를 처리할 수 있는 프로세스를 구축하고, 사용량이 증가하고 프로젝트가 확장됨에 따라 모든 것이 원활하게 운영되도록 보장해야 합니다.

또한 팀은 시간이 지남에 따라 성능을 추적하고 안정성을 유지해야 합니다. 이를 위해서는 테스트, 통합, 배포, 모니터링을 위해 여러 AI 도구를 전환해야 하는 경우가 많으며, 이는 모델 개발 속도를 늦추고 불필요한 복잡성을 가중시킬 수 있습니다.

결국 워크플로우는 파편화됩니다. Ultralytics Platform은 이 과정을 통합하고 간소화합니다.

이 플랫폼은 단일 환경 내에서 모델 서빙, 테스트 및 모니터링을 위한 내장된 지원을 제공합니다. 팀은 브라우저 기반 추론을 사용하여 모델을 검증하고, 공유 추론 서비스를 통해 애플리케이션에 통합하며, 성능 모니터링 기능을 갖춘 전용 엔드포인트에 배포할 수 있습니다.

그림 1. Ultralytics Platform 내의 배포 페이지 살펴보기 (출처)

본 글에서는 테스트 및 통합부터 운영 배포 및 모니터링에 이르기까지, Ultralytics Platform이 컴퓨터 비전 모델 배포를 어떻게 재정의하는지 살펴보겠습니다. 시작해 보겠습니다!

Link to this section컴퓨터 비전 모델 배포 개요#

머신러닝 라이프사이클에서 모델 배포는 모델이 실험 단계를 넘어 실제 사용 단계로 전환되는 과정입니다. 딥러닝과 합성곱 신경망(CNN)을 사용하여 구축된 컴퓨터 비전 모델의 경우, 이는 일반적으로 실시간으로 이미지와 비디오를 처리할 수 있게 만드는 것을 의미합니다.

일단 배포되면, 모델은 새로운 데이터를 입력받으며, 이 데이터는 대개 리사이징, 정규화, 포맷팅과 같은 전처리 단계를 거칩니다. 처리된 데이터는 모델로 전달되고, 모델은 학습 과정에서 습득한 패턴을 적용하여 고정밀 예측을 생성합니다.

사용 사례에 따라 다양한 컴퓨터 비전 작업이 포함될 수 있습니다. 예를 들어, Ultralytics YOLO26과 같은 Ultralytics YOLO 모델은 객체 탐지, 이미지 분류, 인스턴스 세그멘테이션, 자세 추정, 방향성 경계 상자(OBB) 탐지를 포함한 광범위한 비전 작업을 지원합니다.

실제 애플리케이션에서 이를 실용적으로 구현하려면 전처리와 추론을 모두 효율적으로 처리할 수 있는 시스템에 모델을 통합해야 합니다. 바로 이 지점에서 배포 인프라가 필수적입니다.

운영 환경에서 모델은 일반적으로 REST API나 모델 서빙 시스템을 통해 액세스됩니다. 이러한 인터페이스를 통해 애플리케이션은 프로그래밍 방식으로 데이터를 전송하고 예측값을 수신할 수 있으며, 실시간 시각적 이해가 필요한 외부 애플리케이션, IoT 장치 또는 로봇 시스템과의 통합이 용이해집니다.

Link to this section기존 컴퓨터 비전 배포 도구의 한계#

컴퓨터 비전 모델 배포가 간단해 보일 수 있지만, 지금까지 실제 환경에서는 매우 다른 양상을 보였습니다. 일반적인 설정을 예로 들면, 카메라나 센서에서 데이터가 캡처되고, 모델로 전송되어 추론이 수행된 뒤, 예측 결과가 애플리케이션으로 반환되는 방식입니다.

실제로는 이러한 각 단계가 개별 도구와 서비스로 처리되는 경우가 많습니다. 한 시스템은 데이터 캡처를 담당하고, 다른 시스템은 모델 서빙을 관리하며, 확장, 모니터링, 로깅을 위한 추가 도구가 사용됩니다. 이러한 구성 요소를 연결하고 안정적으로 운영하는 것은 빠르게 복잡해질 수 있습니다.

사용량이 증가함에 따라 이러한 복잡성도 증가합니다. 인프라 관리, 의존성 처리, 엔드투엔드 파이프라인 전반의 일관된 성능 유지 등은 개발 속도를 늦추고 실제 애플리케이션에 컴퓨터 비전 모델을 배포하는 것을 어렵게 만듭니다.

Ultralytics Platform은 이러한 구성 요소를 단일화된 통합 환경으로 통합합니다. 이는 확장 가능한 환경에서 성능과 안정성을 지원하면서 전체 배포 워크플로우를 관리할 수 있는 보다 응집력 있는 방법을 제공합니다.

Link to this sectionUltralytics Platform이 지원하는 모델 배포 옵션#

Ultralytics Platform은 모델 배포 프로세스를 통합할 뿐만 아니라, 모델 배포 및 사용 방식에 유연성을 제공합니다.

컴퓨터 비전 모델 배포의 다양한 단계를 지원하기 위해 플랫폼은 네 가지 옵션을 제공합니다: 즉각적인 추론이 가능한 브라우저 기반 테스트, 개발을 위한 API 공유 추론, 전 세계 지역에서 확장 가능한 운영 배포를 위한 전용 엔드포인트, 그리고 외부 인프라나 엣지 장치에서 모델을 실행하기 위한 모델 내보내기 기능입니다.

이제 각 옵션이 어떻게 작동하는지 자세히 살펴보겠습니다.

Link to this sectionPredict 탭을 사용하여 모델을 빠르게 검증#

모델을 운영 환경으로 이전하기 전에 새로운 미지의 데이터에서 모델이 어떻게 성능을 발휘하는지 이해하는 것이 중요합니다. Ultralytics Platform은 별도의 설정, 인프라 또는 의존성 없이 브라우저에서 직접 추론을 실행할 수 있는 내장형 Predict 탭을 포함하고 있습니다.

Predict 탭을 사용하면 모델 검증이 빠르고 상호작용적입니다. 이미지를 업로드하거나, 미리 로드된 예제를 사용하거나, 웹캠으로 입력을 캡처할 수 있으며, 데이터가 제공되는 즉시 추론이 자동으로 실행됩니다.

결과는 시각적 오버레이, 신뢰도 점수 및 상세 출력과 함께 즉시 표시되어 모델의 동작을 명확하게 확인할 수 있습니다.

그림 2. Predict 탭을 사용하여 모델을 검증하는 예시 (출처)

즉, 클릭 몇 번만으로 배포로 넘어가기 전에 단일 인터페이스 내에서 다양한 입력을 테스트하고, 파라미터를 조정하며, 성능을 평가할 수 있습니다.

Link to this section테스트 또는 가벼운 사용을 위한 공유 추론 실행#

모델을 학습하고 Predict 탭을 사용하여 검증했다고 가정해 보겠습니다. 다음 단계는 보통 해당 모델을 애플리케이션이나 워크플로우에 통합하는 것입니다.

인프라를 설정하거나 서버를 관리하는 대신, Ultralytics Platform은 간단한 REST API를 통해 모델에 데이터를 전송하고 예측값을 수신할 수 있는 공유 추론 서비스를 제공합니다.

공유 추론은 내부적으로 몇 개의 핵심 리전에 걸쳐 멀티 테넌트 시스템에서 실행되며, 요청은 자동으로 가장 가까운 사용 가능한 서비스로 라우팅됩니다. 이는 응답 성능을 유지하면서 여러 지역의 사용자가 모델에 일관되게 액세스할 수 있도록 합니다.

표준 HTTP 요청을 사용하여 입력을 보내고 구조화된 출력값을 받을 수 있으므로, 모델을 애플리케이션, 스크립트 또는 자동화 워크플로우에 쉽게 연결할 수 있습니다. 이 설정은 개발, 테스트, 통합 또는 보다 확장 가능한 운영 배포로 넘어가기 전의 가벼운 사용에 적합한 옵션입니다.

Link to this section전용 엔드포인트를 통해 전 세계에 모델 배포#

모델이 운영 준비를 마치면, 실제 트래픽을 안정적이고 규모에 맞게 처리해야 합니다. Ultralytics Platform은 전용 엔드포인트를 통해 이를 지원하며, 모델은 43개의 글로벌 리전에서 단일 테넌트 서비스로 실행됩니다. 최종 사용자에게 더 가까이 배포함으로써 지연 시간을 줄이고 여러 위치에서 일관된 성능을 유지할 수 있습니다.

각 엔드포인트는 할당된 자체 컴퓨팅 리소스와 추론 요청을 위한 고유 URL로 실행됩니다. 이러한 수준의 제어를 통해 경량 사용 사례부터 더 많은 컴퓨팅 리소스가 필요한 고성능 처리 애플리케이션까지, 성능 요구 사항에 따라 배포를 쉽게 조정할 수 있습니다.

그림 3. Ultralytics Platform을 사용하여 43개의 글로벌 리전에 모델을 배포할 수 있습니다 (출처)

또한 전용 엔드포인트는 들어오는 트래픽에 따라 리소스를 조정하는 자동 확장 기능을 통해 변화하는 워크로드를 스스로 처리하도록 설계되었습니다. 수요가 많을 때는 확장하고 사용량이 줄어들면 축소됩니다. 기본적으로 scale-to-zero 기능이 활성화되어 있어 유휴 상태의 엔드포인트는 자동으로 종료되고 새 요청이 도착하면 재시작되므로, 수동 개입 없이 리소스 사용을 최적화할 수 있습니다.

Link to this sectionUltralytics Platform으로 쉽게 모델 내보내기#

오늘날 스마트폰, 카메라, 임베디드 시스템과 같은 장치에서 모델을 직접 실행하는 애플리케이션이 늘어남에 따라 엣지 AI의 중요성이 점점 커지고 있습니다. 또한 민감한 이미지나 비디오 스트림 데이터를 외부 서버로 전송하지 않고 장치에서 직접 처리할 수 있어 데이터 개인정보 보호 요구 사항을 해결하는 데 도움이 됩니다.

이러한 시나리오에서는 모델이 Ultralytics Platform 외부에서 실행되어야 하므로 모델 내보내기가 배포 프로세스의 중요한 부분이 됩니다. Ultralytics YOLO 모델은 종종 Python과 PyTorch를 사용하여 학습되며, 이후 ONNX, TensorRT, CoreML, OpenVINO를 포함한 17개 이상의 다양한 형식으로 내보낼 수 있습니다.

이처럼 다양한 형식은 고성능 그래픽 처리 장치(GPU)부터 모바일 및 임베디드 장치에 이르기까지 다양한 하드웨어 간의 호환성을 보장합니다. 또한 내보내기를 통해 특정 환경에 맞는 성능 튜닝이 가능합니다.

형식에 따라 모델은 더 빠른 추론 속도를 달성할 수 있는데, 예를 들어 TensorRT를 사용한 GPU 성능 향상이나 ONNX 및 OpenVINO를 사용한 CPU 실행 최적화 등이 가능합니다. FP16 및 INT8 양자화와 같은 옵션은 모델 크기를 더욱 줄이고 처리량을 개선할 수 있으며, 이는 특히 엣지 배포에 유용합니다.

Ultralytics Platform에서는 내보내기 기능이 워크플로우에 직접 구축되어 있어 클릭 몇 번으로 최적화된 모델을 빠르게 생성할 수 있습니다. 팀은 추가적인 부담 없이 학습 단계에서 외부 시스템에서 모델을 실행하는 단계로 이동할 수 있습니다.

그림 4. Ultralytics Platform에서 지원하는 다양한 내보내기 형식입니다.

Link to this section적절한 모델 배포 옵션 선택하기#

Ultralytics Platform의 각 배포 옵션은 초기 테스트부터 운영 단계까지 워크플로우의 서로 다른 단계를 지원합니다. 각 옵션을 사용하는 경우에 대한 개요는 다음과 같습니다:

• Predict 탭: 일반적으로 학습이나 파인튜닝 직후, 브라우저 기반 추론을 사용하여 모델이 새로운 데이터에서 어떻게 작동하는지 검증하고 싶을 때 사용합니다.
• 공유 추론: 이 단계에서는 모델을 API를 통해 애플리케이션에 통합하여 개발 중에 실제 상호작용을 테스트할 수 있습니다.
• 전용 엔드포인트: 모델에 일관된 성능, 전용 리소스, 그리고 글로벌 리전에 걸친 확장 능력이 필요한 운영 배포용으로 사용됩니다.
• 모델 내보내기: 모델을 플랫폼 외부에서 실행해야 할 경우, 내보내기 옵션을 통해 엣지 장치, 모바일 앱 또는 사용자 지정 인프라에 배포할 수 있습니다.

팀은 종종 이러한 옵션을 단계별로 거치며 검증에서 통합, 그리고 최종 운영 배포까지 모두 플랫폼 내에서 수행합니다.

Link to this sectionUltralytics Platform을 통한 배포된 모델 모니터링#

배포만큼이나 중요한 것이지만, 비전 파이프라인은 거기서 끝나지 않습니다. 모델이 운영 환경에서 실행되면, 시간이 지나도 안정적으로 작동하도록 지속적인 모니터링이 필수적입니다.

Ultralytics Platform은 팀이 비전 AI 모델의 동작을 명확하게 파악할 수 있도록 내장된 모니터링 도구를 제공하며, 보다 체계적인 MLOps(머신러닝 운영) 워크플로우를 지원합니다.

Deploy 페이지에는 총 요청 수, 활성 배포, 응답 지연 시간, 오류율과 같은 주요 지표를 추적하는 대시보드가 포함되어 있습니다. 이러한 통찰력을 통해 팀은 사용 패턴을 이해하고, 시스템 응답성을 평가하며, 다양한 워크로드에서 낮은 지연 시간의 성능을 보장할 수 있습니다.

그림 5. Ultralytics Platform은 배포된 모델을 쉽게 모니터링할 수 있게 합니다. (출처)

각 전용 엔드포인트는 개별 배포 뷰를 통해 상세한 관측 가능성을 제공합니다. 여기에는 로그, 모델 상태 정보 및 실시간 성능 데이터에 대한 액세스가 포함됩니다. 로그는 문제를 디버깅하고, 실패한 요청을 추적하며, 의존성이나 인프라와 관련된 잠재적 문제를 식별하는 데 사용될 수 있습니다.

운영 환경이 진화함에 따라 입력 데이터의 변화, 확장 요구 사항 또는 사용 패턴의 변화가 모델의 정확도와 견고성에 영향을 줄 수 있습니다. 성능 지표를 지속적으로 모니터링함으로써 팀은 이상 징후를 탐지하고, 병목 현상을 식별하며, 일관되고 안정적인 모델 서빙을 유지하기 위해 모델 최적화나 리소스 조정과 같은 수정 조치를 취할 수 있습니다.

Link to this section컴퓨터 비전 모델 배포에 확장성 구축하기#

컴퓨터 비전 시스템의 확장은 전통적으로 하나로 작동하도록 설계되지 않은 워크플로우와 프레임워크를 억지로 연결하는 것을 의미했습니다. 데이터 파이프라인, 학습 루프, 배포 인프라 및 모니터링 시스템이 종종 별도의 위치에 존재하여 모든 단계에서 마찰을 일으켰습니다.

진정한 도전은 모델을 만드는 것뿐만 아니라, 그것을 계속 가동하는 것입니다. 데이터에서 운영으로 이동하고, 새로운 입력에 적응하며, 증가하는 수요를 처리하고, 속도를 늦추지 않으면서 지속적으로 개선하는 것이 중요합니다.

Ultralytics Platform에서 돋보이는 점은 이러한 움직임이 내장되어 있다는 것입니다. 각 단계를 별도의 단계로 처리하는 대신, 모델을 동일한 환경 내에서 개발, 배포, 관찰 및 업데이트할 수 있는 지속적인 루프로 연결합니다.

이러한 전환은 팀이 확장하는 방식을 변화시킵니다. 더 이상 도구나 인프라의 오케스트레이션에 관한 문제가 아니라, 시스템이 성장함에 따라 추진력을 유지하는 것이 핵심입니다.

Link to this section핵심 요약#

컴퓨터 비전 모델과 같은 머신러닝 모델을 실제 애플리케이션에 도입하려면 안정적이고 확장 가능하며 관리하기 쉬워야 합니다. Ultralytics Platform은 모델 서빙, 배포, 모니터링과 같은 다양한 기능을 하나의 통합 환경으로 결합하여 이 과정을 간소화합니다. 유연한 배포 옵션과 내장 도구를 통해 팀은 실험 단계에서 운영 단계로 더 빠르게, 더 적은 복잡성으로 이동할 수 있습니다.

더 자세한 내용은 커뮤니티와 GitHub 저장소를 확인해 주십시오. 의료 분야의 AI 및 물류 분야의 컴퓨터 비전과 같은 다양한 애플리케이션을 보려면 솔루션 페이지를 살펴보십시오. 라이선스 옵션을 확인하고 지금 바로 구축을 시작해 보십시오!