배포를 위한 전용 추론 엔드포인트와 공유 추론 비교

최근 데이터셋 준비와 모델 학습부터 추론, 배포, 모니터링까지 컴퓨터 비전 워크플로 전체를 한곳에서 처리하는 엔드투엔드 솔루션인 Ultralytics Platform을 출시했습니다.

컴퓨터 비전 커뮤니티의 피드백을 바탕으로 구축된 이 플랫폼은 비전 AI 애플리케이션의 전체 수명 주기를 지원하는 통합 기능을 제공하여 개발의 각 단계를 간소화하도록 설계되었습니다.

예를 들어 모델 학습을 마친 뒤에는 실제 애플리케이션에서 추론을 실행하고 예측을 생성할 수 있도록 모델을 배포해야 합니다. 플랫폼은 다양한 배포 옵션을 제공하여 이 과정을 간편하게 만들어 줍니다.

모델을 내보내 자체 환경에서 실행하거나, 빠른 테스트를 위해 공유 추론을 사용하거나, 확장 가능한 프로덕션 환경에 적합한 전용 엔드포인트를 배포할 수 있습니다. 각 배포 옵션을 통해 AI 추론을 실행할 수 있지만, 서로 다른 개발 단계와 사용 사례를 지원하도록 설계되었습니다.

그림 1. Ultralytics Platform은 확장 가능한 글로벌 비전 AI 모델 배포를 지원합니다 (출처)

모델 내보내기를 사용하면 자체 인프라에서 모델을 실행하는 모든 과정을 직접 제어할 수 있고, 공유 추론을 사용하면 설정 없이 간편하게 테스트하고 실험할 수 있으며, 전용 엔드포인트는 안정적인 대규모 프로덕션 워크로드를 위해 구축되었습니다.

처음에는 공유 추론과 전용 엔드포인트가 상당히 비슷해 보일 수 있습니다. 두 옵션 모두 모델에 API 요청을 보내 구조화된 예측 결과를 받을 수 있으므로, 비전 AI를 애플리케이션에 쉽게 통합할 수 있습니다.

그러나 워크로드가 커지고 컴퓨터 비전 애플리케이션에서 실시간 추론 요청을 처리하기 시작하면 두 옵션의 차이가 더욱 중요해집니다. 이 문서에서는 공유 추론과 전용 엔드포인트를 자세히 비교하고, 각각을 언제 사용해야 하는지, 애플리케이션 규모가 커질수록 전용 엔드포인트가 더 나은 선택이 되는 이유를 살펴봅니다.

공유 추론을 사용한 배포 개요#

공유 추론은 인프라를 설정하거나 GPU 유형, 프레임워크 통합, 런타임 구성에 신경 쓰지 않고 모델에서 AI 추론을 실행하는 간단한 방법입니다. 모델 학습 또는 파인튜닝이 끝나면 플랫폼을 통해 바로 예측을 생성할 수 있습니다.

이 구성에서 모델은 미국, 유럽, 아시아 태평양 등 몇몇 주요 지역의 공유 멀티테넌트 컴퓨팅 리소스에서 실행됩니다. 요청은 사용 가능한 서비스로 자동 라우팅되므로 GPU 인스턴스나 런타임 환경을 구성할 필요가 없습니다. 모든 작업이 자동으로 처리되어 쉽게 시작할 수 있습니다.

공유 추론을 사용할 때는 Python 또는 CLI와 같은 도구를 통해 REST API로 모델에 요청을 보내고, 감지된 객체, 신뢰도 점수, 기타 예측 세부 정보를 포함한 구조화된 JSON 출력을 받습니다. 따라서 모델을 간편하게 테스트하고 애플리케이션에 통합할 수 있습니다.

시스템 리소스를 공유하므로 개발, 테스트, 가벼운 사용에 적합하도록 설계되었습니다. 예측을 검증하고 초기 통합을 구축하는 데 유용합니다. 다만 시스템 부하에 따라 성능이 달라질 수 있으며, API 키당 분당 20개 요청으로 사용량이 제한되므로 처리량이 높은 프로덕션 워크로드에는 적합하지 않습니다.

전반적으로 공유 추론은 대규모 애플리케이션으로 전환하기 전에 모델을 이해하고 개선하는 데 중점을 두는 초기 개발 단계에 가장 적합합니다.

전용 엔드포인트를 사용해 전 세계에 모델 배포#

전용 엔드포인트는 비전 AI 모델이 격리된 컴퓨팅 리소스에서 실행되는 단일 테넌트 추론 서비스입니다. 인프라를 공유하는 대신 각 엔드포인트는 CPU와 메모리 같은 리소스를 구성할 수 있는 자체 런타임을 제공하여 성능을 더 세밀하게 제어할 수 있습니다.

모델을 전용 엔드포인트로 배포하면 고유한 API URL이 할당되고 인증에 API 키가 사용되므로 애플리케이션에 쉽게 통합할 수 있습니다. 엔드포인트는 전 세계 43개 지역에 배포할 수 있어 사용자와 가까운 곳에서 추론을 실행하고 지연 시간을 줄일 수 있습니다.

그림 2. 전 세계 43개 지역에 전용 엔드포인트를 배포할 수 있습니다 (출처)

주요 장점 중 하나는 자동 확장입니다. 엔드포인트는 수신 요청에 따라 자동으로 조정되어 트래픽이 많을 때 확장하고 수요가 줄면 축소합니다. 기본적으로 스케일 투 제로가 활성화되어 있어 유휴 상태일 때 엔드포인트를 종료하고 필요할 때 다시 시작할 수 있으므로 리소스 사용을 최적화하는 데 도움이 됩니다.

즉, 전용 엔드포인트는 프로덕션 워크로드를 위해 설계되었습니다. 공유 추론보다 일관되게 낮은 지연 시간, 높은 처리량, 우수한 안정성을 제공합니다.

또한 전용 엔드포인트에는 요청 제한이 없습니다. 요청은 엔드포인트로 직접 전송되므로 처리 가능한 트래픽은 고정된 제한이 아니라 설정과 확장 방식에 따라 달라집니다.

기본 제공 모니터링, 로그, 상태 점검과 예측 가능한 런타임 및 시작 동작을 통해 모든 요금제에서 성능을 쉽게 추적하고 안정적인 배포를 유지할 수 있습니다. Free 요금제에서는 콜드 스타트에 일반적으로 5~45초가 걸리는 반면, Pro 요금제 엔드포인트는 웜 상태를 유지하여 더 빠르고 예측 가능한 추론 성능을 제공합니다.

간단히 말해, 전용 엔드포인트는 안정적이고 확장 가능하며 고성능 추론이 필요한 실시간 비전 AI 애플리케이션에 적합합니다.

공유 추론과 전용 엔드포인트: 주요 차이점#

공유 추론과 전용 엔드포인트의 차이점을 자세히 살펴보겠습니다.

• 지연 시간: 공유 환경에서는 리소스를 공유하므로 지연 시간이 달라질 수 있지만, 전용 엔드포인트는 더 일관되고 지연 시간이 짧은 응답을 제공합니다.
• 지역: 공유 추론은 일부 지역(미국, EU, AP)에서 사용할 수 있는 반면, 전용 엔드포인트는 전 세계 43개 지역에 배포할 수 있습니다.
• 확장성: 공유 추론에서는 확장 방식을 구성할 수 없지만, 전용 엔드포인트는 수신 트래픽에 따라 자동으로 확장됩니다.
• 요청 제한: 공유 추론은 API 키당 분당 20개 요청 또는 API 호출로 제한되는 반면, 전용 엔드포인트에는 플랫폼 차원의 요청 제한이 없습니다.
• 가격: 공유 추론은 테스트와 개발에 추가 비용 없이 포함되며, 전용 엔드포인트는 더 많은 제어 기능과 확장성을 제공하고 사용 요금은 리소스 구성과 배포 요구 사항에 따라 달라집니다.

프로덕션 워크로드에 전용 엔드포인트가 더 적합한 이유#

AI 및 머신러닝 애플리케이션이 테스트 단계에서 실제 환경으로 옮겨가면 성능, 확장성, 안정성이 필수 요소가 됩니다. 따라서 전용 엔드포인트는 공유 추론보다 분명한 이점을 제공합니다.

전용 엔드포인트에서는 사전 학습된 모델이나 사용자 지정 모델이 자체 컴퓨팅 리소스에서 실행되므로 다른 사용자의 영향을 받지 않습니다. 이를 통해 지연 시간을 낮고 일관되게 유지할 수 있으며, 이는 비디오 분석이나 모니터링 시스템 같은 실시간 애플리케이션에서 중요합니다.

그림 3. 전용 추론 엔드포인트를 사용한 배포 살펴보기 (출처)

예를 들어 여러 매장의 라이브 카메라 피드를 처리하는 소매 분석 시스템을 생각해 보세요. 전 세계 43개 지역에 엔드포인트를 배포하면 각 매장과 가까운 곳에서 추론을 실행해 지연 시간을 줄이고 응답 시간을 개선할 수 있습니다.

리소스를 공유하고 사용 가능한 지역이 제한된 공유 추론에서는 사용량이 많은 시간대에 성능이 달라질 수 있습니다.

전용 엔드포인트는 더 많은 트래픽을 처리하고 수요에 따라 자동으로 확장할 수도 있습니다. 기본 제공 모니터링, 로그, 상태 점검을 통해 더 예측 가능한 성능을 제공하므로 대규모의 지속적인 AI 워크로드에 적합합니다.

비전 AI 워크플로에서 공유 추론이 적합한 단계#

공유 추론과 전용 엔드포인트의 차이를 살펴보면서, 공유 추론이 전체 컴퓨터 비전 워크플로에서 어떤 역할을 하는지 궁금할 수 있습니다.

소매 분석 사례를 다시 살펴보겠습니다. 여러 매장에 비전 솔루션을 배포하기 전에 일반적으로 실제 데이터에서 솔루션이 어떻게 작동하는지 테스트하고 결과에 따라 개선해야 합니다.

공유 추론을 사용하면 인프라를 설정하지 않고도 매장 카메라의 샘플 이미지나 비디오 프레임을 전송해 예측 결과를 빠르게 검토할 수 있으므로 이 과정이 간편해집니다. 이는 모델 동작을 테스트하고, 잘못된 예측을 디버깅하며, 조명이나 매장 배치 변화와 같은 다양한 조건에서 결과를 검증하는 데 특히 유용합니다.

이러한 방식으로 반복 작업을 진행하면 프로덕션 환경으로 전환하기 전에 모델 정확도와 안정성을 개선할 수 있습니다. 테스트 시나리오에서 모델이 잘 작동하면 여러 위치에서 실시간으로 사용하도록 전용 엔드포인트에 배포할 수 있습니다.

공유 추론은 사용량이 적거나 드문 애플리케이션에도 적합합니다. 예를 들어 소규모 소매점에서는 완전한 규모의 배포 없이 가끔 방문객 흐름을 분석하거나 특정 시간대의 고객 활동을 살펴보는 데 사용할 수 있습니다. 이러한 경우 필요할 때 간편하고 비용 효율적으로 추론을 실행할 수 있습니다.

전용 엔드포인트의 실제 사용 사례#

AI 애플리케이션이 테스트 단계를 벗어나면 배포 방식이 성능, 확장성, 사용자 경험에 직접적인 영향을 미치기 시작합니다. 전용 엔드포인트는 안정적인 성능, 낮은 지연 시간, 대규모 워크로드 처리 능력을 제공하므로 다양한 산업 분야에서 폭넓게 사용할 수 있습니다.

다음은 실제 애플리케이션에서 전용 엔드포인트를 활용하는 일반적인 사례입니다.

• 소매 및 비디오 분석: 소매 체인은 컴퓨터 비전을 사용해 고객의 이동을 추적하고, 인기 제품을 식별하며, 매장 활동을 실시간으로 모니터링할 수 있습니다. 전용 엔드포인트는 혼잡 시간대에도 여러 매장에서 빠르고 일관된 추론을 보장합니다.
• 제조 및 품질 검사: 생산 라인에서 제품이 이동하는 동안 모델이 결함이나 이상을 감지할 수 있습니다. 전용 엔드포인트는 지속적인 실시간 추론을 지원하여 작업 속도를 늦추지 않으면서 팀이 문제를 조기에 발견하고 제품 품질을 유지하도록 돕습니다.
• 헬스케어 및 의료 영상: 의료 기관과 진단 검사실은 X선이나 스캔 영상과 같은 의료 이미지를 분석하는 데 비전 모델을 활용할 수 있습니다. 전용 엔드포인트는 민감한 데이터와 시간에 민감한 진단을 처리할 때 중요한 안정적이고 일관된 성능을 제공합니다.
• 창고 및 물류 자동화: 대형 창고에서는 컨베이어 벨트와 분류 라인처럼 동일한 여러 시스템을 운영하는 경우가 많으며, 사실상 같은 구성의 복제본으로 작동합니다. 컴퓨터 비전 모델은 각 복제본을 모니터링해 걸림이나 잘못 분류된 소포 같은 문제를 감지할 수 있습니다. 전용 엔드포인트는 모든 복제본에서 실시간으로 일관된 추론을 보장합니다.

공유 추론에서 전용 엔드포인트로 전환#

Ultralytics Platform의 주요 이점 중 하나는 애플리케이션이 성장함에 따라 공유 추론에서 전용 엔드포인트로 간편하게 전환할 수 있다는 점입니다. 도구를 바꾸거나 설정을 다시 구축할 필요 없이 동일한 환경에서 프로덕션에 바로 사용할 수 있는 배포로 전환할 수 있습니다.

공유 추론으로 모델을 테스트한 뒤 전용 엔드포인트로 옮기는 것은 간단한 다음 단계입니다. 같은 모델을 엔드포인트에 배포하고 원하는 지역과 컴퓨팅 리소스를 선택한 다음 애플리케이션에서 엔드포인트 URL을 업데이트하면 됩니다. 전체 통합 방식은 비슷하게 유지되므로 요청을 보내거나 응답을 처리하는 방법을 거의 변경하지 않아도 됩니다.

그림 4. Ultralytics Platform에서 전용 엔드포인트 URL 확인 (출처)

따라서 몇 번의 클릭만으로 테스트에서 프로덕션까지 확장할 수 있습니다. 워크로드가 늘거나 애플리케이션에 더 일관된 성능이 필요해지면 기존 워크플로를 중단하지 않고 전용 엔드포인트로 전환할 수 있습니다.

Ultralytics Platform에서 전용 엔드포인트를 사용해 모델을 배포하는 방법을 자세히 알아보려면 공식 Ultralytics Platform 문서를 확인하세요.

핵심 요점#

공유 추론은 테스트와 실험을 시작하기에 좋은 방법이지만, 프로덕션 워크로드에는 더 높은 일관성과 확장성이 필요합니다. 애플리케이션이 성장하면 전용 엔드포인트가 실제 환경에서 사용하기 위한 성능과 안정성을 제공합니다. 따라서 대부분의 프로덕션 배포에 가장 적합한 선택입니다.

커뮤니티에 참여하고 GitHub 저장소를 살펴보며 컴퓨터 비전 모델에 대해 자세히 알아보세요. 솔루션 페이지에서 농업 분야의 AI와 로보틱스 분야의 컴퓨터 비전 같은 애플리케이션에 대해 알아보세요. 라이선스 옵션을 확인하고 비전 AI를 시작해 보세요.