배포를 위한 전용 추론 엔드포인트 vs 공유 추론

최근 저희는 데이터셋 준비 및 모델 학습부터 추론, 배포, 모니터링에 이르기까지 전체 컴퓨터 비전 워크플로우를 한곳으로 통합하는 엔드투엔드 솔루션인 Ultralytics Platform을 선보였습니다.

컴퓨터 비전 커뮤니티의 피드백을 바탕으로 구축된 이 플랫폼은 비전 AI 애플리케이션의 전체 수명 주기를 지원하는 통합 기능을 제공하여 개발의 각 단계를 간소화하도록 설계되었습니다.

예를 들어, 모델 학습이 완료되면 다음 단계는 실제 애플리케이션에서 추론을 실행하고 예측을 수행할 수 있도록 이를 배포하는 것입니다. 본 플랫폼은 다양한 배포 옵션을 제공하여 이 과정을 간단하게 만듭니다.

모델을 내보내 자체 환경에서 실행하거나, 빠른 테스트를 위해 공유 추론을 사용하거나, 확장 가능한 프로덕션급 애플리케이션을 위해 전용 엔드포인트를 배포할 수 있습니다. 이러한 각 배포 옵션은 AI 추론 실행을 가능하게 하지만 서로 다른 단계와 사용 사례에 맞춰 설계되었습니다.

그림 1. Ultralytics Platform은 확장 가능한 글로벌 비전 AI 모델 배포를 지원합니다 (출처)

모델 내보내기를 통해 자체 인프라에서 모델을 실행할 수 있는 완전한 제어권을 확보하고, 공유 추론을 통해 설정 없이 간단하게 테스트 및 실험을 수행하며, 전용 엔드포인트를 통해 안정적인 대규모 프로덕션 워크로드를 운영할 수 있습니다.

언뜻 보기에 공유 추론과 전용 엔드포인트는 매우 유사해 보일 수 있습니다. 둘 다 모델에 API 요청을 보내고 구조화된 예측 결과를 받을 수 있어 비전 AI를 애플리케이션에 쉽게 통합할 수 있도록 해줍니다.

그러나 워크로드가 증가하고 컴퓨터 비전 애플리케이션이 실시간 추론 요청을 처리하기 시작하면 이들 옵션 간의 차이점은 더욱 중요해집니다. 이 글에서는 공유 추론과 전용 엔드포인트를 자세히 살펴보고, 둘을 비교하며, 언제 각각을 사용해야 하는지, 그리고 애플리케이션이 확장됨에 따라 왜 전용 엔드포인트가 더 나은 선택이 되는지 알아보겠습니다.

Link to this section공유 추론을 사용한 배포 개요#

공유 추론은 인프라 설정이나 GPU 유형, 프레임워크 통합, 런타임 구성에 대한 걱정 없이 모델에서 AI 추론을 실행하는 간단한 방법입니다. 모델이 학습되거나 파인튜닝되면 플랫폼을 통해 직접 예측을 수행할 수 있습니다.

이 구성에서 모델은 미국, 유럽, 아시아 태평양과 같은 핵심 지역 전반에 걸쳐 공유되는 다중 테넌트 컴퓨팅 리소스에서 실행됩니다. 요청은 자동으로 사용 가능한 서비스로 라우팅되므로 GPU 인스턴스나 런타임 환경을 구성할 필요가 없습니다. 모든 것이 자동으로 처리되므로 시작하기 매우 쉽습니다.

공유 추론을 사용하면 Python이나 CLI와 같은 도구를 통해 REST API로 모델에 요청을 보내고, 감지된 객체, 신뢰도 점수 및 기타 예측 세부 정보와 같은 구조화된 JSON 출력을 받습니다. 이를 통해 모델을 테스트하고 애플리케이션에 통합하는 것이 매우 원활해집니다.

시스템이 공유되는 특성상 개발, 테스트 및 가벼운 사용에 적합하게 설계되었습니다. 예측을 검증하고 초기 통합을 구축하는 데 효과적입니다. 동시에 시스템 부하에 따라 성능이 달라질 수 있으며 API 키당 분당 20회 요청으로 속도 제한이 있어 고처리량 프로덕션 워크로드에는 덜 적합합니다.

전반적으로 공유 추론은 대규모 애플리케이션으로 넘어가기 전 모델을 이해하고 개선하는 데 초점을 맞춘 초기 단계 개발에 가장 적합합니다.

Link to this section전용 엔드포인트를 사용한 글로벌 모델 배포#

전용 엔드포인트는 비전 AI 모델이 격리된 컴퓨팅 리소스에서 실행되는 단일 테넌트 추론 서비스입니다. 인프라를 공유하는 대신 각 엔드포인트는 CPU 및 메모리와 같이 구성 가능한 리소스를 갖춘 고유한 런타임을 가지므로 성능을 보다 세밀하게 제어할 수 있습니다.

모델을 전용 엔드포인트로 배포하면 고유한 API URL이 할당되고 인증을 위해 API 키가 사용되어 애플리케이션 통합이 용이해집니다. 이러한 엔드포인트는 43개의 글로벌 리전에 배포할 수 있어 사용자 가까이에서 추론을 실행하고 지연 시간을 줄일 수 있습니다.

그림 2. 43개의 글로벌 리전에 전용 엔드포인트를 배포할 수 있습니다 (출처)

핵심 장점 중 하나는 자동 확장(Autoscaling)입니다. 엔드포인트는 들어오는 요청에 따라 자동으로 조정되어 트래픽이 증가하면 확장하고 수요가 줄어들면 축소합니다. 기본적으로 '스케일 투 제로(scale-to-zero)' 기능이 활성화되어 있어 유휴 상태일 때는 엔드포인트가 종료되고 필요할 때 다시 시작되므로 리소스 사용을 최적화할 수 있습니다.

즉, 전용 엔드포인트는 프로덕션 워크로드를 위해 설계되었습니다. 공유 추론과 비교하여 일관된 낮은 지연 시간, 더 높은 처리량 및 더 뛰어난 신뢰성을 제공합니다.

또한 전용 엔드포인트에는 속도 제한이 없습니다. 요청이 엔드포인트로 직접 전달되므로 처리할 수 있는 트래픽 양은 고정된 제한이 아니라 사용자의 설정 및 확장 구성에 따라 달라집니다.

이 외에도 내장된 모니터링, 로그, 상태 확인, 예측 가능한 런타임 및 시작 동작을 통해 모든 플랜에서 성능을 추적하고 안정적인 배포를 유지하기가 쉽습니다. Free 플랜의 경우 콜드 스타트는 일반적으로 5~45초가 소요되지만, Pro 플랜 엔드포인트는 따뜻한 상태를 유지하여 더 빠르고 예측 가능한 추론 성능을 제공합니다.

간단히 말해, 전용 엔드포인트는 안정적이고 확장 가능하며 고성능인 추론이 필요한 실시간 비전 AI 애플리케이션에 이상적입니다.

Link to this section공유 추론 vs 전용 엔드포인트: 핵심 차이점#

공유 추론과 전용 엔드포인트의 비교를 자세히 살펴보겠습니다:

• 지연 시간: 공유 환경에서는 리소스 공유로 인해 지연 시간이 변동될 수 있지만, 전용 엔드포인트는 더 일관되고 낮은 지연 시간의 응답을 제공합니다.
• 리전: 공유 추론은 일부 리전(미국, EU, AP)에서만 제공되는 반면, 전용 엔드포인트는 43개 글로벌 리전 배포를 지원합니다.
• 확장성: 공유 추론에서는 확장을 구성할 수 없지만, 전용 엔드포인트는 들어오는 트래픽에 따라 자동으로 확장됩니다.
• 속도 제한: 공유 추론은 속도 제한이 있지만(API 키당 분당 20회 요청 또는 API 호출), 전용 엔드포인트는 플랫폼 속도 제한이 없습니다.
• 가격: 공유 추론은 테스트 및 개발을 위해 추가 비용 없이 포함되어 있으며, 전용 엔드포인트는 리소스 구성 및 배포 요구 사항에 따라 사용량이 결정되므로 더 큰 제어력과 확장성을 제공합니다.

Link to this section프로덕션 워크로드에 전용 엔드포인트가 더 나은 이유#

AI 및 머신 러닝 애플리케이션이 테스트에서 실제 사용 단계로 전환됨에 따라 성능, 확장성 및 신뢰성이 필수적이 됩니다. 이것이 바로 전용 엔드포인트가 공유 추론보다 명확한 이점을 제공하는 이유입니다.

전용 엔드포인트를 사용하면 사전 학습된 모델이나 커스텀 모델이 전용 컴퓨팅 리소스에서 실행되므로 다른 사용자의 영향을 받지 않습니다. 이는 영상 분석 및 모니터링 시스템과 같은 실시간 애플리케이션에 중요한 낮은 지연 시간을 일관되게 유지하는 데 도움이 됩니다.

그림 3. 전용 추론 엔드포인트를 사용한 배포 모습 (출처)

예를 들어, 여러 매장에서 라이브 카메라 피드를 처리하는 소매 분석 시스템을 생각해 보십시오. 43개 글로벌 리전에 엔드포인트를 배포하면 각 매장 가까이에서 추론을 실행할 수 있어 지연 시간을 줄이고 응답 속도를 향상시킬 수 있습니다.

리소스가 공유되고 리전이 제한적인 공유 추론의 경우, 바쁜 시간에는 성능이 변동될 수 있습니다.

전용 엔드포인트는 더 높은 트래픽을 처리하고 수요에 따라 자동으로 확장할 수 있습니다. 내장된 모니터링, 로그 및 상태 확인을 통해 더 예측 가능한 성능을 제공하므로 대규모 연속 AI 워크로드에 적합합니다.

Link to this section비전 AI 워크플로우에서 공유 추론의 역할#

공유 추론과 전용 엔드포인트의 차이점을 살펴보면서 공유 추론이 전체 컴퓨터 비전 워크플로우에서 어디에 위치하는지 궁금할 수 있습니다.

소매 분석 예시를 다시 살펴보겠습니다. 비전 솔루션을 여러 매장에 배포하기 전에 팀은 일반적으로 실제 데이터에서 어떻게 작동하는지 테스트하고 그 결과를 바탕으로 수정해야 합니다.

공유 추론은 인프라 설정 없이 매장 카메라의 샘플 이미지나 비디오 프레임을 보내고 예측 결과를 즉시 검토할 수 있게 하여 이 과정을 간단하게 만듭니다. 이는 모델 동작 테스트, 잘못된 예측 디버깅, 그리고 조명 변경이나 매장 레이아웃 변경과 같은 다양한 조건에서의 결과 검증에 특히 유용합니다.

이러한 방식으로 반복함으로써 팀은 프로덕션으로 넘어가기 전에 모델 정확도와 신뢰성을 향상시킬 수 있습니다. 테스트 시나리오에서 모델이 잘 작동하면 여러 위치에서 실시간으로 사용하기 위해 전용 엔드포인트에 배포할 수 있습니다.

공유 추론은 사용량이 낮거나 드문 애플리케이션에도 효과적일 수 있습니다. 예를 들어, 소규모 소매점에서는 대규모 배포 없이 특정 시간에만 유동 인구를 분석하거나 고객 활동을 검토할 때 사용할 수 있습니다. 이러한 경우 필요할 때마다 추론을 실행할 수 있는 간단하고 비용 효율적인 방법을 제공합니다.

Link to this section전용 엔드포인트의 실제 사용 사례#

AI 애플리케이션이 테스트 단계를 넘어서면 배포 방식 선택이 성능, 확장성 및 사용자 경험에 직접적인 영향을 미치기 시작합니다. 전용 엔드포인트는 안정적인 성능, 낮은 지연 시간 및 대규모 워크로드 처리 능력을 제공하므로 다양한 산업에서 광범위하게 사용될 수 있습니다.

전용 엔드포인트가 실제 애플리케이션에서 어떻게 사용될 수 있는지 보여주는 몇 가지 일반적인 사례는 다음과 같습니다:

• 소매업 및 영상 분석: 소매 체인은 컴퓨터 비전을 사용하여 고객의 이동을 추적하고, 인기 제품을 식별하며, 매장 활동을 실시간으로 모니터링할 수 있습니다. 전용 엔드포인트는 피크 시간대에도 여러 매장 지점에서 빠르고 일관된 추론 성능을 유지합니다.
• 제조업 및 품질 검사: 생산 라인에서 모델은 제품이 시스템을 통과할 때 결함이나 이상 현상을 감지할 수 있습니다. 전용 엔드포인트는 지속적인 실시간 추론을 지원하여 팀이 운영 속도를 늦추지 않으면서도 문제를 조기에 발견하고 제품 품질을 유지하도록 돕습니다.
• 헬스케어 및 의료 영상: 의료 서비스 제공자와 진단 검사실은 비전 모델을 사용하여 엑스레이나 스캔과 같은 의료 영상을 분석할 수 있습니다. 전용 엔드포인트는 민감한 데이터를 처리하고 신속한 진단이 필요할 때 필수적인 안정적이고 일관된 성능을 제공합니다.
• 창고 및 물류 자동화: 대규모 창고는 종종 컨베이어 벨트나 분류 라인과 같이 동일한 설정의 복제본으로 작동하는 여러 시스템을 운영합니다. 컴퓨터 비전 모델은 각 복제본을 모니터링하여 걸림 현상이나 잘못 배송된 패키지와 같은 문제를 감지할 수 있습니다. 전용 엔드포인트는 모든 복제본에서 실시간으로 일관된 추론을 보장합니다.

Link to this section공유 추론에서 전용 엔드포인트로 전환하기#

Ultralytics Platform의 핵심 장점 중 하나는 애플리케이션이 성장함에 따라 공유 추론에서 전용 엔드포인트로 이동하는 것이 얼마나 간단한가 하는 점입니다. 도구를 바꾸거나 설정을 다시 구축할 필요 없이 동일한 환경 내에서 프로덕션급 배포로 전환할 수 있습니다.

공유 추론으로 모델을 테스트한 후 전용 엔드포인트로 이동하는 것은 간단한 다음 단계입니다. 동일한 모델을 엔드포인트에 배포하고 선호하는 리전과 컴퓨팅 리소스를 선택한 다음 애플리케이션에서 엔드포인트 URL을 업데이트하면 됩니다. 전체 통합 과정이 유사하게 유지되므로 요청을 보내거나 응답을 처리하는 방식에 거의 변화가 없습니다.

그림 4. Ultralytics Platform에서 전용 엔드포인트 URL 확인 (출처)

이는 몇 번의 클릭만으로 테스트에서 프로덕션으로 확장할 수 있음을 의미합니다. 워크로드가 증가하거나 애플리케이션에 더 일관된 성능이 필요해지면 기존 워크플로우를 방해하지 않고 전용 엔드포인트로 이동할 수 있습니다.

Ultralytics Platform에서 전용 엔드포인트를 사용하여 모델을 배포하는 방법에 대해 자세히 알아보려면 공식 Ultralytics Platform 문서를 확인하십시오.

Link to this section핵심 요약#

공유 추론은 테스트와 실험을 위한 훌륭한 시작점이지만, 프로덕션 워크로드는 더 많은 일관성과 확장을 요구합니다. 애플리케이션이 성장함에 따라 전용 엔드포인트는 실제 사용을 지원하는 데 필요한 성능과 신뢰성을 제공합니다. 이로 인해 대부분의 프로덕션 배포에 가장 적합한 선택이 됩니다.

저희 커뮤니티에 참여하시고 GitHub 저장소를 살펴보며 컴퓨터 비전 모델에 대해 더 자세히 알아보세요. 솔루션 페이지에서 농업 분야의 AI 및 로봇 공학의 컴퓨터 비전과 같은 애플리케이션에 대해 읽어보시기 바랍니다. 라이선스 옵션을 확인하고 비전 AI를 시작해 보세요.