모델 서빙

모델 서빙의 중요성

모델 서빙은 ML 모델을 운영하기 위한 기본 요소입니다. 이 기능이 없으면 아무리 정확한 모델이라도 최첨단 Ultralytics YOLO 객체 감지기처럼 가장 정확한 모델도 개발 환경에서 고립된 채로 실제 프로세스에 영향을 미칠 수 없습니다. 효과적인 모델 서비스는 학습 중에 개발된 인사이트와 자동화 기능에 액세스하고 사용할 수 있도록 보장합니다. 실시간 추론이 가능하므로 애플리케이션이 새로운 데이터에 동적으로 대응할 수 있으며, 이는 비디오의 객체 감지부터 챗봇의 자연어 처리(NLP) 에 이르기까지 다양한 작업에 매우 중요합니다. 궁극적으로 모델 제공은 AI 이니셔티브의 투자 수익률(ROI)을 실현하는 데 필수적입니다.

모델 제공 대 모델 배포

종종 같은 의미로 사용되기도 하지만, 모델 제공은 엄밀히 말해 모델 배포라는 광범위한 프로세스 내의 특정 구성 요소입니다. 모델 배포에는 패키징, 인프라 설정, 통합 및 모니터링을 포함하여 학습된 모델을 라이브 프로덕션 환경에서 작동시키는 데 필요한 모든 단계가 포함됩니다. 모델 서빙은 모델을 호스팅하고 들어오는 예측 요청을 처리하는 인프라 및 소프트웨어 계층에 특히 중점을 두며, 종종 REST 또는 gRPC와 같은 네트워크 프로토콜을 통해 모델의 기능을 서비스로 사용할 수 있도록 합니다. 자세한 내용은 모델 배포 옵션에 대한 가이드를 참조하세요.

실제 애플리케이션

모델 서빙은 우리가 매일 사용하는 수많은 AI 기반 기능을 가능하게 합니다. 다음은 두 가지 예입니다:

• 전자상거래 플랫폼: 추천 시스템은 사용자의 검색 기록과 선호도에 따라 실시간으로 개인화된 상품 추천을 제공합니다. 모델 서비스 인프라는 수백만 건의 요청을 처리하여 짧은 추론 대기 시간을 보장합니다.
• 의료 진단: 의료 이미지 분석에서는 스캔에서 종양과 같은 이상 징후를 감지하도록 훈련된 모델이 보안 엔드포인트를 통해 제공됩니다. 임상의는 이미지를 업로드하고 진단 지원(방사선학: 인공 지능)을 빠르고 효율적으로 받을 수 있습니다.

모델 서빙의 주요 구성 요소

강력한 모델 서빙 시스템을 구현하려면 여러 구성 요소가 함께 작동해야 합니다:

• 모델 형식: 모델은 다음과 같이 서빙에 적합한 형식으로 패키징해야 합니다. ONNX와 같은 형식으로 패키징하거나 TensorRT 와 같은 도구를 사용하여 최적화해야 NVIDIA GPU와 같은 특정 하드웨어에서 더 나은 성능을 얻을 수 있습니다.
• 서빙 프레임워크: 전문 소프트웨어가 모델 로드, 리소스 관리, 추론 요청 처리를 효율적으로 처리합니다. 예를 들어 TensorFlow Serving, TorchServe 및 Ultralytics 모델과 통합되는 NVIDIA Triton 추론 서버가 있습니다Triton 통합 가이드).
• API 엔드포인트: 클라이언트 애플리케이션이 데이터를 전송하고 예측을 수신할 수 있는 인터페이스(예: REST, gRPC)입니다. 이는 보안, 속도 제한 및 라우팅을 위해 API 게이트웨이에서 관리하는 경우가 많습니다.
• 인프라: 모델이 제공되는 기본 하드웨어 및 환경으로, Amazon SageMaker 또는 Google Cloud AI Platform(Vertex AI)과 같은 클라우드 컴퓨팅 플랫폼, 온프레미스 서버 또는엣지 컴퓨팅 디바이스(엣지 AI 디바이스에 배포하기)가 될 수 있습니다. 패키징에는 Docker와 같은 컨테이너화 도구가 자주 사용됩니다(Docker 퀵스타트).
• 모니터링 및 로깅: 성능 지표(지연 시간, 처리량, 오류율), 리소스 사용률, 데이터 드리프트와 같은 잠재적 문제를 추적하기 위한 도구(모델 모니터링 가이드).

Ultralytics HUB와 같은 플랫폼은 이러한 전체 워크플로우를 간소화하여 컴퓨터 비전 모델의 훈련, 버전 관리, 배포 및 서비스를 위한 통합 솔루션을 제공하며, MLOps(머신 러닝 운영) 모범 사례에 부합하는 것을 목표로 합니다. 주요 고려 사항으로는 로드 변경을 처리할 수 있는 확장성, 보안(데이터 보안) 및 유지 관리 용이성이 있습니다.