모델 배포

모델 배포는 학습된 머신 러닝(ML) 모델을 라이브 프로덕션 환경에 통합하여 입력을 받고 예측을 제공할 수 있도록 하는 중요한 프로세스입니다. 이는 머신 러닝 수명 주기의 마지막 단계로, 정적 모델 파일을 기능적이고 가치를 창출하는 애플리케이션으로 변환합니다. 효과적으로 배포하지 않으면 아무리 정확한 모델이라도 학문적인 연습에 불과합니다. 목표는 최종 사용자, 소프트웨어 애플리케이션 또는 기타 자동화된 시스템에서 안정적이고 확장 가능한 방식으로 모델의 예측력에 액세스할 수 있도록 하는 것입니다.

배포 프로세스는 무엇인가요?

모델 배포에는 단순히 학습된 모델 가중치를 저장하는 것 이상의 작업이 포함됩니다. 모델이 대상 환경에서 효율적이고 안정적으로 작동하도록 보장하는 다단계 프로세스입니다.

1. 모델 최적화: 배포 전에 모델은 속도와 크기에 맞게 최적화되는 경우가 많습니다. 모델 정량화 및 모델 가지치기와 같은 기술은 정확도를 크게 떨어뜨리지 않으면서 실시간 추론에 필요한 계산 리소스를 줄여줍니다.
2. 모델 내보내기를 클릭합니다: 최적화된 모델은 대상 플랫폼에 적합한 형식으로 변환됩니다. 예를 들어, 울트라트래픽 모델은 ONNX, TensorRT, CoreML과 같은 다양한 형식으로 내보낼 수 있어 활용도가 매우 높습니다.
3. 패키징: 모델과 모든 종속성(예: 특정 라이브러리 및 프레임워크)이 함께 번들로 묶여 있습니다. Docker와 같은 도구를 사용한 컨테이너화는 모델이 어디서나 일관되게 실행되도록 하는 독립적이고 이식 가능한 환경을 만들기 때문에 일반적인 관행입니다.
4. 서빙: 패키지 모델은 API를 통해 요청을 수락할 수 있는 서버 또는 장치에 배포됩니다. 모델 서비스라고 하는 이 구성 요소는 들어오는 데이터를 처리하고 예측을 반환하는 일을 담당합니다.
5. 모니터링: 배포 후에는 지속적인 모델 모니터링이 필수적입니다. 여기에는 모델이 예상대로 작동하는지 확인하고 데이터 드리프트와 같은 문제를 감지하기 위해 성능 지표, 지연 시간 및 리소스 사용량을 추적하는 것이 포함됩니다.

배포 환경

모델은 각각 고유한 장점과 과제가 있는 다양한 환경에 배포할 수 있습니다.

• 클라우드 플랫폼: AWS(Amazon Web Services), GCP(Google Cloud Platform), Microsoft Azure와 같은 서비스는 복잡한 모델을 호스팅할 수 있는 강력하고 확장 가능한 인프라를 제공합니다.
• 온프레미스 서버: 엄격한 데이터 개인정보 보호 요구 사항이 있거나 인프라에 대한 완전한 제어가 필요한 조직은 자체 서버에 모델을 배포할 수 있습니다.
• 엣지 AI 디바이스: 엣지 AI는 스마트폰, 드론, 산업용 센서 또는 NVIDIA Jetson과 같은 특수 장치와 같은 로컬 하드웨어에 직접 모델을 배포하는 방식을 포함합니다. 이 접근 방식은 짧은 추론 지연 시간과 오프라인 기능이 필요한 애플리케이션에 이상적입니다.
• 웹 브라우저: TensorFlow.js와 같은 프레임워크를 사용하여 웹 브라우저에서 직접 모델을 실행할 수 있으므로 서버 측 처리 없이 대화형 AI 환경을 구현할 수 있습니다.

실제 애플리케이션

• 제조 품질 관리: 결함 감지를 위해 훈련된 Ultralytics YOLO 모델을 공장 현장의 엣지 디바이스에 배포할 수 있습니다. 높은 처리량을 위해 TensorRT로 최적화된 이 모델은 컨베이어 벨트를 내려다보는 카메라와 통합되어 있습니다. 이 모델은 실시간 물체 감지를 수행하여 결함이 있는 제품을 식별하고 즉시 로봇 팔에 신호를 보내 제거합니다. 이 전체 프로세스는 로컬에서 이루어지므로 네트워크 지연을 최소화하고 즉각적인 조치를 취할 수 있습니다. 자세한 내용은 제조업에서 AI가 적용되는 방법을 참조하세요.
• 스마트 리테일 분석: 사람 수 계산 및 추적을 위한 컴퓨터 비전 모델이 클라우드 서버에 배포됩니다. 소매점의 카메라가 클라우드에 비디오를 스트리밍하면 모델이 피드를 처리하여 고객 흐름 히트맵을 생성하고 쇼핑 패턴을 분석합니다. 이 애플리케이션은 여러 매장의 다양한 부하를 처리하기 위해 Kubernetes로 관리되어 재고 관리 및 매장 레이아웃 최적화를 위한 귀중한 인사이트를 제공합니다.

모델 배포, 모델 서빙 및 MLOps

이 용어들은 밀접하게 관련되어 있지만 서로 다른 용어입니다.

• 모델 배포와 모델 서비스: 배포는 학습된 모델을 가져와서 작동하도록 만드는 전체 엔드투엔드 프로세스입니다. 모델 서빙은 배포의 특정 구성 요소로, 모델을 실행하고 예측 요청에 응답하는 인프라를 말하며, 주로 API를 통해 이루어집니다.
• 모델 배포와 MLOps: 머신 러닝 운영(MLOps) 은 전체 AI 수명 주기를 포괄하는 광범위한 관행입니다. 배포는 데이터 관리, 모델 훈련, 버전 관리, 지속적인 모니터링 및 재훈련을 포함하는 MLOps 프레임워크 내에서 중요한 단계입니다. Ultralytics HUB와 같은 플랫폼은 사용자 지정 모델 교육부터 원활한 배포 및 모니터링에 이르기까지 이 전체 워크플로우를 관리할 수 있는 통합 환경을 제공합니다.