Model Deployment

모델 배포는 학습된 머신러닝 모델을 프로덕션에 투입하는 과정입니다. 애플리케이션은 모델에 새 데이터를 보내고 예측 결과에 따라 동작합니다. 여기에는 모델이 실행될 위치 선택, 대상 런타임에서 실행할 수 있도록 모델을 형식으로 변환하는 작업, API나 앱을 통해 입력과 출력을 연결하는 작업, 새 버전을 안전하게 릴리스하는 작업, 실제 사용자가 모델에 의존하게 된 후 동작을 모니터링하는 작업이 포함됩니다. 노트북에서 좋은 점수를 기록한 모델도 배포되기 전까지는 실험에 불과합니다. 배포는 데이터 과학이 지연 시간, 비용, 가동 시간, 보안과 같은 소프트웨어 엔지니어링 제약 조건을 다루는 머신러닝 운영(MLOps) 단계입니다.

모델 배포 위치#

• 클라우드 배포: 모델이 REST 또는 gRPC 엔드포인트 뒤의 서버에서 실행됩니다. 일반적으로 모델 서빙 시스템을 통해 요청을 일괄 처리하고 수요에 따라 복제본 수를 조정합니다. 대규모 모델과 변동이 큰 트래픽에 적합하지만, 요청마다 네트워크 왕복이 발생합니다.
• 엣지 배포: 모델이 휴대폰, 카메라, 로봇, NVIDIA Jetson 모듈 등 데이터를 수집하는 장치에서 실행됩니다. 입력이 장치 밖으로 나가지 않아 개인정보를 보호하고 오프라인에서도 계속 작동하지만, 제한된 메모리와 전력 때문에 일반적으로 모델을 압축해야 합니다.
• 서버리스 배포: 플랫폼은 필요할 때 인스턴스를 시작하고 유휴 상태일 때 인스턴스 수를 0으로 줄입니다. 첫 요청의 콜드 스타트 지연을 감수하는 대신 요청이 없는 동안에는 비용이 발생하지 않습니다.
• 배치 배포: 예약된 작업이 야간 상품 추천처럼 대규모 데이터셋의 점수를 한 번에 계산합니다. 이 경우 요청당 속도보다 처리량이 중요합니다.

Ultralytics Platform은 학습된 YOLO 모델을 전용 엔드포인트에 배포하며, 42개 리전 중 하나를 선택할 수 있습니다. 각 리전에는 고유 URL과 모니터링 기능이 있으며, 기본 리소스 크기의 엔드포인트는 유휴 상태일 때 규모가 0으로 축소됩니다. 대상 선택은 애플리케이션에 관한 몇 가지 질문에 따라 달라지며, Ultralytics Academy 강의 배포 대상 선택에서 자세히 안내합니다.

프로덕션용 모델 준비#

학습 프레임워크는 유연성을 위해 설계되므로, 프로덕션 모델은 일반적으로 추론 엔진이 효율적으로 실행할 수 있는 형식으로 내보냅니다. 예를 들어 이식성을 위한 ONNX, NVIDIA GPU용 TensorRT, Intel 하드웨어용 OpenVINO, 휴대폰용 LiteRT 및 Core ML 등이 있습니다. 대상 장치의 리소스가 제한적이면 모델 양자화와 모델 가지치기로 모델을 더 작게 만듭니다. 그런 다음 내보낸 모델과 전처리 코드를 버전을 고정한 종속성과 함께 패키징합니다. 일반적으로 노트북, 서버, Kubernetes 클러스터에서 동일하게 실행되는 Docker 컨테이너를 사용합니다. 학습된 탐지기를 내보내고 릴리스 전에 내보낸 파일을 불러와 빠르게 확인하는 방법은 다음과 같습니다.

from ultralytics import YOLO

# Load a trained model (replace with your own best.pt)
model = YOLO("yolo26n.pt")

# Export to ONNX, a portable format that many inference engines run
path = model.export(format="onnx")
print(f"Deployable model: {path}")

# Smoke-test the exported file with the same API before shipping it
onnx_model = YOLO(path)
results = onnx_model("https://ultralytics.com/images/bus.jpg")
results[0].save(filename="bus_onnx.jpg")

내보내기 호출은 새 yolo26n.onnx 파일의 경로를 반환하며, 저장된 이미지로 내보낸 파일이 로드되고 탐지를 생성하는지 확인할 수 있습니다. 형식 변환과 낮은 정밀도로 인해 출력이 약간 달라질 수 있으므로, 팀에서는 검증 세트에서 내보낸 모델의 정확도와 속도를 원본 모델과 비교하기도 합니다.

새 모델 버전 릴리스#

오프라인 지표만으로는 프로덕션의 모든 조건을 파악할 수 없으므로, 새 모델 버전은 모델 레지스트리에 저장한 뒤 점진적으로 릴리스합니다. 섀도 배포에서는 현재 모델이 사용자에게 계속 응답하는 동안 새 모델에도 실시간 트래픽 사본을 전달하므로 위험 없이 두 모델을 비교할 수 있습니다. 이어서 카나리 릴리스는 실제 트래픽의 일부를 새 버전으로 전달하고, 오류율과 지연 시간, 예측 품질이 양호할 때만 적용 범위를 넓힙니다. A/B 테스트로는 비즈니스 성과에 미치는 영향을 측정합니다. 이전 버전을 배포 가능한 상태로 유지하면 긴급하게 다시 빌드하지 않고 설정만 변경해 롤백할 수 있습니다.

모델 배포와 관련 용어 비교#

• 모델 학습: 데이터셋으로 모델 가중치를 학습합니다. 배포는 학습이 완료된 가중치에서 시작합니다.
• 모델 서빙: 예측 요청에 응답하는 런타임 계층입니다. 패키징, 릴리스, 모니터링도 포함하는 배포의 한 부분입니다.
• 추론 지연 시간: 배포된 모델이 각 개별 예측을 계산하는 데 걸리는 시간으로, 배포가 충족해야 할 주요 요구 사항 중 하나입니다.

배포 후 모니터링#

환경이 바뀌면 배포된 모델은 눈에 띄지 않게 성능이 저하됩니다. 모델 모니터링은 지연 시간, 처리량, 오류율, 하드웨어 사용량과 같은 운영 신호와 입력 및 예측 통계를 추적하며, Prometheus와 Grafana 같은 도구를 사용하는 경우가 많습니다. 모니터링에서 문제를 감지하면 팀은 새로운 실패 사례에 레이블을 지정하고, 모델을 재학습한 뒤 새 버전을 동일한 릴리스 프로세스에 따라 배포합니다. 입력 통계는 가장 먼저 경고 신호를 제공합니다: 데이터 드리프트, 즉 카메라가 새로운 각도로 옮겨지거나 조명이 겨울철 조명으로 바뀌는 것처럼 입력 분포가 달라지는 현상은 정확도를 측정하는 데 필요한 프로덕션 데이터의 정답 레이블이 도착하기 며칠 또는 몇 주 전부터 입력 통계에 나타납니다.