Model Deployment

Развертывание моделей — это критически важный этап, на котором обученная модель машинного обучения интегрируется в производственную среду для принятия практических решений или формирования прогнозов на основе новых данных. Это переход от исследовательского или экспериментального этапа, который часто проводится в изолированных ноутбуках, к реальному приложению, где модель взаимодействует с пользователями и системами. Этот процесс превращает статический файл весов и архитектуры в активный AI agent, способный приносить пользу, например, распознавать объекты в видеопотоке или рекомендовать товары на веб-сайте.

Эффективное развертывание требует решения задач, отличных от model training, включая задержки, масштабируемость и аппаратную совместимость. Организации часто используют Ultralytics Platform для оптимизации этого жизненного цикла, гарантируя, что модели, обученные в облаке, можно легко доставить в различные среды — от мощных серверов до граничных устройств с ограниченными ресурсами.

Link to this sectionЛандшафт развертывания#

Стратегии развертывания обычно делятся на две категории: облачное развертывание и граничное (edge) развертывание. Выбор во многом зависит от конкретных требований к скорости, конфиденциальности и сетевому соединению.

• Облачное развертывание: Модель находится на централизованных серверах, часто управляемых такими сервисами, как AWS SageMaker или Google Vertex AI. Приложения отправляют данные через интернет в модель посредством REST API, который обрабатывает запрос и возвращает результат. Этот метод предлагает практически неограниченную вычислительную мощность, что делает его идеальным для больших и сложных моделей, но он зависит от стабильного интернет-соединения.
• Граничное развертывание (Edge Deployment): Модель выполняется локально на устройстве, где генерируются данные, например, на смартфоне, дроне или заводской камере. Этот подход, известный как edge computing, минимизирует задержки и повышает конфиденциальность данных, так как информация не покидает устройство. Инструменты вроде TensorRT часто используются для оптимизации моделей под такие среды.

Link to this sectionПодготовка моделей к эксплуатации#

Прежде чем модель может быть развернута, она обычно проходит оптимизацию, чтобы обеспечить эффективную работу на целевом оборудовании. Этот процесс включает в себя model export, при котором формат обучения (например, PyTorch) конвертируется в формат для развертывания, такой как ONNX (Open Neural Network Exchange) или OpenVINO.

Optimization techniques like quantization reduce the model's size and memory footprint without significantly sacrificing accuracy. To ensure consistency across different computing environments, developers often use containerization tools like Docker, which package the model with all its necessary software dependencies.

Ниже приведен пример того, как экспортировать модель YOLO26 model в формат ONNX, что является обычным шагом при подготовке к развертыванию:

from ultralytics import YOLO

# Load the YOLO26 nano model
model = YOLO("yolo26n.pt")

# Export the model to ONNX format for broad compatibility
# This creates a file suitable for various inference engines
path = model.export(format="onnx")

print(f"Model successfully exported to: {path}")

Link to this sectionРеальные приложения#

Развертывание моделей обеспечивает работу широко используемых систем computer vision в различных отраслях.

• Контроль качества в производстве: В smart manufacturing развернутые модели отслеживают конвейерные ленты в реальном времени. Система камер, работающая с моделью, оптимизированной для устройств NVIDIA Jetson, может мгновенно обнаруживать дефекты в продуктах, подавая сигнал роботу-манипулятору для удаления бракованных изделий. Для этого требуется сверхнизкая задержка, которую может обеспечить только развертывание edge AI.
• Розничная аналитика: Магазины используют развернутые модели для анализа посещаемости и поведения покупателей. Интегрируя модели object tracking в потоки с камер видеонаблюдения, ритейлеры могут создавать тепловые карты популярных проходов. Эти данные помогают оптимизировать планировку магазина и улучшить inventory management, часто используя облачное развертывание для агрегирования данных из нескольких точек.

Link to this sectionРазвертывание vs. Инференс vs. Обучение#

Важно различать Развертывание моделей и связанные с ним термины в жизненном цикле машинного обучения:

• Обучение моделей — это образовательный этап, на котором алгоритм изучает закономерности на основе набора данных.
• Развертывание моделей — это этап интеграции, на котором обученная модель устанавливается в производственную инфраструктуру (серверы, приложения или устройства).
• Инференс (вывод) — это операционный этап, то есть сам процесс обработки развернутой моделью «живых» данных для получения прогноза. Например, inference engine выполняет вычисления, определенные развернутой моделью.

Link to this sectionМониторинг и обслуживание#

Развертывание — это не конец пути. После запуска модели требуют постоянного model monitoring для обнаружения проблем, таких как data drift, когда реальные данные начинают отличаться от обучающих. Инструменты вроде Prometheus или Grafana часто интегрируются для отслеживания метрик производительности, гарантируя надежность системы с течением времени. При снижении эффективности может потребоваться переобучение и повторное развертывание модели, что завершает цикл MLOps.