Model Deployment

Развертывание модели — это критически важный этап, на котором обученная модель машинного обучения интегрируется в рабочую среду, чтобы принимать практические решения или строить прогнозы на основе новых данных. Он знаменует переход от исследовательской или экспериментальной среды — часто изолированных ноутбуков — к работающему приложению, где модель взаимодействует с реальными пользователями и системами. Этот процесс превращает статичный файл с весами и архитектурой в активный AI-агент, способный приносить пользу, например распознавать объекты в видеопотоке или рекомендовать товары на веб-сайте.

Эффективное развертывание требует решения задач, отличных от задач обучения модели, включая задержку, масштабируемость и совместимость с оборудованием. Организации часто используют Ultralytics Platform, чтобы упростить этот жизненный цикл и обеспечить беспрепятственную доставку моделей, обученных в облаке, в различные среды — от мощных серверов до периферийных устройств с ограниченными ресурсами.

Ландшафт развертывания#

Стратегии развертывания обычно делятся на две категории: развертывание в облаке и развертывание на периферии. Выбор во многом зависит от конкретных требований к скорости, конфиденциальности и подключению.

• Развертывание в облаке: модель размещается на централизованных серверах, которыми часто управляют такие сервисы, как AWS SageMaker или Google Vertex AI. Приложения отправляют данные через интернет модели посредством REST API, которая обрабатывает запрос и возвращает результат. Этот метод предоставляет практически неограниченные вычислительные ресурсы, что делает его идеальным для больших и сложных моделей, но он зависит от стабильного интернет-соединения.
• Развертывание на периферии: модель работает локально на устройстве, где генерируются данные, например на смартфоне, дроне или промышленной камере. Этот подход, известный как периферийные вычисления, минимизирует задержку и повышает конфиденциальность данных, поскольку информация не покидает устройство. Такие инструменты, как TensorRT, часто используют для оптимизации моделей для этих сред.

Подготовка моделей к эксплуатации#

Перед развертыванием модель обычно оптимизируют, чтобы обеспечить ее эффективную работу на целевом оборудовании. Этот процесс включает экспорт модели, при котором формат обучения, например PyTorch, преобразуется в удобный для развертывания формат, такой как ONNX (Обмен открытыми нейронными сетями) или OpenVINO.

Методы оптимизации, такие как квантизация, уменьшают размер модели и объем занимаемой ею памяти без существенной потери точности. Чтобы обеспечить единообразие в разных вычислительных средах, разработчики часто используют инструменты контейнеризации, такие как Docker, которые упаковывают модель вместе со всеми необходимыми программными зависимостями.

Ниже приведен пример экспорта модели YOLO26 в формат ONNX — распространенного шага при подготовке к развертыванию:

from ultralytics import YOLO

# Load the YOLO26 nano model
model = YOLO("yolo26n.pt")

# Export the model to ONNX format for broad compatibility
# This creates a file suitable for various inference engines
path = model.export(format="onnx")

print(f"Model successfully exported to: {path}")

Практические применения#

Развертывание моделей лежит в основе широко используемых систем компьютерного зрения в различных отраслях.

• Контроль качества на производстве: в сфере умного производства развернутые модели в реальном времени контролируют конвейерные ленты. Камерная система с моделью, оптимизированной для устройств NVIDIA Jetson, может мгновенно обнаруживать дефекты продукции и подавать сигнал роботизированной руке для удаления неисправных изделий. Для этого требуется сверхнизкая задержка, которую может обеспечить только развертывание периферийного AI.
• Аналитика в розничной торговле: магазины используют развернутые модели для анализа посещаемости и поведения покупателей. Интегрируя модели [отслеживания объектов](https://ultralytics-translation-0.invalid в потоки с камер наблюдения, розничные сети могут создавать тепловые карты популярных проходов. Эти сведения помогают оптимизировать планировку магазинов и улучшать управление запасами, при этом для агрегирования данных из нескольких мест часто используется развертывание в облаке.

Развертывание, инференс и обучение: в чем разница#

Важно отличать развертывание модели от связанных терминов жизненного цикла машинного обучения:

• Обучение модели — это этап обучения, на котором алгоритм изучает закономерности по набору данных.
• Развертывание модели — это этап интеграции, на котором обученная модель устанавливается в рабочую инфраструктуру: на серверы, в приложения или на устройства.
• Инференс — это рабочий этап, то есть фактическая обработка развернутой моделью актуальных данных для получения прогноза. Например, модуль инференса выполняет вычисления, заданные развернутой моделью.

Мониторинг и обслуживание#

Развертывание — не конец процесса. После запуска модели требуют постоянного мониторинга модели для выявления таких проблем, как дрейф данных, при котором реальные данные начинают отклоняться от данных обучения. Для отслеживания показателей производительности часто интегрируют такие инструменты, как Prometheus или Grafana, чтобы система сохраняла надежность с течением времени. При снижении производительности модель может потребоваться переобучить и развернуть заново, завершив цикл MLOps.