Развертывание модели

Развертывание модели — это критически важный процесс интеграции обученной модели машинного обучения (ML) в реальную производственную среду, где она может получать входные данные и предоставлять прогнозы. Это заключительный этап жизненного цикла машинного обучения, преобразующий статический файл модели в функциональное приложение, приносящее пользу. Без эффективного развертывания даже самая точная модель остается лишь академическим упражнением. Цель состоит в том, чтобы сделать прогностическую силу модели доступной для конечных пользователей, программных приложений или других автоматизированных систем надежным и масштабируемым способом.

Что такое процесс развертывания?

Развертывание модели включает в себя нечто большее, чем просто сохранение обученных весов модели. Это многоэтапный процесс, который обеспечивает эффективную и надежную работу модели в целевой среде.

1. Оптимизация модели: Перед развертыванием модели часто оптимизируются по скорости и размеру. Такие методы, как квантование модели и обрезание модели, снижают вычислительные ресурсы, необходимые для инференса в реальном времени, без значительного снижения точности.
2. Экспорт модели: Оптимизированная модель затем преобразуется в формат, подходящий для целевой платформы. Например, модели Ultralytics можно экспортировать в различные форматы, такие как ONNX, TensorRT и CoreML, что делает их очень универсальными.
3. Упаковка: Модель и все ее зависимости (такие как определенные библиотеки и фреймворки) объединяются вместе. Контейнеризация с использованием таких инструментов, как Docker, является обычной практикой, поскольку она создает автономную, переносимую среду, которая обеспечивает стабильную работу модели везде.
4. Обслуживание: Упакованная модель развертывается на сервере или устройстве, где она может принимать запросы через API. Этот компонент, известный как обслуживание моделей, отвечает за обработку входящих данных и возврат прогнозов.
5. Мониторинг: После развертывания важен непрерывный мониторинг модели. Это включает в себя отслеживание показателей производительности, задержки и использования ресурсов, чтобы убедиться, что модель работает должным образом, и для обнаружения таких проблем, как дрейф данных.

Среды развертывания

Модели могут быть развернуты в различных средах, каждая из которых имеет свои преимущества и проблемы.

• Облачные платформы: Сервисы, такие как Amazon Web Services (AWS), Google Cloud Platform (GCP) и Microsoft Azure, предлагают мощную, масштабируемую инфраструктуру для размещения сложных моделей.
• Локальные серверы: Организации со строгими требованиями к конфиденциальности данных или те, кому необходим полный контроль над своей инфраструктурой, могут развертывать модели на своих собственных серверах.
• Edge AI-устройства: Edge AI предполагает развертывание моделей непосредственно на локальном оборудовании, таком как смартфоны, дроны, промышленные датчики или специализированные устройства, такие как NVIDIA Jetson. Этот подход идеально подходит для приложений, требующих низкой задержки inference и автономных возможностей.
• Веб-браузеры: Модели можно запускать непосредственно в веб-браузере с использованием таких фреймворков, как TensorFlow.js, что позволяет создавать интерактивные AI-интерфейсы без обработки на стороне сервера.

Применение в реальном мире

• Контроль качества производства: Модель Ultralytics YOLO, обученная для обнаружения дефектов, может быть развернута на периферийном устройстве в цехе. Модель, оптимизированная с помощью TensorRT для высокой пропускной способности, интегрирована с камерой, наблюдающей за конвейерной лентой. Она выполняет обнаружение объектов в режиме реального времени для выявления дефектной продукции, мгновенно подавая сигнал роботизированной руке для ее удаления. Весь этот процесс происходит локально, сводя к минимуму задержку сети и обеспечивая немедленное действие. Для получения дополнительной информации см. статью о том, как ИИ применяется в производстве.
• Интеллектуальная розничная аналитика: Модель компьютерного зрения для подсчета и отслеживания людей развернута на облачных серверах. Камеры в розничном магазине передают видео в облако, где модель обрабатывает потоки для создания тепловых карт перемещения клиентов и анализа структуры покупок. Приложение управляется с помощью Kubernetes для обработки различных нагрузок из нескольких магазинов, предоставляя ценную информацию для управления запасами и оптимизации планировки магазина.

Развертывание модели, обслуживание модели и MLOps

Эти термины тесно связаны, но различаются.

• Развертывание модели в сравнении с обслуживанием модели: Развертывание — это сквозной процесс, включающий в себя подготовку обученной модели к работе. Обслуживание модели — это конкретный компонент в процессе развертывания, который относится к инфраструктуре, отвечающей за запуск модели и ответы на запросы прогнозов, часто через API.
• Развертывание модели в сравнении с MLOps: Операции машинного обучения (MLOps) — это широкий набор практик, охватывающий весь жизненный цикл ИИ. Развертывание — это критически важный этап в рамках MLOps, который также включает в себя управление данными, обучение моделей, контроль версий, непрерывный мониторинг и переобучение. Платформы, такие как Ultralytics HUB, предоставляют интегрированную среду для управления всем этим рабочим процессом, от обучения пользовательских моделей до бесшовного развертывания и мониторинга.