Развертывание модели

Развертывание модели - это критический процесс интеграции обученной модели машинного обучения (ML) в живую производственную среду, где она может получать данные и выдавать прогнозы. Это заключительный этап жизненного цикла машинного обучения, превращающий статичный файл модели в функциональное приложение, генерирующее ценность. Без эффективного развертывания даже самая точная модель будет лишь академическим упражнением. Цель состоит в том, чтобы сделать предсказательную силу модели доступной для конечных пользователей, программных приложений или других автоматизированных систем надежным и масштабируемым способом.

Что такое процесс развертывания?

Развертывание модели - это не просто сохранение весов обученной модели. Это многоступенчатый процесс, который обеспечивает эффективную и надежную работу модели в целевой среде.

1. Оптимизация моделей: Перед развертыванием модели часто оптимизируются по скорости и размеру. Такие методы, как квантование и обрезка моделей, позволяют сократить вычислительные ресурсы, необходимые для выводов в режиме реального времени, без существенного снижения точности.
2. Экспорт модели: Оптимизированная модель затем преобразуется в формат, подходящий для целевой платформы. Модели Ultralytics, например, можно экспортировать в различные форматы, такие как ONNX, TensorRT и CoreML, что делает их очень универсальными.
3. Упаковка: Модель и все ее зависимости (например, специфические библиотеки и фреймворки) собираются вместе. Контейнеризация с помощью таких инструментов, как Docker, является распространенной практикой, так как она создает автономную, переносимую среду, которая обеспечивает стабильную работу модели повсюду.
4. Обслуживание: Упакованная модель размещается на сервере или устройстве, где она может принимать запросы через API. Этот компонент, известный как сервис модели, отвечает за обработку входящих данных и возврат прогнозов.
5. Мониторинг: После развертывания необходим постоянный мониторинг модели. Он включает в себя отслеживание показателей производительности, задержек и использования ресурсов, чтобы убедиться, что модель работает так, как ожидалось, и обнаружить такие проблемы, как дрейф данных.

Среды развертывания

Модели могут быть развернуты в различных средах, каждая из которых имеет свои преимущества и проблемы.

• Облачные платформы: Такие сервисы, как Amazon Web Services (AWS), Google Cloud Platform (GCP) и Microsoft Azure, предлагают мощную, масштабируемую инфраструктуру для размещения сложных моделей.
• Местные серверы: Организации, предъявляющие строгие требования к конфиденциальности данных или требующие полного контроля над своей инфраструктурой, могут развернуть модели на собственных серверах.
• Устройства Edge AI: Edge AI предполагает развертывание моделей непосредственно на локальном оборудовании, таком как смартфоны, дроны, промышленные датчики или специализированные устройства, например NVIDIA Jetson. Такой подход идеально подходит для приложений, требующих низкой задержки выводов и возможности работы в автономном режиме.
• Веб-браузеры: Модели можно запускать непосредственно в веб-браузере с помощью таких фреймворков, как TensorFlow.js, что позволяет создавать интерактивный искусственный интеллект без обработки на стороне сервера.

Применение в реальном мире

• Контроль качества на производстве: Модель Ultralytics YOLO, обученная выявлению дефектов, может быть развернута на пограничном устройстве в заводском цеху. Модель, оптимизированная с помощью TensorRT для высокой пропускной способности, интегрирована с камерой, расположенной над конвейерной лентой. Она выполняет обнаружение объектов в реальном времени для выявления дефектных продуктов, мгновенно подавая сигнал роботизированной руке для их удаления. Весь этот процесс происходит локально, что сводит к минимуму задержки в сети и обеспечивает немедленное принятие мер. Для получения дополнительной информации ознакомьтесь с тем, как ИИ применяется в производстве.
• Интеллектуальная аналитика розничной торговли: На облачных серверах развернута модель компьютерного зрения для подсчета и отслеживания людей. Камеры в розничном магазине передают видео в облако, где модель обрабатывает данные для создания тепловых карт покупательских потоков и анализа моделей покупок. Приложение управляется с помощью Kubernetes для обработки различных нагрузок из нескольких магазинов, что позволяет получить ценные сведения для управления запасами и оптимизации расположения магазинов.

Развертывание моделей, обслуживание моделей и MLOps

Несмотря на тесную взаимосвязь, эти термины отличаются друг от друга.

• Развертывание модели по сравнению с обслуживанием модели: Развертывание - это весь сквозной процесс получения обученной модели и приведения ее в рабочее состояние. Обслуживание модели - это особый компонент развертывания, который относится к инфраструктуре, отвечающей за запуск модели и реагирование на запросы прогнозирования, часто через API.
• Развертывание модели в сравнении с MLOps: Операции машинного обучения (MLOps) - это широкий набор практик, охватывающий весь жизненный цикл ИИ. Развертывание - важнейший этап в рамках MLOps, который также включает управление данными, обучение моделей, создание версий, непрерывный мониторинг и переобучение. Платформы, подобные Ultralytics HUB, обеспечивают интегрированную среду для управления всем этим рабочим процессом, начиная с обучения пользовательских моделей и заканчивая их беспрепятственным развертыванием и мониторингом.