Как Ultralytics Platform упрощает развертывание моделей компьютерного зрения

Ultralytics уже много лет сотрудничает с сообществом специалистов по компьютерному зрению, создавая модели и инструменты, которые делают ИИ в компьютерном зрении доступнее для всех. С помощью платформы Ultralytics мы идем еще дальше и объединяем весь рабочий процесс разработки решений компьютерного зрения в единой среде: от управления датасетами и разметки до обучения, валидации и развертывания моделей.

В частности, мы рады упростить развертывание моделей компьютерного зрения. По мере того как компьютерное зрение все шире применяется в реальных задачах, анализ изображений и видео вне контролируемых условий по-прежнему остается сложной задачей.

В отличие от тестовых конфигураций с предсказуемыми условиями, реальные сценарии предполагают разное освещение, меняющиеся входные данные и непредсказуемые нагрузки, поэтому развертывание становится одной из самых сложных частей процесса компьютерного зрения.

Развертывание — это не просто предоставление модели для использования. Оно требует настройки процессов, способных обрабатывать реальные данные, и обеспечения бесперебойной работы по мере роста использования и масштабирования проектов.

Командам также необходимо отслеживать производительность и поддерживать надежность системы в течение долгого времени. Часто это означает переключение между разными инструментами ИИ для тестирования, интеграции, развертывания и мониторинга, что может замедлить разработку моделей и добавить лишнюю сложность.

В результате рабочие процессы оказываются разрозненными. Ultralytics Platform объединяет и упрощает этот процесс.

Платформа предоставляет встроенные средства для обслуживания моделей, тестирования и мониторинга в единой среде. Команды могут проверять модели с помощью инференса в браузере, интегрировать их в приложения через общие сервисы инференса и развертывать на выделенных конечных точках с возможностью мониторинга производительности.

Рис. 1. Страница развертывания в Ultralytics Platform (Источник)

В этой статье мы расскажем, как Ultralytics Platform упрощает развёртывание моделей компьютерного зрения: от тестирования и интеграции до развёртывания в production и мониторинга. Начнём!

Обзор развертывания моделей компьютерного зрения#

В жизненном цикле машинного обучения развертывание модели — это этап, на котором модель переходит от экспериментов к применению в реальных условиях. Для моделей компьютерного зрения, созданных с помощью глубокого обучения и сверточных нейронных сетей, это обычно означает, что они становятся доступны для обработки изображений и видео в реальном времени.

После развертывания модели получают новые данные, которые обычно проходят предварительную обработку, например изменение размера, нормализацию или форматирование. Затем обработанные данные передаются модели, которая применяет закономерности, выявленные во время обучения, чтобы сформировать высокоточные предсказания.

В зависимости от сценария использования это могут быть разные задачи компьютерного зрения. Например, модели Ultralytics YOLO, в том числе Ultralytics YOLO26, поддерживают широкий спектр задач: обнаружение объектов, сегментацию экземпляров, классификацию изображений, оценку позы и обнаружение ориентированных ограничивающих рамок (OBB).

Чтобы применять модели в реальных задачах, их часто необходимо интегрировать в системы, способные эффективно выполнять предварительную обработку и инференс. Здесь инфраструктура развертывания становится необходимой.

В промышленных средах доступ к моделям обычно получают через REST API или системы обслуживания моделей. Эти интерфейсы позволяют приложениям программно отправлять данные и получать предсказания, упрощая интеграцию с внешними приложениями, устройствами IoT и робототехническими системами, которым необходимо анализировать визуальные данные в реальном времени.

Ограничения традиционных инструментов развертывания компьютерного зрения#

Развертывание моделей компьютерного зрения может показаться простой задачей, но до сих пор на практике оно выглядело иначе. Рассмотрим типичную схему: данные сначала поступают с камер или датчиков, затем отправляются модели для инференса, а после этого возвращаются в приложение в виде предсказаний.

На практике каждым из этих этапов часто управляют отдельные инструменты и сервисы. Одна система может отвечать за сбор данных, другая — за обслуживание модели, а дополнительные инструменты используются для масштабирования, мониторинга и ведения журналов. Поддерживать взаимодействие этих компонентов и их надежную работу может быстро стать сложно.

По мере роста использования эта сложность увеличивается. Управление инфраструктурой, работа с зависимостями и поддержание стабильной производительности на всех этапах сквозного конвейера могут замедлить разработку и усложнить развертывание моделей компьютерного зрения в реальных приложениях.

Ultralytics Platform объединяет эти компоненты в единой среде. Это позволяет более целостно управлять всем процессом развертывания и одновременно обеспечивать производительность и надежность при масштабировании.

Варианты развертывания моделей в Ultralytics Platform#

Помимо объединения процесса развертывания моделей, Ultralytics Platform также позволяет гибко выбирать, как развертывать модели и работать с ними.

Для поддержки разных этапов развертывания моделей компьютерного зрения платформа предлагает четыре варианта: тестирование в браузере с мгновенным инференсом, общий инференс через API для разработки, выделенные конечные точки для масштабируемого развертывания в промышленной среде по всему миру и экспорт моделей для запуска на внешней инфраструктуре или периферийных устройствах.

Давайте подробнее рассмотрим, как работает каждый из этих вариантов.

Быстрая проверка моделей на вкладке Predict#

Прежде чем переводить модель в промышленную эксплуатацию, важно понять, как она работает на новых данных, которые не встречались ей раньше. В Ultralytics Platform есть встроенная вкладка Predict, позволяющая запускать инференс прямо в браузере без настройки, инфраструктуры и зависимостей.

Вкладка Predict позволяет быстро и интерактивно проверять модели. Ты можешь загружать изображения, использовать предварительно загруженные примеры или получать данные с веб-камеры; инференс запускается автоматически сразу после поступления данных.

Результаты отображаются мгновенно: визуальные наложения, оценки уверенности и подробные выходные данные наглядно показывают, как ведет себя модель.

Рис. 2. Пример проверки модели на вкладке Predict (Источник)

Всего за несколько нажатий ты можешь проверить разные входные данные, настроить параметры и оценить производительность в едином интерфейсе, прежде чем переходить к развертыванию.

Общий инференс для тестирования и небольших нагрузок#

Представь, что ты обучил модель и проверил ее на вкладке Predict. Следующим шагом часто становится интеграция модели в приложение или рабочий процесс.

Вместо настройки инфраструктуры или управления серверами Ultralytics Platform предоставляет общие сервисы инференса, которые позволяют отправлять данные модели и получать предсказания через простые REST API.

За кулисами общий инференс работает в многопользовательской системе в нескольких основных регионах; запросы автоматически направляются в ближайший доступный сервис. Это помогает поддерживать быстрый отклик и обеспечивает стабильный доступ к моделям для пользователей из разных мест.

Ты можешь отправлять входные данные с помощью стандартных HTTP-запросов и получать структурированные результаты, что упрощает подключение моделей к приложениям, скриптам и рабочим процессам автоматизации. Такой подход отлично подходит для разработки, тестирования, интеграции или небольших нагрузок до перехода к более масштабируемому развёртыванию в production.

Глобальное развертывание моделей через выделенные конечные точки#

Когда модель готова к промышленной эксплуатации, она должна надежно обрабатывать реальный трафик и масштабироваться. Ultralytics Platform обеспечивает это с помощью выделенных конечных точек, где модели работают как сервисы с выделенным арендатором в 42 регионах мира. Развертывание ближе к конечным пользователям снижает задержку и обеспечивает стабильно высокую производительность в разных регионах.

Для каждой конечной точки выделяются собственные вычислительные ресурсы и уникальный URL для запросов инференса. Такой уровень контроля позволяет легко настраивать развертывание под требования к производительности: от простых сценариев до ресурсоемких приложений с высокой пропускной способностью.

Рис. 3. С помощью Ultralytics Platform ты можешь развертывать модели в 42 регионах мира (Источник)

При использовании ресурсов по умолчанию простаивающие выделенные конечные точки масштабируются до нуля и перезапускаются при поступлении новых запросов. Это помогает оптимизировать использование ресурсов без ручного вмешательства. Для конечных точек с пользовательской конфигурацией ресурсов вместо этого постоянно поддерживается один готовый экземпляр.

Легко экспортируй модель с помощью Ultralytics Platform#

Сегодня периферийный ИИ становится все важнее, поскольку все больше приложений запускают модели непосредственно на таких устройствах, как смартфоны, камеры и встраиваемые системы. Локальный запуск моделей также помогает соблюдать требования к конфиденциальности данных: конфиденциальные данные, например изображения и видеопотоки, можно обрабатывать непосредственно на устройстве, не отправляя их на внешние серверы.

В таких сценариях модели должны работать вне Ultralytics Platform, поэтому экспорт моделей становится важной частью процесса развёртывания. Модели Ultralytics YOLO обычно обучают с помощью Python и PyTorch, а затем можно экспортировать более чем в 17 форматов, включая ONNX, TensorRT, CoreML и OpenVINO.

Широкий выбор форматов обеспечивает совместимость с разным оборудованием: от высокопроизводительных графических процессоров (GPUs) до мобильных и встраиваемых устройств. Кроме того, экспорт позволяет оптимизировать производительность для конкретной среды.

В зависимости от формата модели могут обеспечивать более высокую скорость инференса: например, TensorRT повышает производительность GPU, а ONNX и OpenVINO оптимизируют выполнение на CPU. Квантование в форматах FP16 и INT8 дополнительно уменьшает размер модели и повышает пропускную способность, что особенно полезно для развертывания на периферийных устройствах.

В Ultralytics Platform экспорт встроен непосредственно в рабочий процесс, поэтому оптимизированные модели можно быстро подготовить всего за несколько кликов. Команды могут переходить от обучения к запуску моделей на внешних системах без лишних затрат ресурсов и времени.

Рис. 4. Некоторые форматы экспорта в Ultralytics Platform.

Как выбрать подходящий вариант развертывания модели#

Каждый вариант развертывания в Ultralytics Platform подходит для своего этапа рабочего процесса — от начального тестирования до промышленной эксплуатации. Вот когда можно использовать каждый из них:

• Вкладка Predict: обычно ее используют сразу после обучения или дообучения, чтобы проверить работу модели на новых данных с помощью инференса в браузере.
• Общий инференс: на этом этапе модели можно интегрировать в приложения через API и тестировать взаимодействие с ними в реальных условиях во время разработки.
• Выделенные конечные точки: их используют для промышленного развертывания, когда моделям нужны стабильная производительность, выделенные ресурсы и возможность масштабирования по всему миру.
• Экспорт модели: если модели должны работать за пределами платформы, их можно экспортировать для развертывания на периферийных устройствах, в мобильных приложениях или на собственной инфраструктуре.

Часто команды последовательно переходят от одного варианта к другому: от проверки к интеграции и затем к промышленному развертыванию — и все это в рамках одной платформы.

Мониторинг развернутых моделей с помощью Ultralytics Platform#

Развёртывание крайне важно, но на нём работа с конвейером компьютерного зрения не заканчивается. После запуска модели в production непрерывный мониторинг необходим, чтобы гарантировать её надёжную работу с течением времени.

Ultralytics Platform предоставляет встроенные инструменты мониторинга, которые помогают командам четко отслеживать поведение моделей ИИ для компьютерного зрения с течением времени и выстраивать более структурированный процесс эксплуатации машинного обучения (MLOps).

На странице Deploy есть панель мониторинга, которая отслеживает ключевые показатели: общее число запросов, активные развертывания, задержку ответа и частоту ошибок. Эти данные помогают командам понимать особенности использования, оценивать скорость отклика системы и обеспечивать низкую задержку при разных нагрузках.

Рис. 5. Ultralytics Platform упрощает мониторинг развернутых моделей. (Источник)

Для каждой выделенной конечной точки также доступны подробные данные наблюдаемости на отдельной странице развертывания. Там можно просматривать журналы, состояние модели и данные о производительности в реальном времени. Журналы помогают отлаживать проблемы, отслеживать неудачные запросы и выявлять потенциальные неполадки, связанные с зависимостями или инфраструктурой.

По мере изменений в промышленной среде на точность и устойчивость модели могут влиять такие факторы, как изменения входных данных, потребность в масштабировании или сдвиги в характере использования. Непрерывно отслеживая показатели производительности, команды могут обнаруживать аномалии и узкие места, а также принимать корректирующие меры — например, оптимизировать модель или менять объем ресурсов, — чтобы обеспечить стабильное и надежное обслуживание модели.

Масштабирование развертывания моделей компьютерного зрения#

Традиционно масштабирование систем компьютерного зрения означало объединение рабочих процессов и платформ, изначально не предназначенных для совместной работы. Конвейеры данных, циклы обучения, инфраструктура развертывания и системы мониторинга часто находятся в разных местах, создавая трудности на каждом этапе.

Настоящая сложность заключается не только в создании моделей, но и в том, чтобы поддерживать их развитие: переходить от данных к production, адаптироваться к новым входным данным, справляться с растущим спросом и постоянно улучшать модели, не замедляя работу.

Особенность Ultralytics Platform в том, что такая непрерывность заложена в саму платформу. Вместо того чтобы рассматривать каждый этап как отдельный шаг, она связывает их в единый непрерывный цикл, в котором модели можно разрабатывать, развертывать, отслеживать и обновлять в одной среде.

Такой подход меняет саму суть масштабирования для команд. Теперь речь идет не об оркестрации инструментов или инфраструктуры, а о поддержании темпа по мере роста систем.

Главные выводы#

Чтобы использовать модели машинного обучения, в том числе модели компьютерного зрения, в реальных приложениях, они должны быть надежными, масштабируемыми и простыми в управлении. Ultralytics Platform упрощает эту задачу, объединяя обслуживание моделей, развертывание, мониторинг и другие функции в единой среде. Благодаря гибким вариантам развертывания и встроенным инструментам команды могут быстрее и с меньшими сложностями переходить от экспериментов к промышленной эксплуатации.

Загляни в наше сообщество и изучи наш репозиторий GitHub, чтобы узнать больше. Посети страницы наших решений и посмотри, как применяются такие технологии, как ИИ в здравоохранении и компьютерное зрение в логистике. Ознакомься с нашими вариантами лицензирования и начни создавать уже сегодня!