Как Ultralytics Platform упрощает развёртывание моделей компьютерного зрения

Ultralytics много лет работает с сообществом компьютерного зрения, создавая модели и инструменты, которые делают ИИ для компьютерного зрения доступнее для всех. С помощью Ultralytics Platform мы идём ещё дальше, объединяя весь рабочий процесс разработки компьютерного зрения в одной унифицированной среде: от управления датасетами и аннотирования до обучения, валидации и развертывания моделей.

В частности, мы рады упростить развертывание моделей компьютерного зрения. По мере того как компьютерное зрение внедряется в реальные приложения, анализ изображений и видео вне контролируемых условий всё ещё остаётся сложной задачей.

В отличие от тестовых сред с предсказуемыми условиями, реальные сценарии включают меняющееся освещение, различные входные данные и непредсказуемые рабочие нагрузки, поэтому развертывание становится одной из самых сложных частей рабочего процесса компьютерного зрения.

Развертывание — это нечто большее, чем просто предоставление модели для использования. Оно требует настройки процессов, способных работать с реальными данными, и обеспечения стабильной работы по мере роста использования и масштабирования проектов.

Командам также нужно отслеживать производительность и поддерживать надёжность со временем. Это часто означает переключение между разными инструментами ИИ для тестирования, интеграции, развертывания и мониторинга, что может замедлять разработку моделей и добавлять ненужную сложность.

В итоге рабочие процессы становятся фрагментированными. Ultralytics Platform объединяет и упрощает этот процесс.

Платформа предоставляет встроенную поддержку обслуживания, тестирования и мониторинга моделей в одной среде. Команды могут валидировать модели с помощью инференса в браузере, интегрировать их в приложения через общие сервисы инференса и развертывать на выделенных конечных точках с возможностями мониторинга производительности.

Рис. 1. Страница развертывания в Ultralytics Platform (Источник)

В этой статье мы рассмотрим, как Ultralytics Platform переосмысливает развертывание моделей компьютерного зрения — от тестирования и интеграции до развертывания в продакшене и мониторинга. Начнём!

Обзор развертывания моделей компьютерного зрения#

В жизненном цикле машинного обучения развертывание модели — это этап, на котором модель переходит от экспериментов к использованию в реальных условиях. Для моделей компьютерного зрения, созданных с помощью глубокого обучения и сверточных нейронных сетей, это обычно означает предоставление им возможности обрабатывать изображения и видео в реальном времени.

После развертывания эти модели получают новые данные, которые обычно проходят этапы предобработки, такие как изменение размера, нормализация или форматирование. Затем обработанные данные передаются модели, которая применяет закономерности, изученные во время обучения, чтобы генерировать высокоточные предсказания.

В зависимости от сценария использования это может включать различные задачи компьютерного зрения. Например, модели Ultralytics YOLO, такие как Ultralytics YOLO26, поддерживают широкий спектр задач компьютерного зрения, включая обнаружение объектов, классификацию изображений, сегментацию экземпляров, оценку позы и обнаружение ориентированных ограничивающих рамок (OBB).

Чтобы использовать модели в реальных приложениях, их часто необходимо интегрировать в системы, способные эффективно выполнять предобработку и инференс. Именно здесь инфраструктура развертывания становится необходимой.

В продакшен-средах к моделям обычно обращаются через REST API или системы обслуживания моделей. Эти интерфейсы позволяют приложениям программно отправлять данные и получать предсказания, упрощая интеграцию с внешними приложениями, устройствами IoT или робототехническими системами, которым требуется понимание визуальной информации в реальном времени.

Ограничения традиционных инструментов развертывания компьютерного зрения#

Развертывание моделей компьютерного зрения может показаться простой задачей, но до сих пор на практике оно выглядело совсем иначе. Рассмотрим распространённую схему: данные сначала поступают с камер или датчиков, затем отправляются модели для инференса, после чего возвращаются в приложение в виде предсказаний.

На практике каждый из этих этапов часто обрабатывается отдельными инструментами и сервисами. Одна система может отвечать за сбор данных, другая — за обслуживание моделей, а дополнительные инструменты используются для масштабирования, мониторинга и ведения журналов. Поддерживать связь между этими компонентами и их стабильную работу быстро становится сложно.

По мере роста использования эта сложность увеличивается. Управление инфраструктурой, обработка зависимостей и поддержание стабильной производительности на всём конвейере могут замедлять разработку и усложнять развертывание моделей компьютерного зрения в реальных приложениях.

Ultralytics Platform объединяет эти компоненты в одной унифицированной среде. Это обеспечивает более целостный способ управления всем рабочим процессом развертывания, поддерживая производительность и надёжность при масштабировании.

Варианты развертывания моделей, доступные в Ultralytics Platform#

Помимо объединения процесса развертывания моделей, Ultralytics Platform также обеспечивает гибкость в способах развертывания и использования моделей.

Для поддержки разных этапов развертывания моделей компьютерного зрения платформа предлагает четыре варианта: тестирование в браузере с мгновенным инференсом, общий инференс через API для разработки, выделенные конечные точки для масштабируемого развертывания в продакшене по всему миру и экспорт моделей для запуска на внешней инфраструктуре или периферийных устройствах.

Давай подробнее рассмотрим, как работает каждый из этих вариантов.

Быстро валидируй модели с помощью вкладки Predict#

Перед переносом модели в продакшен важно понять, как она работает на новых, ранее не виденных данных. В Ultralytics Platform есть встроенная вкладка Predict, которая позволяет запускать инференс прямо в браузере без настройки, инфраструктуры и зависимостей.

Вкладка Predict делает валидацию моделей быстрой и интерактивной. Ты можешь загружать изображения, использовать предварительно загруженные примеры или получать входные данные с веб-камеры, а инференс запускается автоматически сразу после предоставления данных.

Результаты появляются мгновенно и включают визуальные наложения, оценки уверенности и подробные выходные данные, позволяя тебе наглядно увидеть поведение модели.

Рис. 2. Пример валидации модели с помощью вкладки Predict (Источник)

Это означает, что всего за несколько кликов ты можешь протестировать разные входные данные, настроить параметры и оценить производительность в одном интерфейсе до перехода к развертыванию.

Запуск общего инференса для тестирования или небольшой нагрузки#

Представим, что ты обучил модель и провалидировал её с помощью вкладки Predict. Следующим шагом часто становится интеграция этой модели в приложение или рабочий процесс.

Вместо настройки инфраструктуры или управления серверами Ultralytics Platform предоставляет общие сервисы инференса, которые позволяют отправлять данные модели и получать предсказания через простые REST API.

Внутри системы общий инференс работает в мультитенантной среде в нескольких основных регионах, а запросы автоматически направляются к ближайшему доступному сервису. Это помогает поддерживать быстрое реагирование и обеспечивает стабильный доступ к моделям для пользователей из разных мест.

Ты можешь отправлять входные данные с помощью стандартных HTTP-запросов и получать структурированные выходные данные, что упрощает подключение моделей к приложениям, скриптам или рабочим процессам автоматизации. Такая схема отлично подходит для разработки, тестирования, интеграций или небольшой нагрузки до перехода к более масштабируемому развертыванию в продакшене.

Глобальное развертывание моделей через выделенные конечные точки#

Когда модель готова к продакшену, ей необходимо надёжно обрабатывать реальный трафик и масштабироваться. Ultralytics Platform поддерживает это с помощью выделенных конечных точек, где модели работают как изолированные сервисы в 43 глобальных регионах. Развертывание ближе к конечным пользователям помогает уменьшить задержку и поддерживать стабильную производительность в разных местах.

Каждая конечная точка работает с выделенными вычислительными ресурсами и уникальным URL для запросов инференса. Такой уровень контроля упрощает настройку развертываний под требования к производительности — от лёгких сценариев использования до более требовательных приложений с высокой пропускной способностью, которым нужны дополнительные вычислительные ресурсы.

Рис. 3. С помощью Ultralytics Platform можно развертывать модели в 43 глобальных регионах (Источник)

При этом выделенные конечные точки самостоятельно обрабатывают меняющиеся рабочие нагрузки благодаря автоматическому масштабированию, которое регулирует ресурсы в зависимости от входящего трафика. При высоком спросе они масштабируются вверх, а при снижении использования — вниз. При включённом по умолчанию масштабировании до нуля простаивающие конечные точки автоматически отключаются и перезапускаются при поступлении новых запросов, помогая оптимизировать использование ресурсов без ручного вмешательства.

Легко экспортируй модель с помощью Ultralytics Platform#

Сегодня периферийный ИИ становится всё более необходимым, поскольку всё больше приложений зависят от запуска моделей непосредственно на таких устройствах, как смартфоны, камеры и встраиваемые системы. Локальный запуск моделей также помогает соблюдать требования к конфиденциальности данных: чувствительные данные, например изображения или видеопотоки, можно обрабатывать прямо на устройстве, не отправляя их на внешние серверы.

В таких сценариях модели должны работать за пределами Ultralytics Platform, поэтому экспорт модели становится важной частью процесса развертывания. Модели Ultralytics YOLO часто обучаются с использованием Python и PyTorch, а затем могут экспортироваться более чем в 17 различных форматов, включая ONNX, TensorRT, CoreML и OpenVINO.

Такой широкий выбор форматов обеспечивает совместимость с разнообразным оборудованием — от высокопроизводительных графических процессоров (GPUs) до мобильных и встраиваемых устройств. Кроме того, экспорт позволяет настраивать производительность под конкретные среды.

В зависимости от формата модели могут обеспечивать более высокую скорость инференса, например улучшенную производительность GPU с TensorRT или оптимизированное выполнение на CPU с ONNX и OpenVINO. Такие варианты, как квантование FP16 и INT8, дополнительно уменьшают размер модели и повышают пропускную способность, что особенно полезно для развертывания на периферийных устройствах.

В Ultralytics Platform экспорт встроен непосредственно в рабочий процесс, поэтому оптимизированные модели можно быстро создавать всего за несколько кликов. Команды могут переходить от обучения к запуску моделей на внешних системах без дополнительной нагрузки.

Рис. 4. Выбор форматов экспорта в Ultralytics Platform.

Выбор подходящего варианта развертывания модели#

Каждый вариант развертывания в Ultralytics Platform поддерживает отдельный этап рабочего процесса — от раннего тестирования до использования в продакшене. Ниже приведён обзор того, когда можно использовать каждый из них:

• Вкладка Predict: обычно используется сразу после обучения или дообучения, когда нужно проверить работу модели на новых данных с помощью инференса в браузере.
• Общий инференс: на этом этапе модели можно интегрировать в приложения через API, чтобы тестировать взаимодействие в реальных условиях во время разработки.
• Выделенные конечные точки: используются для развертывания в продакшене, где моделям необходимы стабильная производительность, выделенные ресурсы и возможность масштабирования по всему миру.
• Экспорт модели: когда модели должны работать за пределами платформы, их экспорт позволяет развертывать их на периферийных устройствах, в мобильных приложениях или на пользовательской инфраструктуре.

Команды часто последовательно проходят через эти варианты: от валидации к интеграции и наконец к развертыванию в продакшене — всё внутри платформы.

Мониторинг развернутых моделей с помощью Ultralytics Platform#

Как бы ни было важно развертывание, на нём рабочий процесс компьютерного зрения не заканчивается. После запуска модели в продакшене непрерывный мониторинг необходим, чтобы она стабильно работала со временем.

Ultralytics Platform предоставляет встроенные инструменты мониторинга, которые дают командам чёткое представление о поведении моделей ИИ для компьютерного зрения с течением времени и поддерживают более структурированный рабочий процесс операций машинного обучения (MLOps).

Страница Deploy содержит дашборд, отслеживающий такие ключевые метрики, как общее количество запросов, активные развертывания, задержка ответа и частота ошибок. Эти сведения помогают командам понимать особенности использования, оценивать быстродействие системы и обеспечивать низкую задержку при разных рабочих нагрузках.

Рис. 5. Ultralytics Platform упрощает мониторинг развернутых моделей. (Источник)

Каждая выделенная конечная точка также предоставляет подробные возможности наблюдаемости через отдельное представление развертывания. Оно включает доступ к журналам, статусу здоровья модели и данным о производительности в реальном времени. Журналы можно использовать для отладки проблем, отслеживания неудачных запросов и выявления потенциальных проблем, связанных с зависимостями или инфраструктурой.

По мере развития продакшен-сред факторы вроде изменения входных данных, требований к масштабированию или меняющихся моделей использования могут влиять на точность и устойчивость модели. Непрерывно отслеживая метрики производительности, команды могут обнаруживать аномалии, выявлять узкие места и принимать корректирующие меры, такие как оптимизация модели или настройка ресурсов, чтобы поддерживать стабильное и надёжное обслуживание моделей.

Встраивание масштабируемости в развертывание моделей компьютерного зрения#

Традиционно масштабирование систем компьютерного зрения означало объединение рабочих процессов и фреймворков, которые изначально не были рассчитаны на совместную работу. Конвейеры данных, циклы обучения, инфраструктура развертывания и системы мониторинга часто находятся в разных местах, создавая препятствия на каждом этапе.

Настоящая сложность заключается не только в создании моделей, но и в поддержании их движения вперёд: от данных к продакшену, адаптации к новым входным данным, обработке растущего спроса и постоянном улучшении без замедления работы.

Ultralytics Platform выделяется тем, что это движение встроено в неё изначально. Вместо того чтобы рассматривать каждый этап как отдельный шаг, платформа объединяет их в непрерывный цикл, в котором модели можно разрабатывать, развертывать, наблюдать и обновлять в одной среде.

Такой подход меняет масштабирование команд. Теперь дело не в оркестрации инструментов или инфраструктуры, а в сохранении темпа по мере роста систем.

Основные выводы#

Внедрение моделей машинного обучения, например моделей компьютерного зрения, в реальные приложения требует надёжности, масштабируемости и простоты управления. Ultralytics Platform упрощает этот процесс, объединяя такие функции, как обслуживание моделей, развертывание и мониторинг, в одной унифицированной среде. Благодаря гибким вариантам развертывания и встроенным инструментам команды могут быстрее и с меньшей сложностью переходить от экспериментов к продакшену.

Посети наше сообщество и изучи наш репозиторий на GitHub, чтобы узнать больше. Загляни на страницы наших решений, чтобы увидеть различные варианты применения, например ИИ в здравоохранении и компьютерное зрение в логистике. Ознакомься с нашими вариантами лицензирования и начни создавать уже сегодня!