Как Ultralytics Platform упрощает развертывание моделей компьютерного зрения

Ultralytics уже много лет работает с сообществом специалистов по компьютерному зрению, создавая модели и инструменты, которые делают Vision AI более доступным для всех. С помощью Ultralytics Platform мы делаем еще один шаг вперед, объединяя весь рабочий процесс разработки компьютерного зрения в единую среду, охватывающую всё: от управления наборами данных и разметки до обучения, валидации и развертывания моделей.

В частности, мы рады сделать развертывание моделей компьютерного зрения проще. Поскольку компьютерное зрение продолжает проникать в реальные приложения, анализ изображений и видео вне контролируемых сред остается сложной задачей.

В отличие от тестовых сред с предсказуемыми условиями, реальные сценарии включают переменное освещение, меняющиеся входные данные и непредсказуемые нагрузки, что делает развертывание одной из самых сложных частей рабочего процесса в области зрения.

Развертывание — это не просто обеспечение доступности модели для использования. Оно требует настройки процессов, способных обрабатывать реальные данные, и обеспечения бесперебойной работы по мере роста использования и масштабирования проектов.

Командам также необходимо отслеживать производительность и поддерживать надежность с течением времени. Это часто означает переключение между различными инструментами ИИ для тестирования, интеграции, развертывания и мониторинга, что может замедлить разработку моделей и добавить ненужную сложность.

Рабочие процессы в итоге становятся фрагментированными. Ultralytics Platform объединяет и упрощает этот процесс.

Она предоставляет встроенную поддержку обслуживания, тестирования и мониторинга моделей в рамках одной среды. Команды могут проверять модели с помощью браузерного инференса, интегрировать их в приложения через общие сервисы инференса и развертывать на выделенных конечных точках с возможностями мониторинга производительности.

Рис. 1. Обзор страницы развертывания в Ultralytics Platform (Источник)

В этой статье мы рассмотрим, как Ultralytics Platform переосмысливает развертывание моделей компьютерного зрения — от тестирования и интеграции до развертывания в продакшене и мониторинга. Давай начнем!

Link to this sectionОбзор развертывания моделей компьютерного зрения#

В жизненном цикле машинного обучения развертывание модели — это этап перехода модели от экспериментов к реальному использованию. Для моделей компьютерного зрения, построенных на глубоком обучении и сверточных нейронных сетях, это, как правило, означает предоставление им возможности обрабатывать изображения и видео в реальном времени.

После развертывания эти модели получают новые данные, которые обычно проходят этапы предварительной обработки, такие как изменение размера, нормализация или форматирование. Обработанные данные затем передаются в модель, которая применяет закономерности, изученные во время обучения, для генерации высокоточных предсказаний.

В зависимости от варианта использования это может включать различные задачи компьютерного зрения. Например, модели Ultralytics YOLO, такие как Ultralytics YOLO26, поддерживают широкий спектр задач, включая детектирование объектов, классификацию изображений, сегментацию экземпляров, оценку поз и детектирование ориентированных ограничивающих рамок (OBB).

Чтобы сделать это практически применимым в реальных задачах, модели часто нужно интегрировать в системы, способные эффективно обрабатывать как предварительную обработку, так и инференс. Именно здесь инфраструктура развертывания становится необходимой.

В производственных средах к моделям обычно обращаются через REST API или системы обслуживания моделей. Эти интерфейсы позволяют приложениям отправлять данные и получать предсказания программно, что упрощает интеграцию с внешними приложениями, устройствами IoT или робототехническими системами, полагающимися на визуальное понимание в реальном времени.

Link to this sectionОграничения традиционных инструментов развертывания компьютерного зрения#

Развертывание моделей компьютерного зрения может показаться простой задачей, но до сих пор на практике все выглядело иначе. Представь обычную настройку: данные сначала захватываются с камер или датчиков, отправляются в модель для инференса, а затем возвращаются в приложение как предсказания.

В реальности каждый из этих этапов часто обрабатывается отдельными инструментами и сервисами. Одна система может отвечать за захват данных, другая управляет обслуживанием моделей, а дополнительные инструменты используются для масштабирования, мониторинга и логирования. Поддержание связи между этими компонентами и обеспечение их надежной работы быстро становится сложной задачей.

По мере роста использования эта сложность возрастает. Управление инфраструктурой, обработка зависимостей и поддержание стабильной производительности на всем конвейере могут замедлить разработку и затруднить развертывание моделей компьютерного зрения в реальных проектах.

Ultralytics Platform объединяет эти компоненты в единую среду. Это обеспечивает более связный способ управления всем рабочим процессом развертывания, поддерживая производительность и надежность в масштабе.

Link to this sectionВарианты развертывания моделей, предоставляемые Ultralytics Platform#

Помимо унификации процесса развертывания моделей, Ultralytics Platform также обеспечивает гибкость в том, как модели развертываются и используются.

Для поддержки различных этапов развертывания моделей компьютерного зрения платформа предлагает четыре варианта: браузерное тестирование с мгновенным инференсом, совместный инференс через API для разработки, выделенные конечные точки для масштабируемого развертывания в продакшене в глобальных регионах и экспорт моделей для запуска на внешней инфраструктуре или периферийных устройствах.

Давай подробнее рассмотрим, как работает каждый из этих вариантов.

Link to this sectionБыстрая валидация моделей с помощью вкладки Predict#

Перед переводом модели в продакшен важно понять, как она работает на новых, неизученных данных. Ultralytics Platform включает встроенную вкладку Predict, которая позволяет тебе запускать инференс прямо в браузере без какой-либо настройки, инфраструктуры или зависимостей.

Вкладка Predict делает валидацию модели быстрой и интерактивной. Ты можешь загружать изображения, использовать предустановленные примеры или захватывать входные данные с веб-камеры, и инференс запускается автоматически, как только предоставлены данные.

Результаты появляются мгновенно с визуальными наложениями, показателями уверенности и подробными выходными данными, давая тебе четкое представление о том, как ведет себя модель.

Рис. 2. Пример валидации модели с помощью вкладки Predict (Источник)

Это означает, что всего за несколько кликов ты можешь протестировать различные входные данные, настроить параметры и оценить производительность в рамках одного интерфейса перед переходом к развертыванию.

Link to this sectionЗапуск совместного инференса для тестирования или небольших объемов нагрузки#

Допустим, ты обучил модель и проверил ее с помощью вкладки Predict. Следующим шагом часто становится начало интеграции этой модели в приложение или рабочий процесс.

Вместо настройки инфраструктуры или управления серверами, Ultralytics Platform предоставляет сервисы совместного инференса, которые позволяют тебе отправлять данные в свою модель и получать предсказания через простые REST API.

За кулисами совместный инференс работает на мультиарендной системе в нескольких основных регионах, где запросы автоматически маршрутизируются к ближайшему доступному сервису. Это помогает поддерживать отзывчивую производительность, позволяя пользователям в разных местах стабильно получать доступ к моделям.

Ты можешь отправлять входные данные, используя стандартные HTTP-запросы, и получать структурированные ответы, что упрощает подключение моделей к приложениям, скриптам или рабочим процессам автоматизации. Эта настройка — отличный вариант для разработки, тестирования, интеграций или более легкого использования перед переходом к более масштабируемым развертываниям в продакшене.

Link to this sectionГлобальное развертывание моделей через выделенные конечные точки#

Когда модель готова к продакшену, она должна надежно и масштабируемо справляться с реальным трафиком. Ultralytics Platform поддерживает это с помощью выделенных конечных точек, где модели работают как одноарендные сервисы в 43 глобальных регионах. Развертывание ближе к конечным пользователям помогает уменьшить задержку и поддерживать стабильную производительность в разных местах.

Каждая конечная точка работает с собственными выделенными вычислительными ресурсами и уникальным URL для запросов инференса. Этот уровень контроля позволяет легко настраивать развертывания в зависимости от потребностей производительности: от простых сценариев до более требовательных приложений с высокой пропускной способностью, нуждающихся в больших вычислительных ресурсах.

Рис. 3. Ты можешь развертывать модели в 43 глобальных регионах с помощью Ultralytics Platform (Источник)

Тем не менее, выделенные конечные точки спроектированы так, чтобы самостоятельно справляться с меняющимися рабочими нагрузками благодаря автомасштабированию, которое корректирует ресурсы в зависимости от входящего трафика. Они увеличиваются в периоды высокого спроса и уменьшаются при падении активности. Благодаря автоматическому масштабированию до нуля по умолчанию, бездействующие конечные точки отключаются автоматически и перезапускаются при поступлении новых запросов, что помогает оптимизировать использование ресурсов без ручного вмешательства.

Link to this sectionУдобный экспорт моделей с помощью Ultralytics Platform#

Сегодня периферийный ИИ (edge AI) становится все более важным, так как все больше приложений полагаются на запуск моделей непосредственно на устройствах, таких как смартфоны, камеры и встроенные системы. Запуск моделей локально также помогает соответствовать требованиям конфиденциальности данных, так как чувствительные данные, такие как изображения или видеопотоки, могут обрабатываться прямо на устройстве без отправки на внешние серверы.

В таких сценариях модели должны работать вне Ultralytics Platform, что делает экспорт модели важной частью процесса развертывания. Модели Ultralytics YOLO часто обучаются с использованием Python и PyTorch, а затем могут быть экспортированы в 17+ различных форматов, включая ONNX, TensorRT, CoreML и OpenVINO.

Этот широкий спектр форматов обеспечивает совместимость с разнообразным оборудованием — от высокопроизводительных графических процессоров (GPU) до мобильных и встраиваемых устройств. Кроме того, экспорт позволяет настраивать производительность под конкретные среды.

В зависимости от формата модели могут достигать более высоких скоростей инференса, например, улучшенная производительность GPU с TensorRT или оптимизированное выполнение на CPU с ONNX и OpenVINO. Опции квантования FP16 и INT8 могут дополнительно уменьшить размер модели и улучшить пропускную способность, что особенно полезно для периферийных развертываний.

На Ultralytics Platform экспорт встроен непосредственно в рабочий процесс, что позволяет быстро генерировать оптимизированные модели всего за несколько кликов. Команды могут переходить от обучения к запуску моделей на внешних системах без лишних сложностей.

Рис. 4. Выбор форматов экспорта на Ultralytics Platform.

Link to this sectionВыбор подходящего варианта развертывания модели#

Каждый вариант развертывания в Ultralytics Platform поддерживает определенный этап рабочего процесса: от раннего тестирования до использования в продакшене. Вот обзор того, когда можно использовать каждый из них:

• Вкладка Predict: обычно используется сразу после обучения или дообучения, когда ты хочешь проверить, как модель работает на новых данных с помощью браузерного инференса.
• Совместный инференс: на этом этапе модели могут быть интегрированы в приложения через API, что позволяет тестировать реальные взаимодействия во время разработки.
• Выделенные конечные точки: используются для развертывания в продакшене, когда модели требуются стабильная производительность, выделенные ресурсы и возможность масштабирования по всему миру.
• Экспорт модели: когда модели должны работать вне платформы, опция экспорта позволяет развертывать их на периферийных устройствах, мобильных приложениях или пользовательской инфраструктуре.

Команды часто проходят через эти варианты шаг за шагом, переходя от валидации к интеграции и, наконец, к развертыванию в продакшене — всё в рамках одной платформы.

Link to this sectionМониторинг развернутых моделей через Ultralytics Platform#

Развертывание критически важно, но конвейер компьютерного зрения на этом не заканчивается. Как только модель запущена в продакшене, непрерывный мониторинг является ключом к обеспечению ее надежной работы с течением времени.

Ultralytics Platform предоставляет встроенные инструменты мониторинга, которые дают командам четкое понимание того, как ведут себя их модели Vision AI, поддерживая более структурированный рабочий процесс MLOps (машинного обучения и операций).

Страница Deploy включает панель мониторинга, которая отслеживает ключевые показатели, такие как общее количество запросов, активные развертывания, задержка ответа и частота ошибок. Эти данные помогают командам понимать шаблоны использования, оценивать отзывчивость системы и обеспечивать низкую задержку производительности при различных рабочих нагрузках.

Рис. 5. Ultralytics Platform облегчает мониторинг развернутых моделей. (Источник)

Каждая выделенная конечная точка также предоставляет подробную наблюдаемость через индивидуальные представления развертывания. Это включает доступ к логам, состоянию здоровья модели и данным производительности в реальном времени. Логи можно использовать для отладки проблем, отслеживания неудачных запросов и выявления потенциальных неполадок, связанных с зависимостями или инфраструктурой.

По мере развития производственных сред такие факторы, как изменение входных данных, требования к масштабированию или меняющиеся шаблоны использования, могут влиять на точность и надежность модели. Постоянно отслеживая показатели производительности, команды могут обнаруживать аномалии, выявлять «узкие места» и принимать корректирующие меры, такие как оптимизация модели или настройка ресурсов, для поддержания стабильного и надежного обслуживания моделей.

Link to this sectionМасштабируемость развертываний моделей компьютерного зрения#

Масштабирование систем компьютерного зрения традиционно означало объединение рабочих процессов и фреймворков, которые никогда не проектировались для совместной работы. Конвейеры данных, циклы обучения, инфраструктура развертывания и системы мониторинга часто существуют раздельно, создавая трения на каждом этапе.

Настоящая проблема заключается не только в создании моделей, но и в обеспечении их постоянного движения. Переход от данных к продакшену, адаптация к новым входным данным, обработка растущего спроса и непрерывное улучшение без потери скорости.

Что выделяет Ultralytics Platform, так это то, что это движение встроено в систему. Вместо того чтобы рассматривать каждый этап как отдельный шаг, платформа объединяет их в непрерывный цикл, где модели можно разрабатывать, развертывать, наблюдать и обновлять в одной и той же среде.

Этот сдвиг меняет подход команд к масштабированию. Речь идет уже не об оркестрации инструментов или инфраструктуры, а о сохранении темпа по мере роста систем.

Link to this sectionОсновные выводы#

Перенос моделей машинного обучения, таких как модели компьютерного зрения, в реальные приложения требует, чтобы они были надежными, масштабируемыми и удобными в управлении. Ultralytics Platform упрощает этот процесс, сочетая различные функции, такие как обслуживание моделей, развертывание и мониторинг, в одну единую среду. Благодаря гибким вариантам развертывания и встроенным инструментам команды могут быстрее переходить от экспериментов к продакшену с меньшими сложностями.

Загляни в наше сообщество и изучи наш репозиторий на GitHub, чтобы узнать больше. Изучи наши страницы решений, чтобы увидеть различные приложения, такие как ИИ в здравоохранении и компьютерное зрение в логистике. Узнай о наших вариантах лицензирования и начинай создавать уже сегодня!