Ultralytics Platform: развёртывание моделей компьютерного зрения в любом регионе

Ранее на этой неделе Ultralytics запустила Ultralytics Platform — новую комплексную среду, созданную для ускорения развертывания систем компьютерного зрения (CV) за счет оптимизации каждого этапа рабочего процесса ИИ для анализа изображений: от подготовки данных и разработки моделей до развертывания.

Одной из ключевых причин создания Ultralytics Platform стало понимание того, что превращение решения для компьютерного зрения, позволяющего машинам анализировать изображения и видео, из идеи в работающий инструмент требует большего, чем просто создание сильной модели. После обучения и валидации модель необходимо развернуть, чтобы приложения могли отправлять изображения, получать предсказания и надежно выполнять инференс в реальных условиях.

Именно на этом этапе жизненного цикла машинного обучения модели компьютерного зрения выходят за рамки экспериментов и начинают работать в практических системах. Даже если предыдущие этапы — подготовка датасета, аннотирование, обучение модели и тестирование — проходят без проблем, без надежного способа развертывания моделей эти результаты не смогут принести пользу.

На практике во многих проектах по компьютерному зрению развертывание может быть одним из самых сложных этапов рабочего процесса.

Командам часто приходится настраивать API инференса, управлять вычислительными ресурсами, развертывать модели ближе к пользователям для снижения задержки и отслеживать производительность после запуска систем в рабочей среде.

Ultralytics Platform упрощает и автоматизирует этот процесс, предоставляя несколько вариантов развертывания, включая форматы экспорта моделей, общие сервисы инференса и выделенные конечные точки в регионах по всему миру. Благодаря управляемой инфраструктуре и встроенному мониторингу команды могут легко перейти от обученных моделей к готовым к работе системам компьютерного зрения.

Рис. 1. Обзор развертывания моделей с помощью Ultralytics Platform (Источник)

В этой статье мы рассмотрим, как развертывать модели компьютерного зрения в любом регионе с помощью выделенных конечных точек в Ultralytics Platform. Начнем!

Что такое развертывание моделей CV?#

Прежде чем перейти к разбору развертывания моделей глубокого обучения с помощью Ultralytics Platform, давай лучше разберемся, что на самом деле означает развертывание модели компьютерного зрения.

Развертывание модели компьютерного зрения — это процесс, при котором обученная модель становится доступной для использования в реальных условиях. Вместо запуска только в среде обучения модель настраивают так, чтобы приложения могли отправлять ей изображения или видео и получать предсказания в ответ.

Например, модель может обнаруживать объекты на изображении, выполнять сегментацию изображений, идентифицировать товары на складе или распознавать закономерности в видеозаписях. В большинстве реальных систем это происходит через API или конечную точку инференса.

Приложение отправляет изображение модели, модель обрабатывает его и возвращает предсказание за миллисекунды. Именно это позволяет моделям компьютерного зрения, таким как Ultralytics YOLO, обеспечивать работу приложений реального времени.

Модели можно развертывать в разных средах в зависимости от сценария использования. Некоторые работают в облаке (через облачные платформы) и доступны множеству приложений, а другие запускаются на периферийных устройствах, например локальных камерах, роботах или встроенных системах, которым нужны быстрые локальные предсказания.

Варианты развертывания моделей ИИ в Ultralytics Platform#

Ultralytics Platform решает многие задачи, с которыми сталкивается сообщество компьютерного зрения, особенно при развертывании моделей, и предлагает гибкие способы выполнения инференса в зависимости от потребностей твоего приложения.

Кратко рассмотрим доступные на платформе варианты развертывания моделей:

• Экспорт модели: ты можешь экспортировать модели в 17 различных форматов, включая ONNX, TensorRT, CoreML и TFLite, что позволяет запускать их в самых разных средах: на периферийных устройствах, таких как Raspberry Pi и NVIDIA Jetson, в мобильных приложениях, контейнерах Docker и на пользовательской инфраструктуре.
• Общий инференс: платформа позволяет выполнять предсказания через управляемый общий сервис инференса, который идеально подходит для быстрой проверки моделей.
• Выделенные конечные точки: легко развертывай модели как независимые сервисы с уникальными URL-адресами API, которые могут работать в 43 регионах по всему миру, со встроенными автоматическим масштабированием, мониторингом и проверками работоспособности для развертываний в рабочей среде.

Развертывание с помощью выделенных конечных точек#

Один из наиболее масштабируемых способов запуска предварительно обученных или специально обученных моделей компьютерного зрения в рабочей среде Ultralytics Platform — использование выделенных конечных точек. Выделенная конечная точка позволяет развернуть обученную модель как отдельный сервис, чтобы приложения могли отправлять ей изображения и получать предсказания через API.

Вместо запуска модели только в среде обучения или локальном ноутбуке ее можно развернуть как конечную точку, сделав доступной для реальных приложений. Например, складская система может отправлять изображения посылок для обнаружения объектов, интеллектуальная камера — анализировать кадры видео, а робототехническая система — использовать предсказания для управления действиями.

Каждая выделенная конечная точка работает как однопользовательский сервис, то есть инфраструктура, на которой запущена твоя модель, не используется совместно с другими пользователями. Это обеспечивает более предсказуемую производительность и упрощает мониторинг поведения модели в рабочей среде.

Как работают выделенные конечные точки инференса#

Можно представить выделенную конечную точку как размещенный сервис для твоей модели. Ultralytics Platform предоставляет уникальный URL конечной точки, который служит точкой входа для приложений.

Когда приложение отправляет запрос на этот URL, оно передает изображение и необязательные параметры, например пороги уверенности или размер изображения, а также ключ API для аутентификации.

Сервис выполняет инференс изображения с помощью твоей модели и возвращает предсказания в структурированном ответе. Такая схема позволяет разработчикам интегрировать модели компьютерного зрения в реальные системы с помощью стандартных веб-инструментов.

Приложения могут отправлять запросы через Python, JavaScript, cURL или другие HTTP-клиенты, что упрощает подключение моделей к дашбордам, робототехническим системам или облачным приложениям. Поскольку конечная точка работает независимо, она также поддерживает масштабирование, мониторинг и глобальное развертывание, помогая командам создавать надежные рабочие системы компьютерного зрения.

Развертывание в нескольких регионах улучшает инференс в реальном времени#

Одно из ключевых преимуществ выделенных конечных точек в Ultralytics Platform — возможность развертывать модели в 43 регионах по всему миру. Эти регионы охватывают разные части света, включая Северную и Южную Америку, Европу, Азиатско-Тихоокеанский регион, а также Ближний Восток и Африку.

Рис. 2. Ultralytics Platform поддерживает 43 региона по всему миру (Источник)

Развертывание моделей в регионах, расположенных ближе к местам работы приложений, помогает снизить задержку — время, необходимое приложению для отправки изображения и получения предсказания. Это также может помочь организациям выполнять требования к конфиденциальности и локализации данных, обрабатывая данные ближе к месту их возникновения.

Низкая задержка важна для многих приложений компьютерного зрения, использующих инференс в реальном времени, например для робототехнических систем, устройств Интернета вещей (IoT), промышленных конвейеров инспекции и инфраструктуры умных городов.

Например, если приложение используется преимущественно в Европе, развертывание модели в европейском регионе может значительно сократить время ответа по сравнению с запуском модели в удаленном регионе.

Как развернуть модель в любом регионе с помощью Ultralytics Platform#

Развернуть модель в конкретном регионе просто: обычно это занимает всего пару минут. Платформа берет на себя настройку инфраструктуры, чтобы разработчики могли сосредоточиться на интеграции модели в свои приложения. Давай рассмотрим необходимые шаги.

Шаг 1. Обучи или загрузи модель#

Перед развертыванием в проекте должна быть доступна обученная модель. Это может быть модель, обученная непосредственно в Ultralytics Platform, модель, загруженная после обучения в другом месте, или модель, клонированная из проекта сообщества на вкладке «Explore», где публичные проекты, опубликованные другими пользователями, можно скопировать в свой аккаунт одним нажатием.

Когда модель будет готова, открой ее страницу в проекте, чтобы продолжить.

Шаг 2. Открой вкладку Deploy#

Перейди на вкладку Deploy для модели. В этом разделе платформы можно настроить и запустить развертывание.

На этой странице ты увидишь таблицу регионов и интерактивную карту с доступными местами развертывания по всему миру. Платформа измеряет задержку от твоего местоположения и сортирует регионы соответствующим образом, помогая выбрать наиболее подходящий.

Рис. 3. Регионы, отсортированные по задержке в Ultralytics Platform (Источник)

Шаг 3. Выбери регион развертывания#

Выбери регион с учетом расположения пользователей или приложений. Развертывание модели ближе к источнику запросов может значительно сократить время ответа.

Шаг 4. Разверни конечную точку#

После выбора региона и подтверждения конфигурации нажми Deploy.

Затем платформа подготавливает среду развертывания, загружает образ модели, запускает сервис и выполняет проверку работоспособности, чтобы убедиться в готовности конечной точки. Обычно этот процесс занимает от одной до двух минут.

После завершения развертывания платформа создает уникальный URL конечной точки, который приложения могут использовать для отправки запросов на инференс.

Рис. 4. Пример развернутой конечной точки (Источник)

Шаг 5. Начни отправлять запросы на инференс#

После запуска конечной точки приложения могут начать отправлять изображения модели через предоставленную конечную точку REST API и ключ API, передаваемый в заголовке Authorization. Конечная точка обрабатывает каждый запрос и возвращает такие предсказания, как обнаруженные объекты, ограничивающие рамки или другие выходные данные, зависящие от задачи.

Подробнее о развертывании моделей можно узнать в официальной документации Ultralytics Platform.

Мониторинг производительности и метрик моделей для развернутых конечных точек#

После развертывания модели компьютерного зрения мониторинг ее производительности становится важной частью поддержания надежности и устойчивости системы. Даже за хорошо обученной моделью необходимо наблюдать в рабочей среде, чтобы убедиться, что она продолжает быстро отвечать, корректно обрабатывать входящие запросы и выдавать точные предсказания.

Ultralytics Platform предоставляет инструменты встроенного мониторинга, которые позволяют командам видеть, как работают развернутые конечные точки. Страница Deploy на платформе служит дашбордом мониторинга, предлагая централизованное представление всех работающих конечных точек и ключевых метрик для отслеживания состояния и использования системы.

Вот некоторые метрики, которые можно отслеживать с помощью Platform:

• Задержка P95: эта метрика измеряет время ответа на стороне сервера для инференс-запросов на уровне 95-го процентиля. Она показывает, сколько времени занимает большинство запросов на инференс, и помогает выявлять замедления производительности.
• Коэффициент ошибок: эта метрика показывает долю запросов, завершившихся сбоем или вернувших ошибки за выбранный период мониторинга. Мониторинг коэффициента ошибок позволяет командам быстро обнаруживать проблемы с развертываниями или входящими запросами.
• Общее количество запросов: эта метрика показывает общее число запросов на инференс, обработанных всеми развернутыми конечными точками за выбранный период (например, за последние 24 часа). Она помогает командам понять уровень трафика и частоту использования моделей.

Помимо этих метрик, платформа также предоставляет проверки работоспособности конечных точек и журналы развертывания. Проверки работоспособности показывают, корректно ли отвечает конечная точка, а журналы содержат подробную информацию о недавних запросах и активности системы.

Основные выводы#

Развертывание моделей компьютерного зрения — важнейший шаг на пути от обученных моделей к системам, обеспечивающим работу приложений в реальных условиях. С Ultralytics Platform команды могут легко развертывать модели через выделенные конечные точки в 43 регионах по всему миру, выполнять инференс в реальном времени через API и отслеживать производительность в единой среде. Сочетая гибкие варианты развертывания, встроенный мониторинг и масштабируемую инфраструктуру, платформа помогает разработчикам быстрее переходить от обученных моделей машинного обучения к надежным приложениям компьютерного зрения.

Стань частью нашего растущего сообщества! Загляни в наш репозиторий GitHub, чтобы узнать больше об ИИ. Если ты хочешь создавать решения для компьютерного зрения, ознакомься с нашими вариантами лицензирования. Узнай о преимуществах компьютерного зрения в здравоохранении и посмотри, как ИИ в логистике меняет отрасль!