Ultralytics Platform: развертывание моделей компьютерного зрения в любом регионе

Ранее на этой неделе Ultralytics запустила Ultralytics Platform — новую комплексную среду, призванную ускорить выпуск систем компьютерного зрения (CV) за счёт оптимизации каждого этапа рабочего процесса с визуальным ИИ: от подготовки данных и разработки моделей до развёртывания.

Одна из ключевых причин создания Ultralytics Platform заключается в том, что путь решения для компьютерного зрения от идеи до практического применения требует большего, чем просто создание мощной модели. После обучения и проверки модель нужно развернуть, чтобы приложения могли отправлять изображения, получать предсказания и надежно выполнять инференс в реальных условиях.

На этом этапе жизненного цикла машинного обучения модели компьютерного зрения выходят за рамки экспериментов и начинают работать в практических системах. Даже если предыдущие этапы — подготовка набора данных, аннотирование, обучение модели и тестирование — проходят гладко, без надёжного способа развёртывания моделей их результаты не принесут пользы.

Во многих проектах в области компьютерного зрения развёртывание оказывается одним из самых сложных этапов рабочего процесса.

Командам часто приходится настраивать API для инференса, управлять вычислительными ресурсами, развёртывать модели ближе к пользователям для сокращения задержки и отслеживать производительность уже работающих в production систем.

Ultralytics Platform упрощает и автоматизирует этот процесс, предоставляя несколько вариантов развёртывания, включая форматы экспорта моделей, общие сервисы инференса и выделенные конечные точки в регионах по всему миру. Благодаря управляемой инфраструктуре и встроенному мониторингу команды могут легко переводить обученные модели в готовые к production системы компьютерного зрения.

Рис. 1. Развёртывание моделей с помощью Ultralytics Platform (Источник)

В этой статье мы рассмотрим, как развертывать модели компьютерного зрения в любом регионе с помощью выделенных эндпоинтов Ultralytics Platform.

Что такое развёртывание моделей CV?#

Прежде чем перейти к тому, как развёртывать модели глубокого обучения с помощью Ultralytics Platform, давай разберёмся, что на самом деле означает развёртывание модели компьютерного зрения.

Развёртывание модели компьютерного зрения — это процесс подготовки обученной модели к использованию в реальных условиях. Вместо работы только в среде обучения модель настраивают так, чтобы приложения могли отправлять ей изображения или видео и получать предсказания.

Например, модель может обнаруживать объекты на изображении, выполнять сегментацию изображения, распознавать товары на складе или находить закономерности в видеозаписях. В большинстве реальных систем это происходит через API или конечную точку инференса.

Приложение отправляет изображение модели, модель обрабатывает его и возвращает предсказание за миллисекунды. Это позволяет моделям компьютерного зрения, таким как Ultralytics YOLO, обеспечивать работу приложений в реальном времени.

Модели можно развёртывать в разных средах в зависимости от сценария использования. Некоторые работают в облаке (через облачные платформы), и к ним могут обращаться многие приложения; другие запускаются на периферийных устройствах — например, локальных камерах, роботах или встроенных системах, которым нужны быстрые локальные предсказания.

Варианты развёртывания моделей ИИ на Ultralytics Platform#

Ultralytics Platform решает многие проблемы, с которыми сталкивается сообщество компьютерного зрения при развертывании моделей, и предлагает гибкие способы запуска инференса в зависимости от потребностей твоего приложения.

Кратко рассмотрим доступные на платформе варианты развёртывания моделей:

• Экспорт моделей: ты можешь экспортировать модели в 22 разных формата, включая ONNX, TensorRT, CoreML и TFLite, чтобы запускать их в самых разных средах: на периферийных устройствах, например Raspberry Pi и NVIDIA Jetson, в мобильных приложениях, контейнерах Docker и пользовательской инфраструктуре.
• Общий инференс: платформа позволяет запускать предсказания через управляемую службу общего инференса, которая идеально подходит для быстрого тестирования моделей.
• Выделенные конечные точки: легко развертывай модели как независимые сервисы с уникальными URL API. Они могут работать в 42 регионах мира и поддерживают масштабирование до нуля, мониторинг и проверки работоспособности для производственных развертываний.

Развёртывание с помощью выделенных конечных точек#

Один из наиболее масштабируемых способов запускать предварительно обученные или обученные на пользовательских данных модели компьютерного зрения в production на Ultralytics Platform — использовать выделенные конечные точки. Выделенная конечная точка позволяет развернуть обученную модель как отдельный сервис, которому приложения могут отправлять изображения и получать предсказания через API.

Вместо того чтобы запускать модель только в среде обучения или локальном ноутбуке, её можно развернуть как конечную точку, доступную реальным приложениям. Например, складская система может отправлять изображения посылок для обнаружения объектов, умная камера — анализировать видеокадры, а робототехническая система — использовать предсказания для управления действиями.

Каждая выделенная конечная точка работает как сервис с одним арендатором: инфраструктура, на которой запущена твоя модель, не используется другими пользователями. Это обеспечивает более предсказуемую производительность и упрощает мониторинг поведения модели в production.

Как устроены выделенные конечные точки инференса#

Выделенную конечную точку можно представить как размещённый сервис для модели. Ultralytics Platform предоставляет уникальный URL конечной точки, который служит точкой входа для приложений.

Когда приложение отправляет запрос на этот URL, оно передаёт изображение и необязательные параметры, например порог уверенности или размер изображения, а также API-ключ для аутентификации.

Сервис выполняет инференс изображения с помощью твоей модели и возвращает предсказания в структурированном ответе. Такая схема позволяет разработчикам интегрировать модели компьютерного зрения в реальные системы с помощью стандартных веб-инструментов.

Приложения могут отправлять запросы с помощью Python, JavaScript, cURL или других HTTP-клиентов, что упрощает подключение моделей к панелям мониторинга, робототехническим системам и облачным приложениям. Поскольку конечная точка работает независимо, она также поддерживает масштабирование, мониторинг и глобальное развёртывание, помогая командам создавать надёжные production-системы компьютерного зрения.

Развертывание в нескольких регионах повышает скорость инференса в реальном времени#

Одно из главных преимуществ выделенных конечных точек на Ultralytics Platform — возможность развертывать модели в 42 регионах мира. Эти регионы охватывают разные части света: Северную и Южную Америку, Европу, Азиатско-Тихоокеанский регион, Ближний Восток и Африку.

Рис. 2. Ultralytics Platform поддерживает 42 региона мира (Источник)

Развертывание моделей в регионах, расположенных ближе к местам работы приложений, помогает сократить задержку — время, которое требуется приложению, чтобы отправить изображение и получить предсказание. Это также помогает организациям соблюдать требования к конфиденциальности и локализации данных, поскольку обработка данных происходит ближе к месту их получения.

Низкая задержка важна для многих приложений компьютерного зрения, которым нужен инференс в реальном времени, например для робототехнических систем, устройств Интернета вещей (IoT), промышленных систем инспекции и инфраструктуры умных городов.

Например, если приложение преимущественно используется в Европе, развертывание модели в европейском регионе может значительно повысить скорость отклика по сравнению с запуском модели в удаленном регионе.

Как развернуть модель в любом регионе с помощью Ultralytics Platform#

Развернуть модель в определенном регионе просто — обычно это занимает всего пару минут. Платформа настраивает инфраструктуру, чтобы разработчики могли сосредоточиться на интеграции модели в свои приложения. Давай разберем необходимые шаги.

Шаг 1. Обучи или загрузи модель#

Перед развертыванием в проекте должна быть доступна обученная модель. Это может быть модель, обученная непосредственно на Ultralytics Platform, модель, загруженная после обучения в другом месте, или модель, скопированная из проекта сообщества на вкладке «Обзор», где публичные проекты других пользователей можно скопировать в свой аккаунт одним щелчком.

Когда модель будет готова, открой ее страницу в проекте, чтобы продолжить.

Шаг 2. Открой вкладку Deploy#

Перейди на вкладку Deploy модели. В этом разделе платформы можно настроить и запустить развертывание.

На этой странице ты увидишь таблицу регионов и интерактивную карту доступных мест развертывания по всему миру. Платформа измеряет задержку из твоего местоположения и сортирует регионы по этому показателю, чтобы помочь выбрать наиболее подходящий.

Рис. 3. Регионы на Ultralytics Platform, отсортированные по задержке (Источник)

Шаг 3. Выбери регион развертывания#

Выбери регион с учетом местоположения пользователей или приложений. Развертывание модели ближе к источнику запросов может значительно сократить время отклика.

Шаг 4. Разверни эндпоинт#

Выбрав регион и подтвердив конфигурацию, нажми Deploy.

Затем платформа подготавливает среду развертывания, загружает образ модели, запускает сервис и проверяет его работоспособность, чтобы убедиться, что эндпоинт готов. Обычно этот процесс занимает около одной-двух минут.

После завершения развертывания платформа создает уникальный URL эндпоинта, который приложения могут использовать для отправки запросов на инференс.

Рис. 4. Пример развернутого эндпоинта (Источник)

Шаг 5. Начни отправлять запросы на инференс#

Когда эндпоинт запущен, приложения могут отправлять изображения модели через предоставленный эндпоинт REST API, передавая ключ API в заголовке Authorization. Эндпоинт обрабатывает каждый запрос и возвращает предсказания, например обнаруженные объекты, ограничивающие рамки или другие результаты для конкретной задачи.

Подробности о развертывании моделей смотри в официальной документации Ultralytics Platform.

Мониторинг производительности и метрик моделей для развернутых эндпоинтов#

После развертывания модели компьютерного зрения мониторинг ее производительности становится важной частью обеспечения надежности и устойчивости системы. Даже за хорошо обученной моделью нужно следить в рабочей среде, чтобы убедиться, что она по-прежнему быстро отвечает, корректно обрабатывает входящие запросы и выдает точные предсказания.

Ultralytics Platform предоставляет встроенные инструменты мониторинга, которые помогают командам отслеживать работу развернутых эндпоинтов. Страница Deploy на платформе служит панелью мониторинга: на ней собраны все работающие эндпоинты и ключевые метрики для контроля состояния и использования системы.

Вот некоторые метрики, которые можно отслеживать с помощью платформы:

• Задержка P95: эта метрика показывает время ответа на сервере для 95-го процентиля запросов на инференс. Она помогает понять, сколько времени занимает обработка большинства запросов, и выявить замедления.
• Частота ошибок: доля запросов, завершившихся сбоем или ошибкой за выбранный период мониторинга. Отслеживание частоты ошибок позволяет командам быстро выявлять проблемы с развертыванием или входящими запросами.
• Общее число запросов: эта метрика показывает общее количество запросов на инференс, обработанных развернутыми эндпоинтами за выбранный период (например, за последние 24 часа). Она помогает командам понять объем трафика и частоту использования моделей.

Помимо этих метрик, платформа также предоставляет проверки работоспособности эндпоинтов и журналы развертывания. Проверки показывают, корректно ли отвечает эндпоинт, а журналы содержат подробные сведения о недавних запросах и активности системы.

Главные выводы#

Развертывание моделей компьютерного зрения — важный этап превращения обученных моделей в системы для решения практических задач. С Ultralytics Platform команды могут легко развертывать модели на выделенных конечных точках в 42 регионах мира, выполнять вывод в реальном времени через API и отслеживать производительность в единой среде. Гибкие варианты развертывания, встроенный мониторинг и масштабируемая инфраструктура помогают разработчикам быстрее переходить от обученных моделей машинного обучения к надежным приложениям компьютерного зрения.

Стань частью нашего растущего сообщества! Загляни в наш репозиторий GitHub, чтобы узнать больше об ИИ. Если ты хочешь создавать решения для компьютерного зрения, ознакомься с нашими вариантами лицензирования. Узнай о преимуществах компьютерного зрения в здравоохранении и посмотри, как ИИ в логистике меняет ситуацию к лучшему!