Ultralytics Platform: Развертывание моделей компьютерного зрения в любом регионе

Ранее на этой неделе Ultralytics запустила Ultralytics Platform — новую комплексную среду, разработанную для того, чтобы ускорить поставку систем компьютерного зрения (CV), оптимизируя каждый этап рабочего процесса AI — от подготовки данных и разработки моделей до их развертывания.

Одна из ключевых причин разработки Ultralytics Platform заключается в том, что превращение решения для компьютерного зрения, позволяющего машинам анализировать изображения и видео, из идеи в результат требует чего-то большего, чем просто создание сильной модели. После того как модель обучена и прошла валидацию, её необходимо развернуть, чтобы приложения могли отправлять изображения, получать предсказания и надежно выполнять инференс в реальных условиях.

Именно на этом этапе жизненного цикла машинного обучения модели компьютерного зрения выходят за рамки экспериментов и начинают работать в практических системах. Даже если ранние этапы, такие как подготовка набора данных, аннотирование, обучение и тестирование модели, проходят гладко, без надежного способа развертывания моделей эти результаты не принесут реальной пользы.

Реальность многих проектов по компьютерному зрению такова, что развертывание может быть одним из самых сложных этапов рабочего процесса.

Командам часто приходится настраивать API для инференса, управлять вычислительными ресурсами, развертывать модели ближе к пользователям для снижения задержек и отслеживать производительность уже запущенных в продакшене систем.

Ultralytics Platform упрощает и автоматизирует этот процесс, предоставляя несколько вариантов развертывания, включая форматы экспорта моделей, общие сервисы инференса и выделенные эндпоинты в глобальных регионах. Благодаря управляемой инфраструктуре и встроенному мониторингу команды могут легко переходить от обученных моделей к готовым к использованию системам компьютерного зрения.

Рис. 1. Взгляд на развертывание моделей с использованием Ultralytics Platform (Источник)

В этой статье мы рассмотрим, как развертывать модели компьютерного зрения в любом регионе с помощью выделенных эндпоинтов на Ultralytics Platform. Давай начнем!

Link to this sectionЧто такое развертывание моделей CV?#

Прежде чем мы погрузимся в то, как развертывать модели глубокого обучения с помощью Ultralytics Platform, давай лучше поймем, что на самом деле означает развертывание моделей компьютерного зрения.

Развертывание моделей компьютерного зрения — это процесс превращения обученной модели в инструмент, доступный для реального использования. Вместо того чтобы работать только в среде обучения, модель настраивается так, чтобы приложения могли отправлять ей изображения или видео и получать взамен предсказания.

Например, модель может обнаруживать объекты на изображении, выполнять сегментацию, идентифицировать товары на складе или распознавать закономерности на видеозаписях. В большинстве реальных систем это происходит через API или эндпоинт для инференса.

Приложение отправляет изображение модели, модель обрабатывает его и возвращает предсказание за миллисекунды. Именно это позволяет таким моделям компьютерного зрения, как Ultralytics YOLO, обеспечивать работу приложений в реальном времени.

Модели могут быть развернуты в разных средах в зависимости от варианта использования. Некоторые работают в облаке (через облачные платформы), и многие приложения могут получить к ним доступ, в то время как другие работают на граничных устройствах, таких как локальные камеры, роботы или встраиваемые системы, которым нужны быстрые локальные предсказания.

Link to this sectionВарианты развертывания моделей AI на Ultralytics Platform#

Хотя Ultralytics Platform решает многие проблемы, с которыми сталкивается сообщество компьютерного зрения, особенно в части развертывания моделей, она предоставляет гибкие способы запуска инференса в зависимости от потребностей твоего приложения.

Вот краткий обзор вариантов развертывания моделей, доступных на платформе:

• Экспорт моделей: Ты можешь экспортировать модели в 17 различных форматов, включая ONNX, TensorRT, CoreML и TFLite, что позволяет запускать модели в широком спектре сред, таких как граничные устройства (например, Raspberry Pi и NVIDIA Jetson), мобильные приложения, Docker-контейнеры и кастомная инфраструктура.
• Общий инференс: Платформа позволяет запускать предсказания через управляемый сервис общего инференса, что идеально подходит для быстрого тестирования моделей.
• Выделенные эндпоинты: Легко развертывай модели как независимые сервисы с уникальными API URL, которые могут работать в 43 глобальных регионах, с встроенным автомасштабированием, мониторингом и проверками работоспособности для производственных развертываний.

Link to this sectionРазвертывание с использованием выделенных эндпоинтов#

Один из наиболее масштабируемых способов запуска предобученных или кастомных моделей компьютерного зрения в продакшене на Ultralytics Platform — использование выделенных эндпоинтов. Выделенный эндпоинт позволяет развернуть обученную модель как отдельный сервис, чтобы приложения могли отправлять на него изображения и получать предсказания через API.

Вместо того чтобы запускать модель только в среде обучения или локальном блокноте, развертывание её в виде эндпоинта делает её доступной для реальных приложений. Например, складская система может отправлять изображения посылок для обнаружения объектов, умная камера — анализировать кадры видео, или роботизированная система — использовать предсказания для управления действиями.

Каждый выделенный эндпоинт работает как сервис с одним арендатором, что означает, что инфраструктура, на которой запущена твоя модель, не разделяется с другими пользователями. Это обеспечивает более предсказуемую производительность и упрощает отслеживание того, как модель ведет себя в продакшене.

Link to this sectionПонимание функциональности выделенных эндпоинтов для инференса#

Ты можешь рассматривать выделенный эндпоинт как хостинговый сервис для твоей модели. Ultralytics Platform предоставляет уникальный URL эндпоинта, который служит точкой входа для приложений.

Когда приложение отправляет запрос на этот URL, оно включает в себя изображение и необязательные параметры, такие как пороги уверенности или размер изображения, а также API-ключ для аутентификации.

Сервис выполняет инференс на изображении с использованием твоей модели и возвращает предсказания в структурированном ответе. Эта настройка позволяет разработчикам интегрировать модели компьютерного зрения в реальные системы с помощью стандартных веб-инструментов.

Приложения могут отправлять запросы с использованием Python, JavaScript, cURL или других HTTP-клиентов, что упрощает подключение моделей к дашбордам, роботизированным системам или облачным приложениям. Поскольку эндпоинт работает независимо, он также поддерживает масштабирование, мониторинг и глобальное развертывание, помогая командам создавать надежные производственные системы компьютерного зрения.

Link to this sectionМультирегиональное развертывание улучшает инференс в реальном времени#

Ключевое преимущество выделенных эндпоинтов на Ultralytics Platform — возможность развертывать модели в 43 глобальных регионах. Эти регионы охватывают множество частей мира, включая Северную Америку, Южную Америку, Европу, Азиатско-Тихоокеанский регион, а также Ближний Восток и Африку.

Рис. 2. Ultralytics Platform поддерживает 43 глобальных региона (Источник)

Развертывание моделей в регионах, расположенных ближе к месту работы приложений, помогает снизить задержку — время, которое требуется приложению для отправки изображения и получения предсказания. Это также помогает организациям соответствовать требованиям конфиденциальности и локализации данных, оставляя их обработку ближе к месту их происхождения.

Низкая задержка важна для многих приложений компьютерного зрения, полагающихся на инференс в реальном времени, таких как роботизированные системы, устройства Интернета вещей (IoT), промышленные инспекционные линии и инфраструктура «умного города».

Например, если приложение используется преимущественно в Европе, развертывание модели в европейском регионе может значительно улучшить время отклика по сравнению с запуском модели в удаленном регионе.

Link to this sectionКак развернуть модель в любом регионе с помощью Ultralytics Platform#

Развертывание модели в определенном регионе — это просто и обычно занимает всего пару минут. Платформа берет на себя настройку инфраструктуры, чтобы разработчики могли сосредоточиться на интеграции модели в свои приложения. Давай пройдемся по шагам.

Link to this sectionШаг 1: Обучи или загрузи модель#

Перед развертыванием тебе нужна обученная модель, доступная в твоем проекте. Это может быть модель, обученная непосредственно на Ultralytics Platform, модель, загруженная после обучения в другом месте, или модель, клонированная из проекта сообщества, найденная во вкладке «Explore tab», где публичные проекты, которыми поделились другие пользователи, могут быть скопированы в твой аккаунт в один клик.

Как только модель готова, открой страницу модели внутри своего проекта, чтобы продолжить.

Link to this sectionШаг 2: Открой вкладку Deploy#

Перейди на вкладку Deploy для этой модели. Этот раздел платформы позволяет настраивать и запускать развертывания.

На этой странице ты увидишь таблицу регионов и интерактивную карту, показывающую доступные места развертывания по всему миру. Платформа измеряет задержку от твоего местоположения и соответствующим образом сортирует регионы, чтобы помочь тебе выбрать наиболее подходящий.

Рис. 3. Регионы, отсортированные по задержке на Ultralytics Platform (Источник)

Link to this sectionШаг 3: Выбери регион развертывания#

Выбери регион в зависимости от того, где находятся твои пользователи или приложения. Развертывание модели ближе к источнику запросов может значительно сократить время отклика.

Link to this sectionШаг 4: Разверни эндпоинт#

После выбора региона и подтверждения конфигурации ты можешь нажать Deploy.

Затем платформа подготавливает среду развертывания, подтягивает образ модели, запускает сервис и выполняет проверку работоспособности, чтобы убедиться, что эндпоинт готов. Этот процесс обычно занимает от одной до двух минут.

Как только развертывание завершено, платформа генерирует уникальный URL эндпоинта, который приложения могут использовать для отправки запросов на инференс.

Рис. 4. Пример развернутого эндпоинта (Источник)

Link to this sectionШаг 5: Начни отправлять запросы на инференс#

Когда эндпоинт запущен, приложения могут начать отправку изображений модели, используя предоставленный эндпоинт REST API и API-ключ, переданный в заголовке Authorization. Эндпоинт обрабатывает каждый запрос и возвращает предсказания, такие как обнаруженные объекты, ограничивающие рамки (bbox) или другие выходные данные, специфичные для задачи.

Для получения более подробной информации, связанной с развертыванием моделей, ознакомься с официальной документацией Ultralytics Platform.

Link to this sectionМониторинг производительности модели и метрики для развернутых эндпоинтов#

После того как модель компьютерного зрения развернута, мониторинг её производительности становится важной частью поддержания надежности и устойчивости системы. Даже хорошо обученная модель требует наблюдения в продакшене, чтобы убедиться, что она продолжает быстро отвечать, правильно обрабатывать входящие запросы и выдавать точные предсказания.

Ultralytics Platform предоставляет встроенные инструменты мониторинга, которые дают командам возможность видеть, как работают развернутые эндпоинты. Страница Deploy на платформе выступает в качестве дашборда мониторинга, предлагая централизованный вид всех работающих эндпоинтов вместе с ключевыми метриками, помогающими отслеживать состояние и использование системы.

Вот некоторые из метрик, которые ты можешь отслеживать с помощью платформы:

• P95 latency (задержка P95): Эта метрика измеряет 95-й процентиль времени отклика на стороне сервера для запросов на инференс. Она дает представление о том, сколько времени занимает большинство запросов на инференс, и помогает выявить замедления в работе.
• Error rate (частота ошибок): Она представляет процент запросов, которые завершились сбоем или вернули ошибки в течение выбранного окна мониторинга. Отслеживание частоты ошибок позволяет командам быстро обнаруживать проблемы с развертываниями или входящими запросами.
• Total requests (общее количество запросов): Эта метрика показывает общее количество запросов на инференс, обработанных на развернутых эндпоинтах за выбранный период времени (например, за последние 24 часа). Это помогает командам понять уровень трафика и то, как часто используются их модели.

В дополнение к этим метрикам платформа также предоставляет проверки работоспособности эндпоинтов и логи развертывания. Проверки работоспособности показывают, правильно ли отвечает эндпоинт, в то время как логи предоставляют подробную информацию о недавних запросах и активности системы.

Link to this sectionОсновные выводы#

Развертывание моделей компьютерного зрения — важный шаг в превращении обученных моделей в системы, которые питают реальные приложения. С помощью Ultralytics Platform команды могут легко развертывать модели через выделенные эндпоинты в 43 глобальных регионах, запускать инференс в реальном времени через API и отслеживать производительность из единой среды. Сочетая гибкие варианты развертывания, встроенный мониторинг и масштабируемую инфраструктуру, платформа помогает разработчикам быстрее переходить от обученных моделей машинного обучения к надежным приложениям компьютерного зрения.

Становись частью нашего растущего сообщества! Погрузись в наш репозиторий на GitHub, чтобы узнать больше об AI. Если ты хочешь создавать решения для компьютерного зрения, ознакомься с нашими вариантами лицензирования. Исследуй преимущества компьютерного зрения в здравоохранении и посмотри, как AI в логистике меняет ситуацию к лучшему!