Ultralytics Platform: Развертывание моделей компьютерного зрения в любом регионе

Ранее на этой неделе компания Ultralytics запустила Ultralytics Platform — новую комплексную среду, созданную для ускорения создания систем компьютерного зрения (CV) за счет оптимизации каждого этапа рабочего процесса vision AI: от подготовки данных и разработки моделей до развертывания.

Одна из ключевых причин разработки Ultralytics Platform заключается в том, что превращение решения для компьютерного зрения, позволяющего машинам анализировать изображения и видео, из идеи в результат требует чего-то большего, чем просто создание сильной модели. После того как модель обучена и прошла валидацию, её необходимо развернуть, чтобы приложения могли отправлять изображения, получать предсказания и надежно выполнять инференс в реальных условиях.

Именно на этом этапе жизненного цикла машинного обучения модели компьютерного зрения выходят за рамки экспериментов и начинают работать в практических системах. Даже если ранние этапы, такие как подготовка набора данных, аннотирование, обучение и тестирование модели, проходят гладко, без надежного способа развертывания моделей эти результаты не принесут реальной пользы.

Реальность во многих проектах компьютерного зрения такова, что развертывание может быть одним из самых сложных этапов рабочего процесса.

Командам часто приходится настраивать API для инференса, управлять вычислительными ресурсами, развертывать модели ближе к пользователям для снижения задержек и отслеживать производительность уже запущенных в продакшене систем.

Ultralytics Platform упрощает и автоматизирует этот процесс, предоставляя несколько вариантов развертывания, включая форматы экспорта моделей, общие сервисы инференса и выделенные эндпоинты в глобальных регионах. Благодаря управляемой инфраструктуре и встроенному мониторингу команды могут легко переходить от обученных моделей к готовым к использованию системам компьютерного зрения.

Рис. 1. Обзор развертывания моделей с использованием Ultralytics Platform (Источник)

В этой статье мы рассмотрим, как развертывать модели компьютерного зрения в любом регионе с помощью выделенных эндпоинтов на Ultralytics Platform. Давай начнем!

Что такое развертывание моделей CV?#

Прежде чем мы погрузимся в то, как развертывать модели глубокого обучения с помощью Ultralytics Platform, давай лучше поймем, что на самом деле означает развертывание моделей компьютерного зрения.

Развертывание моделей компьютерного зрения — это процесс подготовки обученной модели к использованию в реальных условиях. Вместо работы только в среде обучения модель настраивается таким образом, чтобы приложения могли отправлять ей изображения или видео и получать прогнозы в ответ.

Например, модель может обнаруживать объекты на изображении, выполнять сегментацию, идентифицировать товары на складе или распознавать закономерности на видеозаписях. В большинстве реальных систем это происходит через API или эндпоинт для инференса.

Приложение отправляет изображение модели, модель обрабатывает его и возвращает прогноз за миллисекунды. Именно это позволяет моделям компьютерного зрения, таким как Ultralytics YOLO, обеспечивать работу в реальном времени.

Модели могут быть развернуты в разных средах в зависимости от варианта использования. Некоторые работают в облаке (через облачные платформы), и многие приложения могут получить к ним доступ, в то время как другие работают на граничных устройствах, таких как локальные камеры, роботы или встраиваемые системы, которым нужны быстрые локальные предсказания.

Варианты развертывания моделей AI на Ultralytics Platform#

Хотя Ultralytics Platform решает многие проблемы, с которыми сталкивается сообщество компьютерного зрения, особенно в части развертывания моделей, она предоставляет гибкие способы запуска инференса в зависимости от потребностей твоего приложения.

Вот краткий обзор вариантов развертывания моделей, доступных на платформе:

• Экспорт моделей: ты можешь экспортировать модели в 17 различных форматов, включая ONNX, TensorRT, CoreML и TFLite, что позволяет запускать их в самых разных средах, таких как периферийные устройства (например, Raspberry Pi и NVIDIA Jetson), мобильные приложения, контейнеры Docker и собственная инфраструктура.
• Общий инференс: Платформа позволяет запускать предсказания через управляемый сервис общего инференса, что идеально подходит для быстрого тестирования моделей.
• Выделенные эндпоинты: легко развертывай модели в качестве независимых сервисов с уникальными URL-адресами API, которые могут работать в 43 регионах по всему миру, с поддержкой встроенного автомасштабирования, мониторинга и проверки работоспособности для рабочих развертываний.

Развертывание с использованием выделенных эндпоинтов#

Один из наиболее масштабируемых способов запуска предобученных или кастомных моделей компьютерного зрения в продакшене на Ultralytics Platform — использование выделенных эндпоинтов. Выделенный эндпоинт позволяет развернуть обученную модель как отдельный сервис, чтобы приложения могли отправлять на него изображения и получать предсказания через API.

Вместо того чтобы запускать модель только в среде обучения или локальном блокноте, развертывание её в виде эндпоинта делает её доступной для реальных приложений. Например, складская система может отправлять изображения посылок для обнаружения объектов, умная камера — анализировать кадры видео, или роботизированная система — использовать предсказания для управления действиями.

Каждый выделенный эндпоинт работает как сервис с одним арендатором, что означает, что инфраструктура, на которой запущена твоя модель, не разделяется с другими пользователями. Это обеспечивает более предсказуемую производительность и упрощает отслеживание того, как модель ведет себя в продакшене.

Понимание функциональности выделенных эндпоинтов для инференса#

Ты можешь рассматривать выделенный эндпоинт как хостинговый сервис для твоей модели. Ultralytics Platform предоставляет уникальный URL эндпоинта, который служит точкой входа для приложений.

Когда приложение отправляет запрос на этот URL, оно включает в себя изображение и необязательные параметры, такие как пороги уверенности или размер изображения, а также API-ключ для аутентификации.

Сервис выполняет инференс на изображении с использованием твоей модели и возвращает предсказания в структурированном ответе. Эта настройка позволяет разработчикам интегрировать модели компьютерного зрения в реальные системы с помощью стандартных веб-инструментов.

Приложения могут отправлять запросы с использованием Python, JavaScript, cURL или других HTTP-клиентов, что упрощает подключение моделей к дашбордам, роботизированным системам или облачным приложениям. Поскольку эндпоинт работает независимо, он также поддерживает масштабирование, мониторинг и глобальное развертывание, помогая командам создавать надежные производственные системы компьютерного зрения.

Мультирегиональное развертывание улучшает инференс в реальном времени#

Ключевое преимущество выделенных эндпоинтов на Ultralytics Platform — возможность развертывать модели в 43 глобальных регионах. Эти регионы охватывают множество частей мира, включая Северную Америку, Южную Америку, Европу, Азиатско-Тихоокеанский регион, а также Ближний Восток и Африку.

Рис. 2. Ultralytics Platform поддерживает 43 региона мира (Источник)

Развертывание моделей в регионах, расположенных ближе к месту работы приложений, помогает снизить задержку — время, которое требуется приложению для отправки изображения и получения предсказания. Это также помогает организациям соответствовать требованиям конфиденциальности и локализации данных, оставляя их обработку ближе к месту их происхождения.

Низкая задержка важна для многих приложений компьютерного зрения, полагающихся на инференс в реальном времени, таких как роботизированные системы, устройства Интернета вещей (IoT), промышленные инспекционные линии и инфраструктура «умного города».

Например, если приложение используется преимущественно в Европе, развертывание модели в европейском регионе может значительно улучшить время отклика по сравнению с запуском модели в удаленном регионе.

Как развернуть модель в любом регионе с помощью Ultralytics Platform#

Развертывание модели в определенном регионе — это просто и обычно занимает всего пару минут. Платформа берет на себя настройку инфраструктуры, чтобы разработчики могли сосредоточиться на интеграции модели в свои приложения. Давай пройдемся по шагам.

Шаг 1: Обучи или загрузи модель#

Перед развертыванием тебе нужна обученная модель, доступная в твоем проекте. Это может быть модель, обученная непосредственно на Ultralytics Platform, модель, загруженная после обучения в другом месте, или модель, клонированная из проекта сообщества, найденная во вкладке «Explore tab», где публичные проекты, которыми поделились другие пользователи, могут быть скопированы в твой аккаунт в один клик.

Как только модель готова, открой страницу модели внутри своего проекта, чтобы продолжить.

Шаг 2: Открой вкладку Deploy#

Перейди на вкладку Deploy для этой модели. Этот раздел платформы позволяет настраивать и запускать развертывания.

На этой странице ты увидишь таблицу регионов и интерактивную карту, показывающую доступные места развертывания по всему миру. Платформа измеряет задержку от твоего местоположения и соответствующим образом сортирует регионы, чтобы помочь тебе выбрать наиболее подходящий.

Рис. 3. Регионы, отсортированные по задержке на Ultralytics Platform (Источник)

Шаг 3: Выбери регион развертывания#

Выбери регион в зависимости от того, где находятся твои пользователи или приложения. Развертывание модели ближе к источнику запросов может значительно сократить время отклика.

Шаг 4: Разверни эндпоинт#

После выбора региона и подтверждения конфигурации ты можешь нажать Deploy.

Затем платформа подготавливает среду развертывания, подтягивает образ модели, запускает сервис и выполняет проверку работоспособности, чтобы убедиться, что эндпоинт готов. Этот процесс обычно занимает от одной до двух минут.

Как только развертывание завершено, платформа генерирует уникальный URL эндпоинта, который приложения могут использовать для отправки запросов на инференс.

Рис. 4. Пример развернутого эндпоинта (Источник)

Шаг 5: Начни отправлять запросы на инференс#

Когда эндпоинт запущен, приложения могут начать отправку изображений модели, используя предоставленный эндпоинт REST API и API-ключ, переданный в заголовке Authorization. Эндпоинт обрабатывает каждый запрос и возвращает предсказания, такие как обнаруженные объекты, ограничивающие рамки (bbox) или другие выходные данные, специфичные для задачи.

Более подробную информацию о развертывании моделей можно найти в официальной документации Ultralytics Platform.

Мониторинг производительности модели и метрики для развернутых эндпоинтов#

После того как модель компьютерного зрения развернута, мониторинг её производительности становится важной частью поддержания надежности и устойчивости системы. Даже хорошо обученная модель требует наблюдения в продакшене, чтобы убедиться, что она продолжает быстро отвечать, правильно обрабатывать входящие запросы и выдавать точные предсказания.

Ultralytics Platform предоставляет встроенные инструменты мониторинга, которые дают командам представление о производительности развернутых эндпоинтов. Страница Deploy на платформе выполняет роль панели мониторинга, предлагая централизованный обзор всех запущенных эндпоинтов вместе с ключевыми метриками, помогающими отслеживать работоспособность и использование системы.

Вот некоторые из метрик, которые ты можешь отслеживать с помощью платформы:

• P95 latency (задержка P95): Эта метрика измеряет 95-й процентиль времени отклика на стороне сервера для запросов на инференс. Она дает представление о том, сколько времени занимает большинство запросов на инференс, и помогает выявить замедления в работе.
• Error rate (частота ошибок): Она представляет процент запросов, которые завершились сбоем или вернули ошибки в течение выбранного окна мониторинга. Отслеживание частоты ошибок позволяет командам быстро обнаруживать проблемы с развертываниями или входящими запросами.
• Total requests (общее количество запросов): Эта метрика показывает общее количество запросов на инференс, обработанных на развернутых эндпоинтах за выбранный период времени (например, за последние 24 часа). Это помогает командам понять уровень трафика и то, как часто используются их модели.

В дополнение к этим метрикам платформа также предоставляет проверки работоспособности эндпоинтов и логи развертывания. Проверки работоспособности показывают, правильно ли отвечает эндпоинт, в то время как логи предоставляют подробную информацию о недавних запросах и активности системы.

Основные выводы#

Развертывание моделей компьютерного зрения — важный шаг в превращении обученных моделей в системы, которые питают реальные приложения. С помощью Ultralytics Platform команды могут легко развертывать модели через выделенные эндпоинты в 43 глобальных регионах, запускать инференс в реальном времени через API и отслеживать производительность из единой среды. Сочетая гибкие варианты развертывания, встроенный мониторинг и масштабируемую инфраструктуру, платформа помогает разработчикам быстрее переходить от обученных моделей машинного обучения к надежным приложениям компьютерного зрения.

Стань частью нашего растущего сообщества! Загляни в наш репозиторий на GitHub, чтобы узнать больше об ИИ. Если ты хочешь создавать решения для компьютерного зрения, ознакомься с нашими вариантами лицензирования. Узнай о преимуществах компьютерного зрения в здравоохранении и посмотри, как ИИ в логистике меняет ситуацию к лучшему!