Выделенные конечные точки инференса и общий инференс для развертывания

Недавно мы представили платформу Ultralytics — комплексное решение, которое объединяет весь рабочий процесс компьютерного зрения в одном месте: от подготовки наборов данных и обучения моделей до инференса, развёртывания и мониторинга.

Платформа создана с учётом отзывов сообщества специалистов по компьютерному зрению. Она упрощает каждый этап разработки благодаря интегрированным функциям, охватывающим весь жизненный цикл приложений ИИ для компьютерного зрения.

Например, после того как модель обучена, её нужно развернуть, чтобы использовать для инференса и получения предсказаний в реальных приложениях. Платформа упрощает этот процесс и предлагает несколько вариантов развёртывания.

Ты можешь экспортировать модели и запускать их в собственной среде, использовать общий инференс для быстрого тестирования или развернуть выделенные конечные точки для масштабируемых приложений, готовых к эксплуатации. Каждый из этих вариантов развёртывания позволяет выполнять инференс с помощью ИИ, но предназначен для разных этапов и сценариев использования.

Рис. 1. Платформа Ultralytics обеспечивает масштабируемое глобальное развёртывание моделей ИИ для компьютерного зрения (Источник)

Экспорт моделей даёт полный контроль над их запуском в собственной инфраструктуре, общий инференс позволяет легко тестировать и экспериментировать без настройки среды, а выделенные конечные точки предназначены для надёжных производственных нагрузок большого масштаба.

На первый взгляд общий инференс и выделенные конечные точки могут показаться похожими. В обоих случаях можно отправлять запросы API к модели и получать структурированные предсказания, что упрощает интеграцию ИИ для компьютерного зрения в приложения.

Однако по мере роста рабочих нагрузок и появления запросов на инференс в реальном времени в приложениях компьютерного зрения различия между этими вариантами становятся важнее. В этой статье мы подробнее рассмотрим общий инференс и выделенные конечные точки, сравним их, разберём, когда использовать каждый вариант и почему при масштабировании приложений выделенные конечные точки становятся предпочтительнее.

Обзор развёртывания с помощью общего инференса#

Общий инференс — это простой способ запускать инференс с помощью ИИ на своих моделях, не настраивая инфраструктуру и не беспокоясь о типах GPU, интеграции с фреймворками или конфигурации среды выполнения. После обучения или дообучения модели ты можешь использовать её для получения предсказаний прямо на платформе.

В этой конфигурации модель работает на общих вычислительных ресурсах с несколькими арендаторами в нескольких основных регионах, например в США, Европе и Азиатско-Тихоокеанском регионе. Запросы автоматически направляются к доступным сервисам, поэтому тебе не нужно настраивать экземпляры GPU или среды выполнения. Всё остальное платформа берёт на себя, и начать работу очень просто.

При использовании общего инференса ты отправляешь запросы к модели через REST API с помощью таких инструментов, как Python или CLI, и получаешь структурированные выходные данные в формате JSON: например, обнаруженные объекты, оценки уверенности и другие сведения о предсказаниях. Так ты можешь легко тестировать модели и интегрировать их в приложения.

Поскольку система общая, она предназначена для разработки, тестирования и небольших нагрузок. Она хорошо подходит для проверки предсказаний и создания первых интеграций. При этом производительность может меняться в зависимости от нагрузки на систему, а частота использования ограничена 20 запросами в минуту на ключ API, поэтому такой вариант хуже подходит для производственных нагрузок с высокой пропускной способностью.

В целом общий инференс лучше всего подходит для ранних этапов разработки, когда нужно понять, как работает модель, и улучшить её перед переходом к более масштабным приложениям.

Глобальное развёртывание моделей с помощью выделенных конечных точек#

Выделенные конечные точки — это сервисы инференса для одного арендатора, в которых модели ИИ для компьютерного зрения работают на изолированных вычислительных ресурсах. Вместо общей инфраструктуры каждая конечная точка имеет собственную среду выполнения с настраиваемыми ресурсами, например CPU и памятью, что даёт больше контроля над производительностью.

При развёртывании модели в виде выделенной конечной точки ей назначается уникальный URL API, а для аутентификации используется твой ключ API, поэтому интегрировать её в приложения просто. Такие конечные точки можно развернуть в 43 регионах мира, чтобы выполнять инференс ближе к пользователям и уменьшить задержку.

Рис. 2. Выделенные конечные точки можно развернуть в 43 регионах мира (Источник)

Одно из главных преимуществ — автоматическое масштабирование. Конечные точки автоматически подстраиваются под входящие запросы: увеличивают ресурсы при росте трафика и сокращают их при снижении нагрузки. По умолчанию включено масштабирование до нуля: простаивающие конечные точки могут выключаться и перезапускаться при необходимости, что помогает оптимизировать использование ресурсов.

Иными словами, выделенные конечные точки предназначены для производственных нагрузок. По сравнению с общим инференсом они обеспечивают более стабильную низкую задержку, более высокую пропускную способность и надёжность.

Кроме того, для выделенных конечных точек нет ограничений частоты запросов. Запросы поступают напрямую в твою конечную точку, поэтому обрабатываемый объём трафика зависит от твоей конфигурации и масштабирования, а не от фиксированных лимитов.

Встроенные мониторинг, журналы и проверки работоспособности, а также предсказуемое поведение среды выполнения и запуска упрощают отслеживание производительности и поддержку стабильного развёртывания на всех тарифных планах. На бесплатном тарифе холодный запуск обычно занимает от 5 до 45 секунд, а конечные точки тарифа Pro остаются прогретыми, обеспечивая более быстрый и предсказуемый инференс.

Проще говоря, выделенные конечные точки идеально подходят для приложений ИИ в области компьютерного зрения, работающих в реальном времени и требующих надёжного, масштабируемого и высокопроизводительного инференса.

Общий инференс и выделенные конечные точки: основные различия#

Сравним подробнее общий инференс и выделенные конечные точки:

• Задержка: В общих средах задержка может меняться из-за совместного использования ресурсов, тогда как выделенные конечные точки обеспечивают более стабильные ответы с низкой задержкой.
• Регионы: Общий инференс доступен в нескольких регионах (США, ЕС, АТР), а выделенные конечные точки можно развернуть в 43 регионах мира.
• Масштабируемость: В общем инференсе нельзя настраивать масштабирование, а выделенные конечные точки автоматически масштабируются в зависимости от входящего трафика.
• Ограничения частоты запросов: Для общего инференса действует ограничение в 20 запросов или вызовов API в минуту на ключ API, а для выделенных конечных точек ограничений частоты запросов на уровне платформы нет.
• Стоимость: Общий инференс включён без дополнительной платы для тестирования и разработки, а выделенные конечные точки дают больше контроля и возможностей масштабирования; стоимость зависит от конфигурации ресурсов и требований к развёртыванию.

Почему выделенные конечные точки лучше подходят для производственных нагрузок#

По мере перехода приложений ИИ и машинного обучения от тестирования к реальному использованию всё важнее становятся производительность, масштабируемость и надёжность. Поэтому выделенные конечные точки имеют явные преимущества перед общим инференсом.

На выделенной конечной точке предварительно обученная или пользовательская модель работает на собственных вычислительных ресурсах, поэтому другие пользователи не влияют на её производительность. Это помогает поддерживать низкую и стабильную задержку, что важно для приложений реального времени, например видеоаналитики и систем мониторинга.

Рис. 3. Пример развёртывания с помощью выделенной конечной точки инференса (Источник)

Например, представь систему аналитики розничной торговли, которая обрабатывает видео с камер в нескольких магазинах в реальном времени. Если развернуть конечные точки в 43 регионах мира, инференс будет выполняться ближе к каждому магазину, что уменьшит задержку и ускорит отклик.

При общем инференсе ресурсы используются совместно, а число регионов ограничено, поэтому в периоды высокой нагрузки производительность может меняться.

Выделенные конечные точки также способны обрабатывать больший трафик и автоматически масштабироваться в зависимости от нагрузки. Благодаря встроенным мониторингу, журналам и проверкам работоспособности они обеспечивают более предсказуемую производительность и хорошо подходят для масштабных и непрерывных нагрузок ИИ.

Место общего инференса в рабочем процессе компьютерного зрения#

Изучая различия между общим инференсом и выделенными конечными точками, ты можешь задаться вопросом, какое место общий инференс занимает в общем рабочем процессе компьютерного зрения.

Вернёмся к примеру с аналитикой розничной торговли. Прежде чем развернуть решение для компьютерного зрения в нескольких магазинах, командам обычно нужно проверить его работу на реальных данных и доработать решение с учётом полученных результатов.

Общий инференс упрощает этот процесс: можно отправлять примеры изображений или видеокадры с камер в магазинах и быстро проверять предсказания без настройки инфраструктуры. Это особенно полезно для тестирования поведения модели, отладки неверных предсказаний и проверки результатов в разных условиях, например при изменении освещения или планировки магазина.

Итеративно работая таким образом, команды могут повысить точность и надёжность модели до её запуска в производственной среде. Когда модель начнёт хорошо работать в этих тестовых сценариях, её можно развернуть на выделенных конечных точках для использования в реальном времени в нескольких местах.

Общий инференс также хорошо подходит для приложений с низкой или редкой нагрузкой. Например, небольшой магазин может время от времени анализировать поток посетителей или изучать активность покупателей в определённые часы, не разворачивая полноценную масштабируемую систему. В таких случаях это простой и экономичный способ запускать инференс по запросу.

Примеры использования выделенных конечных точек в реальных условиях#

Когда приложения ИИ выходят за рамки тестирования, выбор способа развёртывания начинает напрямую влиять на производительность, масштабируемость и удобство для пользователей. Выделенные конечные точки находят широкое применение в разных отраслях благодаря стабильной производительности, низкой задержке и возможности обрабатывать масштабные нагрузки.

Вот несколько распространённых примеров использования выделенных конечных точек в реальных приложениях:

• Розничная торговля и видеоаналитика: Сеть магазинов может использовать компьютерное зрение, чтобы отслеживать перемещения покупателей, определять популярные товары и анализировать активность в магазинах в реальном времени. Выделенные конечные точки обеспечивают быстрый и стабильный инференс во всех магазинах, даже в часы пик.
• Производство и контроль качества: На производственной линии модели могут обнаруживать дефекты и аномалии по мере перемещения товаров по системе. Выделенные конечные точки поддерживают непрерывный инференс в реальном времени, помогая командам своевременно выявлять проблемы и поддерживать качество продукции без замедления производства.
• Здравоохранение и медицинская визуализация: Медицинские учреждения и диагностические лаборатории могут использовать модели компьютерного зрения для анализа медицинских изображений, например рентгеновских снимков и сканов. Выделенные конечные точки обеспечивают надёжную и стабильную производительность, что критически важно при работе с конфиденциальными данными и постановке срочных диагнозов.
• Автоматизация складов и логистики: На крупных складах часто работают несколько одинаковых систем, например конвейерных лент и сортировочных линий, фактически представляющих собой копии одной и той же конфигурации. Модели компьютерного зрения могут отслеживать каждую такую систему и выявлять проблемы, например заторы или неправильно направленные посылки. Выделенные конечные точки обеспечивают стабильный инференс во всех копиях системы в реальном времени.

Переход от общего инференса к выделенным конечным точкам#

Одно из главных преимуществ платформы Ultralytics — простота перехода от общего инференса к выделенным конечным точкам по мере роста приложения. Вместо перехода на другие инструменты или перестройки конфигурации ты можешь развернуть готовое к эксплуатации решение в той же среде.

После тестирования модели с помощью общего инференса следующим простым шагом станет переход к выделенной конечной точке. Ты можешь развернуть ту же модель на конечной точке, выбрать нужный регион и вычислительные ресурсы, а затем изменить URL конечной точки в приложении. Общая схема интеграции останется прежней, поэтому способ отправки запросов и обработки ответов практически не изменится.

Рис. 4. Просмотр URL выделенной конечной точки на платформе Ultralytics (Источник)

Это позволяет перейти от тестирования к эксплуатации всего за несколько нажатий. По мере роста рабочей нагрузки или при необходимости более стабильной производительности приложения ты можешь перейти на выделенные конечные точки, не нарушая текущий рабочий процесс.

Чтобы узнать больше о развёртывании моделей с помощью выделенных конечных точек на платформе Ultralytics, ознакомься с официальной документацией по платформе Ultralytics.

Главные выводы#

Общий инференс — отличная отправная точка для тестирования и экспериментов, но производственные нагрузки требуют большей стабильности и масштабируемости. По мере роста приложений выделенные конечные точки обеспечивают производительность и надёжность, необходимые для использования в реальных условиях. Поэтому для большинства производственных развёртываний это лучший выбор.

Присоединяйся к нашему сообществу и загляни в наш репозиторий GitHub, чтобы узнать больше о моделях компьютерного зрения. На страницах решений ты найдёшь информацию о таких направлениях, как ИИ в сельском хозяйстве и компьютерное зрение в робототехнике. Ознакомься с нашими вариантами лицензирования и начни работу с ИИ для компьютерного зрения.