Выделенные инференс-эндпоинты против общего инференса для развертывания

Недавно мы представили Ultralytics Platform, универсальное решение, которое объединяет весь рабочий процесс компьютерного зрения в одном месте: от подготовки датасетов и обучения моделей до инференса, развертывания и мониторинга.

Платформа, созданная на основе отзывов сообщества разработчиков компьютерного зрения, разработана для упрощения каждого этапа разработки путем предоставления интегрированных функций, поддерживающих полный жизненный цикл приложений Vision AI.

Например, после того как модель обучена, следующим шагом является ее развертывание, чтобы ее можно было использовать для запуска инференса и создания предсказаний в реальных приложениях. Платформа делает этот процесс простым, предлагая множество вариантов развертывания.

Ты можешь экспортировать модели для запуска в собственной среде, использовать общий инференс для быстрого тестирования или развернуть выделенные эндпоинты для масштабируемых, готовых к работе в продакшене приложений. Каждый из этих вариантов развертывания позволяет тебе запускать инференс AI, но они предназначены для разных этапов и задач.

Рис. 1. Ultralytics Platform обеспечивает масштабируемое глобальное развертывание моделей компьютерного зрения с ИИ (Источник)

Экспорт моделей дает тебе полный контроль для запуска в твоей собственной инфраструктуре, общий инференс упрощает тестирование и эксперименты без настройки, а выделенные эндпоинты созданы для надежных, крупномасштабных рабочих нагрузок в продакшене.

На первый взгляд, общий инференс и выделенные эндпоинты могут показаться довольно похожими. Оба позволяют отправлять API-запросы к твоей модели и получать структурированные предсказания, что упрощает интеграцию Vision AI в приложения.

Однако по мере роста твоих нагрузок и начала обработки реальных запросов на инференс в твоих приложениях компьютерного зрения, различия между этими вариантами становятся более важными. В этой статье мы подробнее рассмотрим общий инференс и выделенные эндпоинты, сравним их, разберемся, когда использовать каждый из них, и почему выделенные эндпоинты становятся лучшим выбором по мере масштабирования твоих приложений.

Обзор развертывания с использованием общего инференса#

Общий инференс — это простой способ запуска ИИ-инференса для твоих моделей без настройки какой-либо инфраструктуры или беспокойства о типах GPU, интеграции фреймворков или конфигурации рантайма. Как только твоя модель обучена или дообучена, ты можешь использовать ее для создания предсказаний напрямую через платформу.

В этой настройке твоя модель работает на общих, мультиарендных вычислительных ресурсах в нескольких основных регионах, таких как США, Европа и Азиатско-Тихоокеанский регион. Запросы автоматически перенаправляются на доступные службы, поэтому тебе не нужно настраивать GPU-инстансы или среды выполнения. Всё обрабатывается за тебя, что упрощает начало работы.

Когда ты используешь общий инференс, ты отправляешь запросы к своей модели через REST API, используя инструменты типа Python или CLI, и получаешь структурированные JSON-выводы, такие как обнаруженные объекты, оценки достоверности и другие детали предсказания. Это делает тестирование моделей и их интеграцию в приложения бесшовными.

Поскольку система общая, она предназначена для разработки, тестирования и легкого использования. Она отлично подходит для проверки предсказаний и создания ранних интеграций. В то же время производительность может варьироваться в зависимости от нагрузки на систему, а использование ограничено до 20 запросов в минуту на один API-ключ, что делает её менее подходящей для высоконагруженных продакшен-решений.

В целом, общий инференс лучше всего подходит для ранних этапов разработки, где фокус направлен на понимание и улучшение твоей модели перед переходом к более крупным приложениям.

Развертывание моделей по всему миру с использованием выделенных эндпоинтов#

Выделенные эндпоинты — это однопользовательские службы инференса, где твои модели компьютерного зрения с ИИ работают на изолированных вычислительных ресурсах. Вместо совместного использования инфраструктуры каждый эндпоинт имеет собственный рантайм с настраиваемыми ресурсами, такими как CPU и память, что дает тебе больше контроля над производительностью.

Когда ты развертываешь модель в качестве выделенного эндпоинта, ей присваивается уникальный API-URL и используется твой API-ключ для аутентификации, что упрощает интеграцию в приложения. Эти эндпоинты могут быть развернуты в 43 глобальных регионах, что позволяет тебе запускать инференс ближе к твоим пользователям и снижать задержки.

Рис. 2. Ты можешь развертывать выделенные эндпоинты в 43 глобальных регионах (Источник)

Одним из ключевых преимуществ является автоскейлинг. Эндпоинты автоматически подстраиваются под входящие запросы, масштабируясь вверх для обработки высокого трафика и вниз, когда спрос падает. Благодаря включенному по умолчанию масштабированию до нуля, эндпоинты могут отключаться при простое и перезапускаться при необходимости, помогая оптимизировать использование ресурсов.

Другими словами, выделенные эндпоинты предназначены для продакшен-нагрузок. Они обеспечивают стабильно низкую задержку, более высокую пропускную способность и большую надежность по сравнению с общим инференсом.

Также у выделенных эндпоинтов нет лимитов по количеству запросов. Запросы направляются напрямую к твоему эндпоинту, поэтому объем трафика, который ты можешь обработать, зависит от твоей настройки и масштабирования, а не от фиксированных ограничений.

В дополнение к этому, встроенный мониторинг, логи, проверки состояния, а также предсказуемое поведение среды выполнения и запуска упрощают отслеживание производительности и поддержание стабильности развертываний на всех тарифах. На бесплатном тарифе холодный старт обычно занимает от 5 до 45 секунд, тогда как эндпоинты на тарифе Pro остаются «разогретыми», что приводит к более быстрой и предсказуемой производительности инференса.

Проще говоря, выделенные эндпоинты идеально подходят для приложений Vision AI реального времени, требующих надежного, масштабируемого и высокопроизводительного инференса.

Общий инференс против выделенных эндпоинтов: Основные различия#

Вот более детальный взгляд на сравнение общего инференса и выделенных эндпоинтов:

• Задержка (Latency): Задержка может варьироваться в общих средах из-за совместного использования ресурсов, в то время как выделенные эндпоинты обеспечивают более стабильные ответы с низкой задержкой.
• Регионы: Общий инференс доступен в нескольких регионах (США, ЕС, Азиатско-Тихоокеанский регион), в то время как выделенные эндпоинты поддерживают развертывание в 43 глобальных регионах.
• Масштабируемость: Масштабирование не настраивается в общем инференсе, тогда как выделенные эндпоинты автоматически масштабируются на основе входящего трафика.
• Лимиты запросов: Общий инференс ограничен по количеству запросов (20 запросов или вызовов API в минуту на один API-ключ), тогда как выделенные эндпоинты не имеют лимитов платформы.
• Ценообразование: Общий инференс включен без дополнительной платы для тестирования и разработки, тогда как выделенные эндпоинты предлагают больше контроля и масштабируемости, где стоимость зависит от конфигурации ресурсов и потребностей в развертывании.

Почему выделенные эндпоинты лучше для продакшен-нагрузок#

По мере перехода приложений AI и машинного обучения от тестирования к реальному использованию, производительность, масштабируемость и надежность становятся критически важными. Вот почему выделенные эндпоинты предлагают явные преимущества перед общим инференсом.

С выделенными эндпоинтами твоя предобученная или кастомная модель работает на своих собственных вычислительных ресурсах, поэтому производительность не зависит от других пользователей. Это помогает поддерживать низкую и стабильную задержку, что важно для приложений реального времени, таких как видеоаналитика и системы мониторинга.

Рис. 3. Обзор развертывания с использованием выделенного эндпоинта инференса (Источник)

Например, подумай о системе аналитики розничной торговли, обрабатывающей живые видеопотоки из нескольких магазинов. Развертывая эндпоинты в 43 глобальных регионах, инференс может выполняться ближе к каждому магазину, снижая задержку и улучшая скорость отклика.

При использовании общего инференса, где ресурсы общие, а регионы ограничены, производительность может варьироваться в периоды высокой нагрузки.

Выделенные эндпоинты также могут обрабатывать более высокий трафик и автоматически масштабироваться в зависимости от спроса. Благодаря встроенному мониторингу, логам и проверкам состояния, они обеспечивают более предсказуемую производительность, что делает их подходящим выбором для крупномасштабных и постоянных AI-нагрузок.

Где общий инференс вписывается в рабочий процесс Vision AI#

Изучая различия между общим инференсом и выделенными эндпоинтами, ты можешь задаться вопросом, где именно общий инференс вписывается в общий рабочий процесс компьютерного зрения.

Давай снова рассмотрим пример с аналитикой розничной торговли. Перед развертыванием решения компьютерного зрения в нескольких магазинах, командам обычно необходимо протестировать его работу на реальных данных и доработать его на основе полученных результатов.

Общий инференс делает этот процесс простым, позволяя тебе отправлять примеры изображений или видеокадров с камер магазина и быстро просматривать предсказания без настройки инфраструктуры. Это особенно полезно для тестирования поведения модели, отладки неверных предсказаний и проверки результатов в различных условиях, таких как изменения освещения или планировки магазина.

Итерируя таким образом, команды могут повысить точность и надежность модели перед переходом в продакшен. Как только модель показывает хорошие результаты в этих тестовых сценариях, её можно развернуть на выделенных эндпоинтах для использования в реальном времени в нескольких точках.

Общий инференс также может хорошо работать для приложений с низким или нечастым использованием. Например, небольшой магазин розничной торговли может использовать его для периодического анализа потока посетителей или проверки активности клиентов в определенное время, без необходимости полного масштабируемого развертывания. В таких случаях он предоставляет простой и экономичный способ запуска инференса по запросу.

Реальные кейсы использования выделенных эндпоинтов#

По мере выхода приложений AI за рамки тестирования, выбор развертывания начинает напрямую влиять на производительность, масштабируемость и пользовательский опыт. Выделенные эндпоинты могут широко использоваться в различных отраслях, поскольку они обеспечивают стабильную производительность, низкую задержку и возможность обработки крупномасштабных нагрузок.

Вот несколько распространенных кейсов, которые показывают, как выделенные эндпоинты могут использоваться в реальных приложениях:

• Розничная торговля и видеоаналитика: Розничная сеть может использовать компьютерное зрение для отслеживания передвижения клиентов, определения популярных продуктов и мониторинга активности в магазине в реальном времени. Выделенные эндпоинты обеспечивают быстрый и стабильный инференс в нескольких точках продаж, даже в часы пик.
• Производство и контроль качества: На производственной линии модели могут обнаруживать дефекты или аномалии по мере прохождения продуктов через систему. Выделенные эндпоинты поддерживают непрерывный инференс в реальном времени, помогая командам вовремя выявлять проблемы и поддерживать качество продукции без замедления операций.
• Здравоохранение и медицинская визуализация: Медицинские учреждения и диагностические лаборатории могут полагаться на модели зрения для анализа медицинских изображений, таких как рентгенограммы или сканы. Выделенные эндпоинты обеспечивают надежную и стабильную производительность, что критически важно при работе с конфиденциальными данными и диагностикой, требующей оперативности.
• Автоматизация складов и логистики: Крупные склады часто используют множество идентичных систем, таких как конвейерные ленты и линии сортировки, фактически работающих как копии одной и той же настройки. Модели компьютерного зрения могут контролировать каждую копию для обнаружения проблем, таких как заторы или неправильно направленные посылки. Выделенные эндпоинты гарантируют стабильный инференс для всех копий в режиме реального времени.

Переход от общего инференса к выделенным эндпоинтам#

Одним из ключевых преимуществ Ultralytics Platform является то, насколько просто перейти от общего инференса к выделенным эндпоинтам по мере роста твоего приложения. Вместо смены инструментов или перестройки всей системы, ты можешь перейти к развертыванию, готовому к продакшену, в той же среде.

После тестирования твоей модели с помощью общего инференса, переход к выделенному эндпоинту — это простой следующий шаг. Ты можешь развернуть ту же модель на эндпоинт, выбрать предпочтительный регион и вычислительные ресурсы, а затем обновить URL эндпоинта в своем приложении. Общая интеграция остается похожей, поэтому практически нет изменений в том, как ты отправляешь запросы или обрабатываешь ответы.

Рис. 4. Просмотр URL выделенного эндпоинта на Ultralytics Platform (Источник)

Это значит, что ты можешь масштабироваться от тестирования до продакшена в пару кликов. По мере увеличения нагрузки или необходимости в более стабильной производительности, ты можешь переходить на выделенные эндпоинты без нарушения своего текущего рабочего процесса.

Чтобы узнать больше о развертывании моделей с использованием выделенных эндпоинтов на Ultralytics Platform, ознакомься с официальной документацией Ultralytics Platform.

Основные выводы#

Общий инференс — отличная отправная точка для тестирования и экспериментов, но продакшен-нагрузки требуют большей стабильности и масштабируемости. По мере роста приложений, выделенные эндпоинты обеспечивают производительность и надежность, необходимые для поддержки реальных сценариев использования. Это делает их лучшим выбором для большинства продакшен-развертываний.

Присоединяйся к нашему сообществу и изучай наш репозиторий на GitHub, чтобы узнать больше о моделях компьютерного зрения. Читай о таких приложениях, как ИИ в сельском хозяйстве и компьютерное зрение в робототехнике, на наших страницах решений. Ознакомься с нашими вариантами лицензирования и начни работу с ИИ зрения.