Выделенные инференс-эндпоинты против общего инференса для развертывания

Недавно мы представили Ultralytics Platform — комплексное решение, которое объединяет весь рабочий процесс компьютерного зрения в одном месте: от подготовки датасетов и обучения моделей до инференса, развертывания и мониторинга.

Платформа, созданная на основе отзывов сообщества разработчиков компьютерного зрения, разработана для упрощения каждого этапа разработки путем предоставления интегрированных функций, поддерживающих полный жизненный цикл приложений Vision AI.

Например, после того как модель обучена, следующим шагом будет её развертывание, чтобы ты мог использовать её для запуска инференса и получения предсказаний в реальных приложениях. Платформа делает этот процесс простым, предлагая несколько вариантов развертывания.

Ты можешь экспортировать модели для запуска в собственной среде, использовать общий инференс для быстрого тестирования или развернуть выделенные эндпоинты для масштабируемых, готовых к работе в продакшене приложений. Каждый из этих вариантов развертывания позволяет тебе запускать инференс AI, но они предназначены для разных этапов и задач.

Рис. 1. Ultralytics Platform обеспечивает масштабируемое глобальное развертывание моделей Vision AI (Источник)

Экспорт моделей дает тебе полный контроль для запуска в твоей собственной инфраструктуре, общий инференс упрощает тестирование и эксперименты без настройки, а выделенные эндпоинты созданы для надежных, крупномасштабных рабочих нагрузок в продакшене.

На первый взгляд, общий инференс и выделенные эндпоинты могут показаться довольно похожими. Оба позволяют отправлять API-запросы к твоей модели и получать структурированные предсказания, что упрощает интеграцию Vision AI в приложения.

Однако по мере роста твоих нагрузок и начала обработки реальных запросов на инференс в твоих приложениях компьютерного зрения, различия между этими вариантами становятся более важными. В этой статье мы подробнее рассмотрим общий инференс и выделенные эндпоинты, сравним их, разберемся, когда использовать каждый из них, и почему выделенные эндпоинты становятся лучшим выбором по мере масштабирования твоих приложений.

Link to this sectionОбзор развертывания с использованием общего инференса#

Общий инференс — это простой способ запуска инференса AI на твоих моделях без настройки инфраструктуры и без необходимости беспокоиться о типах GPU, интеграции фреймворков или конфигурации среды выполнения. Как только твоя модель обучена или дообучена, ты можешь использовать её для получения предсказаний напрямую через платформу.

В этой настройке твоя модель работает на общих, мультиарендных вычислительных ресурсах в нескольких основных регионах, таких как США, Европа и Азиатско-Тихоокеанский регион. Запросы автоматически перенаправляются на доступные службы, поэтому тебе не нужно настраивать GPU-инстансы или среды выполнения. Всё обрабатывается за тебя, что упрощает начало работы.

Когда ты используешь общий инференс, ты отправляешь запросы к своей модели через REST API, используя инструменты типа Python или CLI, и получаешь структурированные JSON-выводы, такие как обнаруженные объекты, оценки достоверности и другие детали предсказания. Это делает тестирование моделей и их интеграцию в приложения бесшовными.

Поскольку система общая, она предназначена для разработки, тестирования и легкого использования. Она отлично подходит для проверки предсказаний и создания ранних интеграций. В то же время производительность может варьироваться в зависимости от нагрузки на систему, а использование ограничено до 20 запросов в минуту на один API-ключ, что делает её менее подходящей для высоконагруженных продакшен-решений.

В целом, общий инференс лучше всего подходит для ранних этапов разработки, где фокус направлен на понимание и улучшение твоей модели перед переходом к более крупным приложениям.

Link to this sectionРазвертывание моделей по всему миру с использованием выделенных эндпоинтов#

Выделенные эндпоинты — это одноарендные службы инференса, где твои модели Vision AI работают на изолированных вычислительных ресурсах. Вместо совместного использования инфраструктуры, каждый эндпоинт имеет собственную среду выполнения с настраиваемыми ресурсами, такими как CPU и память, что дает тебе больше контроля над производительностью.

Когда ты развертываешь модель как выделенный эндпоинт, ей назначается уникальный URL API, и она использует твой API-ключ для аутентификации, что упрощает интеграцию в приложения. Эти эндпоинты могут быть развернуты в 43 глобальных регионах, позволяя тебе запускать инференс ближе к твоим пользователям и снижать задержки.

Рис. 2. Ты можешь развертывать выделенные эндпоинты в 43 глобальных регионах (Источник)

Одним из ключевых преимуществ является автоскейлинг. Эндпоинты автоматически подстраиваются под входящие запросы, масштабируясь вверх для обработки высокого трафика и вниз, когда спрос падает. Благодаря включенному по умолчанию масштабированию до нуля, эндпоинты могут отключаться при простое и перезапускаться при необходимости, помогая оптимизировать использование ресурсов.

Другими словами, выделенные эндпоинты предназначены для продакшен-нагрузок. Они обеспечивают стабильно низкую задержку, более высокую пропускную способность и большую надежность по сравнению с общим инференсом.

Также у выделенных эндпоинтов нет лимитов по количеству запросов. Запросы направляются напрямую к твоему эндпоинту, поэтому объем трафика, который ты можешь обработать, зависит от твоей настройки и масштабирования, а не от фиксированных ограничений.

В дополнение к этому, встроенный мониторинг, логи, проверки состояния, а также предсказуемое поведение среды выполнения и запуска упрощают отслеживание производительности и поддержание стабильности развертываний на всех тарифах. На бесплатном тарифе холодный старт обычно занимает от 5 до 45 секунд, тогда как эндпоинты на тарифе Pro остаются «разогретыми», что приводит к более быстрой и предсказуемой производительности инференса.

Проще говоря, выделенные эндпоинты идеально подходят для приложений Vision AI реального времени, требующих надежного, масштабируемого и высокопроизводительного инференса.

Link to this sectionОбщий инференс против выделенных эндпоинтов: Основные различия#

Вот более детальный взгляд на сравнение общего инференса и выделенных эндпоинтов:

• Задержка (Latency): Задержка может варьироваться в общих средах из-за совместного использования ресурсов, в то время как выделенные эндпоинты обеспечивают более стабильные ответы с низкой задержкой.
• Регионы: Общий инференс доступен в нескольких регионах (США, ЕС, Азиатско-Тихоокеанский регион), в то время как выделенные эндпоинты поддерживают развертывание в 43 глобальных регионах.
• Масштабируемость: Масштабирование не настраивается в общем инференсе, тогда как выделенные эндпоинты автоматически масштабируются на основе входящего трафика.
• Лимиты запросов: Общий инференс ограничен по количеству запросов (20 запросов или вызовов API в минуту на один API-ключ), тогда как выделенные эндпоинты не имеют лимитов платформы.
• Ценообразование: Общий инференс включен без дополнительной платы для тестирования и разработки, тогда как выделенные эндпоинты предлагают больше контроля и масштабируемости, где стоимость зависит от конфигурации ресурсов и потребностей в развертывании.

Link to this sectionПочему выделенные эндпоинты лучше для продакшен-нагрузок#

По мере перехода приложений AI и машинного обучения от тестирования к реальному использованию, производительность, масштабируемость и надежность становятся критически важными. Вот почему выделенные эндпоинты предлагают явные преимущества перед общим инференсом.

С выделенными эндпоинтами твоя предобученная или кастомная модель работает на своих собственных вычислительных ресурсах, поэтому производительность не зависит от других пользователей. Это помогает поддерживать низкую и стабильную задержку, что важно для приложений реального времени, таких как видеоаналитика и системы мониторинга.

Рис. 3. Взгляд на развертывание с использованием выделенного эндпоинта для инференса (Источник)

Например, подумай о системе аналитики розничной торговли, обрабатывающей живые видеопотоки из нескольких магазинов. Развертывая эндпоинты в 43 глобальных регионах, инференс может выполняться ближе к каждому магазину, снижая задержку и улучшая скорость отклика.

При использовании общего инференса, где ресурсы общие, а регионы ограничены, производительность может варьироваться в периоды высокой нагрузки.

Выделенные эндпоинты также могут обрабатывать более высокий трафик и автоматически масштабироваться в зависимости от спроса. Благодаря встроенному мониторингу, логам и проверкам состояния, они обеспечивают более предсказуемую производительность, что делает их подходящим выбором для крупномасштабных и постоянных AI-нагрузок.

Link to this sectionГде общий инференс вписывается в рабочий процесс Vision AI#

Изучая различия между общим инференсом и выделенными эндпоинтами, ты можешь задаться вопросом, где именно общий инференс вписывается в общий рабочий процесс компьютерного зрения.

Давай снова рассмотрим пример с аналитикой розничной торговли. Перед развертыванием решения компьютерного зрения в нескольких магазинах, командам обычно необходимо протестировать его работу на реальных данных и доработать его на основе полученных результатов.

Общий инференс делает этот процесс простым, позволяя тебе отправлять примеры изображений или видеокадров с камер магазина и быстро просматривать предсказания без настройки инфраструктуры. Это особенно полезно для тестирования поведения модели, отладки неверных предсказаний и проверки результатов в различных условиях, таких как изменения освещения или планировки магазина.

Итерируя таким образом, команды могут повысить точность и надежность модели перед переходом в продакшен. Как только модель показывает хорошие результаты в этих тестовых сценариях, её можно развернуть на выделенных эндпоинтах для использования в реальном времени в нескольких точках.

Общий инференс также может хорошо работать для приложений с низким или нечастым использованием. Например, небольшой магазин розничной торговли может использовать его для периодического анализа потока посетителей или проверки активности клиентов в определенное время, без необходимости полного масштабируемого развертывания. В таких случаях он предоставляет простой и экономичный способ запуска инференса по запросу.

Link to this sectionРеальные кейсы использования выделенных эндпоинтов#

По мере выхода приложений AI за рамки тестирования, выбор развертывания начинает напрямую влиять на производительность, масштабируемость и пользовательский опыт. Выделенные эндпоинты могут широко использоваться в различных отраслях, поскольку они обеспечивают стабильную производительность, низкую задержку и возможность обработки крупномасштабных нагрузок.

Вот несколько распространенных кейсов, которые показывают, как выделенные эндпоинты могут использоваться в реальных приложениях:

• Ритейл и видеоаналитика: Розничная сеть может использовать компьютерное зрение для отслеживания перемещений покупателей, определения популярных товаров и мониторинга активности в магазине в режиме реального времени. Выделенные эндпоинты обеспечивают быструю и стабильную работу инференса во всех точках продаж, даже в часы пиковой нагрузки.
• Производство и контроль качества: На производственной линии модели могут обнаруживать дефекты или аномалии по мере движения продукции по системе. Выделенные эндпоинты поддерживают непрерывный инференс в реальном времени, помогая команде вовремя выявлять проблемы и поддерживать качество продукции без замедления рабочих процессов.
• Здравоохранение и медицинская визуализация: Поставщики медицинских услуг и диагностические лаборатории могут полагаться на модели машинного зрения при анализе медицинских изображений, таких как рентгеновские снимки или сканы. Выделенные эндпоинты обеспечивают надежную и стабильную производительность, что критически важно при работе с конфиденциальными данными и проведении срочной диагностики.
• Автоматизация складов и логистики: Крупные склады часто используют множество идентичных систем, таких как конвейерные ленты и линии сортировки, фактически работающих как копии одной и той же настройки. Модели компьютерного зрения могут контролировать каждую копию для обнаружения проблем, таких как заторы или неправильно направленные посылки. Выделенные эндпоинты гарантируют стабильный инференс для всех копий в режиме реального времени.

Link to this sectionПереход от общего инференса к выделенным эндпоинтам#

Одним из ключевых преимуществ Ultralytics Platform является то, насколько просто перейти от общего инференса к выделенным эндпоинтам по мере роста твоего приложения. Вместо смены инструментов или перестройки всей системы, ты можешь перейти к развертыванию, готовому к продакшену, в той же среде.

После тестирования твоей модели с помощью общего инференса, переход к выделенному эндпоинту — это простой следующий шаг. Ты можешь развернуть ту же модель на эндпоинт, выбрать предпочтительный регион и вычислительные ресурсы, а затем обновить URL эндпоинта в своем приложении. Общая интеграция остается похожей, поэтому практически нет изменений в том, как ты отправляешь запросы или обрабатываешь ответы.

Рис. 4. Просмотр URL выделенного эндпоинта на Ultralytics Platform (Источник)

Это значит, что ты можешь масштабироваться от тестирования до продакшена в пару кликов. По мере увеличения нагрузки или необходимости в более стабильной производительности, ты можешь переходить на выделенные эндпоинты без нарушения своего текущего рабочего процесса.

Чтобы узнать больше о развертывании моделей с использованием выделенных эндпоинтов на Ultralytics Platform, ознакомься с официальной документацией Ultralytics Platform.

Link to this sectionОсновные выводы#

Общий инференс — отличная отправная точка для тестирования и экспериментов, но продакшен-нагрузки требуют большей стабильности и масштабируемости. По мере роста приложений, выделенные эндпоинты обеспечивают производительность и надежность, необходимые для поддержки реальных сценариев использования. Это делает их лучшим выбором для большинства продакшен-развертываний.

Присоединяйся к нашему сообществу и изучай наш GitHub-репозиторий, чтобы узнать больше о моделях компьютерного зрения. Читай о таких применениях, как ИИ в сельском хозяйстве и компьютерное зрение в робототехнике, на наших страницах с решениями. Ознакомься с нашими вариантами лицензирования и начни работу с vision AI.