Мониторинг в Ultralytics Platform: держи развертывания визуального ИИ под контролем

Развертывание модели компьютерного зрения — это важная веха, но успех в продакшене зависит от того, что происходит дальше. По мере роста трафика и изменения реальных условий командам необходимо знать, остаются ли эндпоинты отзывчивыми, надежными и полезными.

Мониторинг в платформе Ultralytics дает командам видимость развернутых моделей Ultralytics YOLO из той же среды, которая используется для управления данными, обучением и развертыванием. Отслеживай операционное состояние, проверяй тенденции предсказаний, устраняй неполадки и превращай полезные примеры из продакшена в данные для будущих улучшений модели.

Что такое мониторинг моделей искусственного интеллекта компьютерного зрения?#

Мониторинг моделей искусственного интеллекта компьютерного зрения помогает командам понять, как ведут себя развернутые эндпоинты и их предсказания в продакшене.

Платформа Ultralytics решает два важных вопроса:

• Работает ли эндпоинт надежно? Отслеживай запросы, задержку P95, показатели ошибок, статус состояния и логи.
• Что модель видит и предсказывает? Проверяй примеры предсказаний и статистику, такую как количество классов, уверенность, время инференса и местоположения предсказаний, где это поддерживается.

В совокупности эти инсайты дают более четкую картину, чем одна лишь доступность эндпоинта. Эндпоинт может оставаться в сети, в то время как шаблоны трафика, время отклика или распределения предсказаний изменяются. Мониторинг облегчает исследование таких сигналов.

Понимай состояние развертывания с первого взгляда#

Страница Развертывание служит центральной панелью мониторинга для твоих эндпоинтов. Карточки обзора суммируют HTTP-запросы, активные развертывания, показатели ошибок и задержку P95 за предыдущие 24 часа.

С помощью этих метрик команды могут:

• Понимать спрос: Смотри, увеличивается ли трафик эндпоинта, уменьшается или меняется неожиданным образом.
• Выявлять проблемы с производительностью: Используй задержку P95 для исследования более медленных ответов, которые могут повлиять на приложение.
• Обнаруживать сбои: Замечай повышенные показатели ошибок HTTP и используй логи развертывания для диагностики причины.
• Проверять доступность: Подтверждай, являются ли отдельные эндпоинты исправными и отвечают ли они.
• Сравнивать развертывания: Просматривай эндпоинты в виде карточек, компактном виде или сортируемых таблицах.

Карточка показателей ошибок выделяется, когда этот показатель превышает 5%, помогая операционным проблемам привлекать внимание без необходимости проверять каждый эндпоинт по отдельности.

Устраняй неполадки быстрее с помощью проверок состояния и логов#

Когда с эндпоинтом возникают проблемы, командам требуется больше, чем высокоуровневая метрика. Каждое готовое развертывание включает индикатор состояния и доступ к недавним логам.

Проверки состояния показывают, отвечает ли эндпоинт, и сообщают задержку его отклика. Они также могут помочь разогреть эндпоинт, который масштабировался до нуля, до того, как будет отправлен производственный трафик.

Логи предоставляют дополнительный контекст посредством временных меток, уровней серьезности, сообщений и деталей HTTP. Это помогает командам исследовать неудачные запросы, неожиданные ответы или изменения производительности без немедленного перехода к отдельному интерфейсу логирования.

Соединяя метрики, проверки состояния и логи с каждым развертыванием, платформа Ultralytics создает более прямой путь от выявления проблемы к ее пониманию.

Проверяй поведение предсказаний в реальном времени#

Платные выделенные эндпоинты с оплатой за время работы, на которых запущена среда выполнения с поддержкой мониторинга, предоставляют дополнительную вкладку Мониторинг с временными примерами и статистикой предсказаний.

Галерея временных примеров представляет собой непрерывно обновляемую выборку обработанных изображений с наложенными предсказаниями. Команды могут использовать эти примеры для выборочной проверки того, что видит модель, изучения ее результатов и выявления входов, заслуживающих дальнейшего рассмотрения.

Доступная статистика предсказаний зависит от задачи модели и может включать:

• Обработанные изображения и предсказания с течением времени
• Среднее время инференса модели
• Часто предсказываемые классы
• Предсказания на одно изображение
• Уверенность предсказаний и тенденции уверенности
• Размеры предсказаний
• Пространственные тепловые карты расположений предсказаний

Эти сигналы могут выявить изменения, заслуживающие изучения, такие как падение уверенности, неожиданный сдвиг в распределении классов или появление предсказаний в необычных частях изображения.

Уверенность указывает на уверенность модели, а не на правильность. Командам следует проверять примеры и сравнивать предсказания с проверенными разметками при оценке точности модели.

Превращай примеры из продакшена в лучшие данные для обучения#

Мониторинг становится более ценным, когда инсайты из продакшена могут информировать следующий цикл разработки.

Если пример выявляет сложные условия, необычный объект или потенциальный пробел в покрытии, участники рабочего пространства с соответствующими разрешениями могут сохранить его напрямую в совместимый датасет. Затем изображение и его предсказания проходят через стандартный рабочий процесс загрузки датасета, где разметки могут быть проверены перед тем, как данные будут использованы для обучения.

Это создает связанный цикл улучшений:

1. Обучай модель Ultralytics YOLO, используя свой датасет.
2. Развертывай ее на выделенном эндпоинте.
3. Мониторь здоровье эндпоинта и поведение предсказаний.
4. Проверяй полезные или проблемные примеры из продакшена.
5. Сохраняй и проверяй выбранные примеры в датасете.
6. Переобучай и развертывай заново, используя данные, сформированные на основе реальных условий.

Вместо того чтобы оставлять наблюдения из продакшена изолированными в другой системе, команды могут связать их с датасетами и моделями, уже управляемыми в платформе Ultralytics.

Создано для операционной видимости без лишней сложности#

Рабочие процессы продакшена компьютерного зрения часто включают отдельные системы для развертывания, метрик, логов, проверки моделей и управления данными. Перемещение между этими системами может замедлить исследование и затруднить связь поведения модели с будущими улучшениями.

Платформа Ultralytics объединяет эти этапы. Команды могут переходить от обучения к развертыванию, проверять состояние эндпоинта, изучать выборку предсказаний и сохранять полезные примеры без восстановления контекста в нескольких инструментах.

Например, производственная команда может проверить, появляются ли предсказания дефектов в ожидаемых областях изображения. Команда логистики может просмотреть изменения в часто обнаруживаемых классах по мере развития операционных условий. Розничная команда может исследовать увеличение задержки и определить, требует ли внимания конфигурация эндпоинта или входящий размер изображения.

В каждом случае мониторинг помогает командам перейти от «что-то изменилось» к более осознанному следующему шагу.

Данные мониторинга и требования#

Операционный мониторинг, включая запросы, задержку, ошибки, проверки состояния и логи, доступен в интерфейсе развертывания.

Статистика предсказаний в реальном времени и временные примеры требуют готового платного выделенного эндпоинта со средой выполнения с поддержкой мониторинга. Старые эндпоинты возможно потребуется обновить до того, как вкладка Мониторинг станет доступной.

Примеры предсказаний и статистика хранятся в памяти обслуживающего экземпляра. Они могут быть очищены, когда эндпоинт останавливается, перезапускается, развертывается заново, меняет ресурсы или заменяет свою модель. Сохрани любые примеры, которые хочешь оставить, в датасет перед изменением эндпоинта.

Начни мониторинг своих развернутых моделей#

Мониторинг платформы Ultralytics дает командам видимость, необходимую для управления искусственным интеллектом зрения за пределами развертывания. Объединяя метрики эндпоинтов, логи, проверки состояния, инсайты предсказаний и обратную связь по датасету в один рабочий процесс, он помогает командам быстрее выявлять проблемы и строить более четкий путь к надежным системам продакшена.

Войди в платформу Ultralytics, открой Развертывание и выбери готовый эндпоинт, чтобы проверить его здоровье и производительность. Изучи доступность функций, статистику предсказаний и детали хранения данных в документации по мониторингу.