Мониторинг на Ultralytics Platform: контролируй работу развёрнутых решений для компьютерного зрения

Развертывание модели компьютерного зрения — важная веха, но успех в промышленной эксплуатации зависит от того, что происходит дальше. По мере роста трафика и изменения реальных условий командам нужно знать, остаются ли конечные точки отзывчивыми, надежными и полезными.

Мониторинг в Ultralytics Platform позволяет командам следить за развернутыми моделями Ultralytics YOLO в той же среде, где они управляют данными, обучением и развертыванием. Отслеживай состояние системы, изучай тенденции прогнозов, устраняй неполадки и превращай полезные примеры из промышленной эксплуатации в данные для дальнейшего улучшения моделей.

Что такое мониторинг моделей компьютерного зрения на основе ИИ?#

Мониторинг моделей компьютерного зрения на основе ИИ помогает командам понять, как развернутые конечные точки и их прогнозы ведут себя в промышленной эксплуатации.

Ultralytics Platform помогает ответить на два важных вопроса:

• Насколько надежно работает конечная точка? Отслеживай запросы, задержку P95, частоту ошибок, состояние и журналы.
• Что видит и предсказывает модель? Изучай примеры прогнозов и такие статистические данные, как количество объектов каждого класса, уверенность, время выполнения вывода и местоположение прогнозов, если эти данные доступны.

Вместе эти сведения дают более полную картину, чем одна лишь доступность конечной точки. Конечная точка может оставаться в сети, даже если меняются схемы трафика, время ответа или распределение прогнозов. Мониторинг упрощает анализ этих сигналов.

Оценивай состояние развертывания с первого взгляда#

Страница Deploy служит центральной панелью мониторинга конечных точек. Информационные карточки показывают количество HTTP-запросов, активных развертываний, частоту ошибок и задержку P95 за последние 24 часа.

С помощью этих метрик команды могут:

• Оценивать спрос: видеть, растет ли трафик конечной точки, снижается или неожиданно меняется.
• Выявлять проблемы с производительностью: использовать задержку P95, чтобы исследовать замедление ответов, способное повлиять на приложение.
• Выявлять сбои: замечать повышенную частоту ошибок HTTP и использовать журналы развертывания для диагностики причины.
• Проверять доступность: убеждаться, что отдельные конечные точки работают и отвечают на запросы.
• Сравнивать развертывания: просматривать конечные точки в виде карточек, компактного списка или таблицы с сортировкой.

Карточка частоты ошибок выделяется, если значение превышает 5%, помогая замечать проблемы в работе без необходимости проверять каждую конечную точку по отдельности.

Быстрее устраняй неполадки с помощью проверок состояния и журналов#

Когда у конечной точки возникают проблемы, одной общей метрики недостаточно. Для каждого развертывания со статусом готовности доступны индикатор состояния и недавние журналы.

Проверки состояния показывают, отвечает ли конечная точка, и сообщают задержку ответа. Они также помогают разбудить конечную точку, масштабированную до нуля, прежде чем на нее поступит производственный трафик.

Журналы содержат дополнительный контекст: временные метки, уровни серьезности, сообщения и сведения HTTP. Это помогает командам исследовать неудачные запросы, неожиданные ответы и изменения производительности, не переходя сразу в отдельный интерфейс для работы с журналами.

Связывая метрики, проверки состояния и журналы с каждым развертыванием, Ultralytics Platform помогает быстрее перейти от обнаружения проблемы к пониманию ее причин.

Изучай поведение прогнозов в реальном времени#

Для платных выделенных конечных точек с оплатой за время работы, использующих среду выполнения с поддержкой мониторинга, доступна дополнительная вкладка Monitoring с временными примерами и статистикой прогнозов.

В галерее временных примеров представлены обновляемые образцы обработанных изображений с наложенными прогнозами. С их помощью команды могут выборочно проверять, что видит модель, изучать ее результаты и выявлять входные данные, требующие дополнительной проверки.

Доступная статистика прогнозов зависит от задачи модели и может включать:

• Количество обработанных изображений и прогнозов с течением времени
• Среднее время выполнения вывода модели
• Наиболее часто предсказываемые классы
• Количество прогнозов на изображение
• Уверенность прогнозов и ее тенденции
• Размеры прогнозируемых объектов
• Пространственные тепловые карты местоположений прогнозов

Эти сигналы могут выявить изменения, требующие внимания, например снижение уверенности, неожиданное смещение распределения классов или появление прогнозов в необычных областях изображения.

Уверенность показывает степень уверенности модели, а не правильность ее ответа. При оценке точности модели командам следует изучать примеры и сравнивать прогнозы с проверенными метками.

Превращай примеры из промышленной эксплуатации в более качественные данные для обучения#

Мониторинг приносит больше пользы, когда сведения о работе в промышленной эксплуатации помогают в следующем цикле разработки.

Если пример показывает сложные условия, необычный объект или возможный пробел в охвате данных, участники рабочего пространства с соответствующими разрешениями могут сохранить его непосредственно в совместимый набор данных. Затем изображение вместе с прогнозами проходит стандартный процесс добавления данных в набор, где метки можно проверить перед использованием данных для обучения.

Так формируется единый цикл улучшения:

1. Обучи модель Ultralytics YOLO на своем наборе данных.
2. Разверни ее на выделенной конечной точке.
3. Отслеживай состояние конечной точки и поведение прогнозов.
4. Изучай полезные примеры из промышленной эксплуатации или примеры с проблемами.
5. Сохраняй выбранные примеры в наборе данных и проверяй их.
6. Переобучи и повторно разверни модель, используя данные, учитывающие реальные условия.

Вместо того чтобы оставлять наблюдения из промышленной эксплуатации в отдельной системе, команды могут связать их с наборами данных и моделями, которыми уже управляют в Ultralytics Platform.

Операционная прозрачность без лишней сложности#

В рабочих процессах компьютерного зрения для промышленной эксплуатации часто используются отдельные системы для развертывания, метрик, журналов, проверки моделей и управления данными. Переключение между такими системами может замедлять расследование и мешать связать поведение модели с будущими улучшениями.

Ultralytics Platform объединяет эти этапы. Команды могут перейти от обучения к развертыванию, проверить состояние конечной точки, изучить выборочные прогнозы и сохранить полезные примеры, не восстанавливая контекст в нескольких инструментах.

Например, производственная команда может проверить, появляются ли прогнозы дефектов в ожидаемых областях изображения. Логистическая команда может отслеживать изменения среди часто обнаруживаемых классов по мере изменения условий работы. Команда розничной торговли может исследовать рост задержки и выяснить, нужно ли изменить конфигурацию конечной точки или размер входных изображений.

Во всех этих случаях мониторинг помогает командам перейти от мысли «что-то изменилось» к более обоснованным следующим шагам.

Данные мониторинга и доступность функций#

Операционный мониторинг, включающий запросы, задержку, ошибки, проверки состояния и журналы, доступен в интерфейсе развертывания.

Статистика прогнозов в реальном времени и временные примеры доступны для готовых платных выделенных конечных точек со средой выполнения, поддерживающей мониторинг. Для доступа к вкладке Monitoring может понадобиться обновить старые конечные точки.

Примеры прогнозов и статистика хранятся в памяти экземпляра, который обслуживает запросы. Эти данные могут удаляться при остановке или перезапуске конечной точки, повторном развертывании, изменении ресурсов или замене модели. Перед изменением конечной точки сохрани нужные примеры в набор данных.

Начни отслеживать развернутые модели#

Мониторинг в Ultralytics Platform дает командам сведения, необходимые для управления компьютерным зрением на основе ИИ после развертывания. Объединяя метрики конечных точек, журналы, проверки состояния, сведения о прогнозах и обратную связь по наборам данных в одном рабочем процессе, он помогает быстрее выявлять проблемы и прокладывать более понятный путь к надежным системам для промышленной эксплуатации.

Войди в Ultralytics Platform, открой Deploy и выбери готовую конечную точку, чтобы проверить ее состояние и производительность. Узнай о доступности функций, статистике прогнозов и хранении данных в документации по мониторингу.