Мониторинг развернутых моделей компьютерного зрения на платформе Ultralytics

Тестирование моделей компьютерного зрения, анализирующих изображения и видео, не всегда идентично их запуску в реальных условиях. В процессе разработки такие модели или алгоритмы тестируются на чистых, хорошо подготовленных наборах данных в контролируемых и предсказуемых условиях.

После развертывания ситуация становится более динамичной. Модели подвергаются реальному трафику, где объемы запросов могут варьироваться, время отклика может меняться, а иногда случаются сбои.

На этом этапе фокус смещается на то, работает ли система надежно, а также остаются ли конечные точки доступными, отзывчивыми и стабильными в меняющихся условиях.

Вот почему мониторинг так важен. Он дает четкое представление о том, как ведут себя развернутые конечные точки в рабочей среде, с помощью таких метрик, как объем запросов, задержка, частота ошибок и общее состояние системы.

Чтобы упростить эту задачу, наличие правильных инструментов становится не менее важным, чем сама модель. Недавно компания Ultralytics представила платформу Ultralytics — нашу новую комплексную среду, объединяющую полный рабочий процесс компьютерного зрения: от данных и обучения до развертывания и мониторинга.

Рис 1. Панель управления развертыванием платформы Ultralytics с функциями мониторинга (Источник)

Благодаря мониторингу, встроенному непосредственно в этот рабочий процесс, ты можешь отслеживать состояние конечных точек, проверять поведение запросов и поддерживать надежность систем без использования сторонних инструментов. В этой статье мы рассмотрим, как использовать платформу Ultralytics для мониторинга развернутых моделей и обеспечения бесперебойной работы производственных систем. Давай начнем!

Link to this sectionОбзор мониторинга моделей ИИ#

В жизненном цикле модели ИИ мониторинг означает наблюдение за поведением развернутых систем после того, как модель запущена и обрабатывает реальные запросы. В то время как обучение и валидация показывают, как модель машинного обучения (ML-модель) работает на подготовленных наборах данных, мониторинг фокусируется на том, как работает развернутая конечная точка в производственной среде.

Ключевая часть мониторинга — отслеживание системных метрик, отражающих надежность и отзывчивость. Метрики, такие как задержка и время безотказной работы, помогают понять, насколько хорошо система обрабатывает входящие запросы. Задержка измеряет время, необходимое для обработки запроса и получения ответа, а время безотказной работы показывает, насколько стабильно конечная точка остается доступной.

Еще один ключевой аспект — наблюдаемость, которая обеспечивает видимость того, как обрабатываются запросы. Каждый раз, когда входные данные, например изображение или видеокадр, отправляются в развернутую модель, это обрабатывается как запрос на логический вывод (inference).

Логи фиксируют эти запросы вместе с такими деталями, как метки времени, время отклика и коды состояния. Эти логи облегчают отслеживание запросов, отладку проблем и расследование сбоев по мере их возникновения. Они особенно полезны для выявления закономерностей, таких как повторяющиеся ошибки, медленные ответы или неожиданное поведение системы.

Комбинируя метрики и логи, мониторинг помогает пользователям понять, как их системы работают в производстве, и оперативно реагировать на возникающие проблемы.

Link to this sectionВзгляд на метрики производительности модели против системных метрик#

Прежде чем погружаться в производственный мониторинг, давай обсудим разницу между метриками производительности модели и системными метриками.

Обычно мониторинг модели ассоциируется с метриками оценки, также известными как метрики модели, такими как точность, полнота и mAP (средняя точность). Эти метрики используются для описания поведения модели и оценки качества её предсказаний, часто в отношении производственных или входных данных. Они могут быть особенно полезны для выявления граничных случаев или выбросов в новых данных.

Однако это отличается от мониторинга развернутой системы в производстве. В этом контексте мониторинг фокусируется на том, как работает система, а не на прямой оценке предсказаний модели.

Вместо метрик модели мониторинг развертывания опирается на сигналы системного уровня, такие как объем запросов, задержка, частота ошибок и время безотказной работы. Эти метрики обеспечивают прозрачность того, как конечные точки обрабатывают входные данные, насколько стабильно они отвечают и как они работают в производственных средах.

Link to this sectionРоль мониторинга моделей в проектах компьютерного зрения#

Далее давай рассмотрим реальный пример, который подчеркивает необходимость системы мониторинга в проектах компьютерного зрения.

Рассмотрим решение, использующее оценку позы — задачу компьютерного зрения для идентификации и анализа движений человеческого тела — для контроля соблюдения техники безопасности строителями. При первоначальном развертывании такая система может хорошо работать в контролируемых условиях с четкой видимостью и стандартными сценариями.

Однако реальные строительные площадки привносят дополнительную сложность. Объемы запросов могут варьироваться в течение дня, сетевые условия могут быть нестабильными, а несколько камер или конечных точек могут одновременно отправлять данные. Эти факторы могут привести к замедлению ответов или случайным сбоям, если система не находится под должным мониторингом.

Рис 2. Оценка позы, используемая для контроля рабочих на строительной площадке (Источник)

В такой производственной среде становится важно понимать, насколько надежно работает система. Мониторинг обеспечивает видимость того, доступны ли конечные точки, как быстро они реагируют на входящие запросы и насколько стабильно они обрабатывают трафик с течением времени.

Например, увеличение задержки может указывать на более высокую нагрузку или нехватку ресурсов, в то время как рост частоты ошибок может сигнализировать о проблемах с обработкой запросов или стабильностью системы. Логи добавляют контекста, показывая, как обрабатываются отдельные запросы и где возникают сбои.

Отслеживая эти сигналы, энтузиасты ИИ и специалисты по данным могут выявлять проблемы на ранних стадиях, эффективнее устранять неполадки и гарантировать, что их системы будут продолжать работать надежно по мере изменения реальных условий.

Link to this sectionИспользование платформы Ultralytics для мониторинга развернутых моделей зрения#

Во многих процессах глубокого обучения мониторинг часто осуществляется с помощью разрозненных инструментов для ведения логов, метрик и контроля состояния системы. Такая фрагментированная настройка затрудняет получение четкого представления о работе развернутых конечных точек в производстве и усложняет управление развертываниями.

Платформа Ultralytics упрощает этот процесс, объединяя мониторинг в единой среде, которая охватывает полный рабочий процесс компьютерного зрения: от получения и разметки данных до обучения, развертывания и мониторинга.

Благодаря этой интегрированной настройке ты можешь отслеживать, как твои развернутые конечные точки обрабатывают реальный трафик, не настраивая внешние системы ведения логов или дополнительные панели управления. Всё доступно в одном месте, что упрощает наблюдение за поведением системы и поддержание надежности развертываний с течением времени.

Функции мониторинга доступны непосредственно на вкладке «Развертывание» (Deploy). С единой панели управления ты можешь отслеживать ключевые метрики, анализировать поведение запросов и визуализировать тенденции. Эти встроенные визуализации облегчают понимание производительности твоих решений без переключения между инструментами.

Объединяя мониторинг, развертывание и управление моделями в рамках общего рабочего процесса, платформа снижает сложность. Это позволяет проще сосредоточиться на управлении развертываниями, оптимизации производительности системы и поддержании надежности.

Link to this sectionВстроенные функции мониторинга платформы Ultralytics#

В реальных развертываниях мониторинг зависит от наличия четкой видимости того, как работают системы по мере изменения условий. Он выходит за рамки отслеживания нескольких метрик и включает понимание поведения развернутых конечных точек в разных средах, а также эффективное управление множественными развертываниями.

Вдохновленная отзывами сообщества Vision AI о типичных проблемах компьютерного зрения, платформа Ultralytics включает несколько возможностей, которые делают мониторинг более практичным и масштабируемым.

Вот обзор некоторых из этих ключевых функций:

• Глобальная видимость развертывания: Страница «Развертывание» включает интерактивную карту мира, которая отображает регионы развертывания с визуальными индикаторами активных и находящихся в процессе развертывания конечных точек, позволяя пользователям отслеживать географическое распределение и региональную активность.
• Гибкие режимы панели управления: Панель управления развертываниями предоставляет несколько режимов просмотра, включая карточный вид, компактную сетку и табличный вид с сортируемыми столбцами (имя, регион, статус и запросы), что поддерживает структурированный мониторинг и сравнение.
• Мониторинг множества конечных точек: Панель управления агрегирует данные мониторинга по всем развертываниям, используя обзорные карточки и списки развертываний.
• Политики хранения данных: Данные мониторинга хранятся в течение определенного периода: метрики доступны 30 дней, а логи — 7 дней, что поддерживает анализ недавней производительности и рабочие процессы отладки.
• Поддержка внешнего мониторинга: Конечные точки развертывания могут контролироваться с помощью внешних инструментов, таких как Datadog, New Relic и сервисы мониторинга времени безотказной работы, или через API для пользовательского мониторинга и проверок работоспособности.

Далее мы более подробно рассмотрим некоторые из этих функций и увидим, как их можно использовать для мониторинга развернутых конечных точек в производстве.

Link to this sectionКак отслеживать ключевые метрики производительности с помощью платформы Ultralytics#

После развертывания модели мониторинг начинается с отслеживания ключевых системных метрик. Хотя метрики, такие как точность и полнота, полезны во время разработки, производственный мониторинг фокусируется на сигналах системного уровня, таких как время отклика и частота ошибок, которые дают измеримое представление о том, насколько надежно конечные точки справляются с реальным трафиком.

Платформа Ultralytics предоставляет централизованную панель управления, которая дает четкое представление об активности конечных точек и поведении системы. В частности, панель управления развертыванием включает четыре ключевые метрики, показывающие, как используются конечные точки и как они отвечают на входящие запросы.

Вот более подробный взгляд на эти метрики:

• Всего запросов: Общее количество запросов ко всем конечным точкам за 24-часовой период. Это помогает выявить закономерности использования и общий спрос.
• Активные развертывания: Количество конечных точек, которые в данный момент запущены и обслуживают запросы.
• Задержка P95: Время отклика, в которое укладываются 95% запросов. Это дает более реалистичное представление о производительности, учитывая более медленные ответы.
• Частота ошибок: Это процент неудачных запросов от общего числа. Эта метрика помогает выявлять проблемы и обнаруживать аномалии.

Проще говоря, эти метрики дают четкое представление о том, как развернутые конечные точки работают в производстве. Анализируя закономерности использования, команды и отдельные лица могут понять распределение трафика, выявить периоды пиковой нагрузки и убедиться, что системы остаются отзывчивыми и надежными по мере роста использования.

Link to this sectionПонимание поведения развертывания модели через логи#

В то время как метрики обеспечивают высокоуровневый обзор производительности системы, логи предлагают более детальный взгляд на то, как развернутые конечные точки обрабатывают отдельные запросы. Логи записывают каждый запрос, отправленный на конечную точку, вместе с соответствующим ответом.

Они полезны для отслеживания проблем, проверки сбоев и понимания того, как обрабатываются запросы. На платформе Ultralytics ты можешь выбрать любое развертывание, чтобы просмотреть его детали, включая логи.

Рис 3. Пример логов на платформе Ultralytics (Источник)

Запись лога на платформе отображается в структурированном формате, что упрощает понимание того, что произошло во время каждого запроса. Каждая запись включает уровень критичности, который указывает на важность события, а также метку времени, показывающую, когда это произошло.

Она также содержит сообщение, описывающее событие, и HTTP-детали, такие как коды состояния и задержка. Эта информация помогает отслеживать запросы, поддерживать устранение неполадок и эффективнее отлаживать проблемы. Кроме того, логи сгруппированы по уровню критичности, поэтому пользователи могут приоритизировать развертывания, требующие внимания.

Link to this sectionАнализ работоспособности и надежности конечных точек на платформе Ultralytics#

Мониторинг также включает понимание общей работоспособности развернутых конечных точек, включая то, работают ли они должным образом, отвечают ли вовремя и стабильно ли обрабатывают запросы без ошибок. Платформа Ultralytics предоставляет четкое представление о статусе работоспособности каждого развертывания, позволяя легко убедиться, что конечные точки работают ожидаемым образом.

Платформа включает визуальные индикаторы работоспособности для каждого развертывания, отображаемые на отдельных карточках развертывания.

Например, зеленый индикатор показывает, что конечная точка здорова и работает нормально, в то время как красный индикатор сигнализирует о проблемах или простое. Вращающаяся иконка указывает на то, что система активно проверяет статус развертывания.

Отслеживая работоспособность конечных точек с течением времени, становится возможным выявлять проблемы на ранней стадии, поддерживать стабильную производительность и обеспечивать надежный опыт для приложений, работающих в производстве.

Link to this sectionСвязь между данными мониторинга и улучшением производительности#

Мониторинг моделей — это не просто отслеживание метрик. Он создает цикл обратной связи, который поддерживает непрерывное совершенствование со временем. По мере того как конечные точки обрабатывают реальный трафик, в метриках и логах начинают проявляться закономерности, которые могут выявить такие проблемы, как повышенная задержка, более высокая частота ошибок или непоследовательное поведение системы.

Мониторинг выделяет области, требующие внимания. Например, стабильно высокая задержка может указывать на необходимость лучшего распределения ресурсов или масштабирования, а рост частоты ошибок может указывать на проблемы с обработкой запросов или стабильностью системы.

После того как эти проблемы выявлены, можно предпринять шаги для повышения надежности. Это может включать настройку инфраструктуры, масштабирование ресурсов или исправление ошибок в способе обработки запросов. После внесения изменений системы можно продолжать контролировать, чтобы подтвердить повышение производительности.

Связывая мониторинг с постоянными улучшениями, пользователи могут поддерживать надежность систем по мере роста использования и изменения условий.

Link to this sectionИзучение реального примера: Мониторинг обработки багажа в авиации#

Чтобы лучше понять влияние мониторинга в реальном сценарии, давай рассмотрим, как он применяется к автоматизации авиационных наземных операций.

Возьмем систему технического зрения, предназначенную для мониторинга погрузки и разгрузки багажа во время наземного обслуживания воздушных судов. В этой настройке модель обнаружения объектов, такая как Ultralytics YOLO26, может использоваться для определения того, не падает ли багаж с конвейерных лент или погрузочного оборудования.

Во время тестирования и раннего развертывания система реального времени может работать хорошо, точно идентифицируя багаж и быстро реагируя.

Однако в реальной аэропортовой среде условия гораздо менее предсказуемы. Освещение меняется в течение дня, несколько камер одновременно транслируют данные, а объемы запросов скачкообразно растут в периоды пиковой нагрузки. Эти факторы могут вызвать рост задержек или появление ошибок, и без прозрачности системы такие проблемы легко могут остаться незамеченными.

Именно здесь мониторинг становится ценным. Отслеживая метрики, такие как объем запросов, задержка и частота ошибок, наряду с подробными логами, команды могут быстро увидеть, когда конечная точка замедляется или дает сбой. Если задержка возрастает в часы пик, это может сигнализировать о необходимости масштабирования ресурсов, в то время как внезапный рост ошибок может указывать на проблемы с конкретными камерами или обработкой запросов. Действия на основе этих сигналов помогают поддерживать надежность системы, поэтому обработка багажа может продолжать отслеживаться точно, даже при изменении условий.

Link to this sectionОсновные выводы#

Мониторинг — это то, что сохраняет надежность развернутых моделей компьютерного зрения, как только они покидают контролируемые условия разработки и начинают обрабатывать реальный трафик. Сосредоточившись на сигналах системного уровня, таких как объем запросов, задержка, частота ошибок и время безотказной работы, наряду с подробными логами, мониторинг обеспечивает видимость, необходимую для раннего обнаружения проблем и обеспечения бесперебойной работы производственных систем.

Благодаря мониторингу, встроенному непосредственно в рабочий процесс развертывания, платформа Ultralytics упрощает отслеживание состояния конечных точек, проверку поведения запросов и поддержание надежности систем без использования отдельных инструментов. Объединяя данные, обучение, развертывание и мониторинг в одном месте, платформа помогает командам перейти от экспериментов к надежным реальным развертываниям.

Присоединяйся к нашему растущему сообществу и изучай наш репозиторий на GitHub, чтобы узнать больше о Vision AI. Чтобы начать создавать решения с помощью Vision AI уже сегодня, ознакомься с нашими вариантами лицензирования. Узнай, как ИИ в производстве и ИИ в здравоохранении формируют будущее, посетив наши страницы с решениями.