Мониторинг развернутых моделей компьютерного зрения на Ultralytics Platform

Тестирование моделей компьютерного зрения, анализирующих изображения и видео, не всегда похоже на их работу в производственной среде. Во время разработки такие модели или алгоритмы проверяют на чистых, тщательно подготовленных наборах данных в контролируемых и предсказуемых условиях.

После развертывания условия становятся более динамичными. Модели сталкиваются с реальным трафиком: объём запросов может меняться, время отклика — увеличиваться или уменьшаться, а иногда могут происходить сбои.

На этом этапе важно, чтобы система работала надёжно: конечные точки должны оставаться доступными, отзывчивыми и стабильными при изменении условий.

Поэтому мониторинг необходим. Он позволяет ясно видеть, как развернутые конечные точки ведут себя в производственной среде, с помощью таких метрик, как объём запросов, задержка, частота ошибок и общее состояние системы.

Чтобы упростить эту задачу, важно иметь подходящие инструменты — не меньше, чем саму модель. Недавно Ultralytics представила Ultralytics Platform — нашу новую комплексную среду, объединяющую весь рабочий процесс компьютерного зрения: от данных и обучения до развертывания и мониторинга.

Рис. 1. Панель развертывания Ultralytics Platform с функциями мониторинга (Источник)

Благодаря встроенному в этот рабочий процесс мониторингу пользователи могут следить за состоянием конечных точек, изучать поведение запросов и поддерживать надёжную работу систем без отдельных инструментов. В этой статье мы расскажем, как использовать Ultralytics Platform, чтобы мониторить конечные точки развернутых моделей и обеспечивать бесперебойную работу производственных систем. Начнём!

Обзор мониторинга моделей ИИ#

В жизненном цикле модели ИИ мониторинг означает наблюдение за работой развернутых систем после запуска модели и начала обработки запросов из реального мира. Обучение и проверка показывают, как модель машинного обучения (ML model) работает на подготовленных наборах данных, а мониторинг позволяет понять, как развернутая конечная точка функционирует в производственной среде.

Важная часть мониторинга — отслеживание системных метрик, отражающих надёжность и отзывчивость. Такие метрики, как задержка и время доступности, помогают оценить, насколько хорошо система обрабатывает входящие запросы. Задержка показывает, сколько времени требуется для обработки запроса и отправки ответа, а время доступности — насколько стабильно конечная точка остаётся доступной.

Ещё один важный аспект — наблюдаемость, которая помогает понять, как обрабатываются запросы. Каждый раз, когда развернутой модели отправляют входные данные, например изображение или видеокадр, они обрабатываются как запрос на инференс.

В журналах фиксируются эти запросы и такие сведения, как временные метки, время ответа и коды состояния. Журналы упрощают отслеживание запросов, отладку и анализ возникающих сбоев. Они особенно полезны для выявления закономерностей, например повторяющихся ошибок, медленных ответов или неожиданного поведения системы.

Сочетая метрики и журналы, мониторинг помогает пользователям понимать, как системы работают в производственной среде, и быстро реагировать на возникающие проблемы.

Сравнение метрик производительности модели и системных метрик#

Прежде чем перейти к мониторингу в производственной среде, обсудим разницу между метриками производительности модели и системными метриками.

Обычно мониторинг моделей связывают с метриками оценки, которые также называют метриками модели. К ним относятся точность, прецизионность, полнота и mAP (средняя усреднённая точность). Эти метрики описывают поведение модели и позволяют оценить качество её предсказаний, часто в сравнении с производственными данными или входными данными. Они могут быть особенно полезны для выявления нетипичных случаев и выбросов в новых данных.

Однако мониторинг развернутой системы в производственной среде — это другое. В данном случае он сосредоточен на работе системы, а не на непосредственной оценке предсказаний модели.

Вместо метрик модели мониторинг развертывания опирается на системные показатели, такие как объём запросов, задержка, частота ошибок и время доступности. Эти метрики показывают, как конечные точки обрабатывают входные данные, насколько стабильно отвечают и как работают в производственных средах.

Роль мониторинга моделей в проектах компьютерного зрения#

А теперь рассмотрим пример из реальной практики, который показывает, зачем нужна система мониторинга при развертывании решений компьютерного зрения.

Представь решение для компьютерного зрения, использующее оценку позы — задачу компьютерного зрения для распознавания и анализа движений человеческого тела, — чтобы проверять соблюдение требований безопасности строителями. При первоначальном развертывании такая система может хорошо работать в контролируемых условиях: при хорошей видимости и в стандартных сценариях.

Однако реальные строительные площадки усложняют задачу. Объём запросов может меняться в течение дня, качество сети может быть нестабильным, а несколько камер или конечных точек могут одновременно отправлять данные. Если систему не мониторить должным образом, это может привести к замедлению ответов или периодическим сбоям.

Рис. 2. Оценка позы для наблюдения за рабочими на строительной площадке (Источник)

В такой производственной среде важно понимать, насколько надёжно работает система. Мониторинг позволяет выяснить, доступны ли конечные точки, как быстро они отвечают на входящие запросы и насколько стабильно обрабатывают трафик с течением времени.

Например, увеличение задержки может указывать на возросшую нагрузку или нехватку ресурсов, а рост частоты ошибок — на проблемы с обработкой запросов или стабильностью системы. Журналы дают дополнительный контекст: в них видно, как обрабатываются отдельные запросы и где происходят сбои.

Отслеживая эти показатели, специалисты по ИИ и специалисты по данным могут заранее выявлять проблемы, эффективнее устранять их и обеспечивать надёжную работу систем при изменении условий в реальном мире.

Мониторинг развернутых моделей компьютерного зрения с помощью Ultralytics Platform#

Во многих рабочих процессах глубокого обучения для журналов, метрик и состояния системы обычно используют отдельные инструменты. Из-за такой разрозненной конфигурации трудно получить целостное представление о работе развернутых конечных точек в производственной среде, а управление развертываниями становится сложнее.

Ultralytics Platform упрощает эту задачу, встраивая мониторинг в единую среду, охватывающую весь рабочий процесс компьютерного зрения: от загрузки и аннотирования данных до обучения, развертывания и мониторинга.

Благодаря такой интеграции пользователи могут отслеживать, как развернутые конечные точки обрабатывают реальный трафик, не настраивая внешние системы журналирования и дополнительные панели мониторинга. Всё собрано в одном месте, поэтому наблюдать за поведением системы и поддерживать надёжность развертываний со временем проще.

Доступ к функциям мониторинга можно получить прямо на вкладке Deploy. На одной панели пользователи могут отслеживать ключевые метрики, анализировать поведение отдельных запросов и визуализировать тенденции. Благодаря встроенным визуализациям проще оценивать работу решений, не переключаясь между инструментами.

Объединяя мониторинг, развертывание и управление моделями в рамках единого рабочего процесса, платформа снижает сложность. Так становится проще управлять развертываниями, оптимизировать производительность системы и поддерживать её надёжность.

Встроенные функции мониторинга Ultralytics Platform#

В реальных условиях развертывания мониторинг требует чёткого представления о работе систем при изменении условий с течением времени. Он не ограничивается отслеживанием нескольких метрик: важно понимать, как развернутые конечные точки ведут себя в разных средах, и эффективно управлять несколькими развертываниями.

В Ultralytics Platform предусмотрено несколько возможностей, делающих мониторинг практичнее и удобнее для масштабирования. Они созданы с учётом отзывов сообщества специалистов по компьютерному зрению и типичных проблем в этой области.

Вот обзор некоторых ключевых функций:

• Обзор развертываний по всему миру: На странице Deploy есть интерактивная карта мира, показывающая регионы развертывания и визуальные индикаторы активных конечных точек и тех, что находятся в процессе запуска. Она помогает отслеживать географическое распределение и активность в регионах.
• Гибкие представления панели: Панель развертываний предлагает несколько режимов отображения, включая карточки, компактную сетку и таблицу с сортируемыми столбцами, например с названием, регионом, статусом и количеством запросов. Это упрощает структурированный мониторинг и сравнение.
• Мониторинг нескольких конечных точек: Панель объединяет данные мониторинга всех развертываний с помощью обзорных карточек и списков развертываний.
• Политики хранения данных: Данные мониторинга хранятся в течение установленного периода: метрики доступны 30 дней, а журналы — 7 дней. Это позволяет анализировать недавнюю производительность и отлаживать системы.
• Поддержка внешнего мониторинга: Конечные точки развертывания можно отслеживать с помощью внешних инструментов, таких как Datadog, New Relic и сервисы мониторинга доступности, или обращаться к ним через конечные точки API для пользовательского мониторинга и проверки работоспособности.

Далее мы подробнее рассмотрим некоторые из этих функций и узнаем, как их можно использовать для мониторинга развернутых эндпоинтов в production.

Как отслеживать ключевые показатели производительности с помощью Ultralytics Platform#

После развертывания модели мониторинг начинается с отслеживания ключевых системных метрик. На этапе разработки полезны такие метрики, как точность и полнота, а мониторинг в production сосредоточен на сигналах системного уровня — например, времени отклика и частоте ошибок. Они дают измеримое представление о том, насколько надежно эндпоинты обрабатывают реальный трафик.

Ultralytics Platform предоставляет централизованную панель управления, на которой наглядно отображаются активность эндпоинтов и поведение системы. В частности, панель Deployment содержит четыре ключевые метрики, показывающие, как используются эндпоинты и как они отвечают на входящие запросы.

Рассмотрим эти метрики подробнее:

• Общее количество запросов: число запросов, отправленных на все эндпоинты за 24 часа. Эта метрика помогает выявлять закономерности использования и оценивать общий спрос.
• Активные развертывания: число эндпоинтов, которые сейчас работают и обрабатывают запросы.
• Задержка P95: время отклика, за которое выполняются 95% запросов. Эта метрика дает более реалистичное представление о производительности, учитывая и медленные ответы.
• Частота ошибок: процент неудачных запросов от общего числа запросов. Эта метрика помогает выявлять проблемы и обнаруживать аномалии.

Проще говоря, эти метрики наглядно показывают, как развернутые эндпоинты работают в production. Анализируя закономерности использования, команды и отдельные специалисты могут понять, как распределяется трафик, определить периоды пиковой нагрузки и обеспечить отзывчивость и надежность систем по мере роста использования.

Как понять поведение развернутой модели с помощью логов#

Метрики дают общее представление о производительности системы, а логи позволяют подробнее изучить, как развернутые эндпоинты обрабатывают отдельные запросы. В логах записывается каждый запрос, отправленный на эндпоинт, и соответствующий ответ.

Логи полезны для отслеживания проблем, изучения сбоев и понимания того, как обрабатываются запросы. В Ultralytics Platform можно выбрать любое развертывание и просмотреть его данные, включая логи.

Рис. 3. Пример логов в Ultralytics Platform (Источник)

Записи логов на платформе отображаются в структурированном формате, поэтому проще понять, что произошло при обработке каждого запроса. В каждой записи указан уровень серьезности, отражающий важность события, и временная метка, показывающая, когда оно произошло.

Также в записи есть описание события и данные, связанные с HTTP, например коды состояния и задержка. Эта информация помогает отслеживать запросы, устранять неполадки и эффективнее отлаживать проблемы. Кроме того, логи сгруппированы по уровню серьезности, поэтому пользователи могут в первую очередь обратить внимание на развертывания, которым это необходимо.

Как анализировать состояние и надежность эндпоинтов в Ultralytics Platform#

Мониторинг также предполагает оценку общего состояния развернутых эндпоинтов: нужно понимать, правильно ли они работают, вовремя ли отвечают и стабильно ли обрабатывают запросы без ошибок. Ultralytics Platform наглядно показывает состояние каждого развертывания, поэтому легко проверить, что эндпоинты работают как ожидается.

На платформе есть визуальные индикаторы состояния каждого развертывания, отображаемые на отдельных карточках развертываний.

Например, зеленый индикатор показывает, что эндпоинт работает исправно и отвечает в обычном режиме, а красный сигнализирует о проблемах или простое. Вращающийся значок означает, что система проверяет состояние развертывания.

Отслеживание состояния эндпоинтов во времени помогает рано обнаруживать проблемы, поддерживать стабильную производительность и обеспечивать бесперебойную работу приложений в production.

Как связать данные мониторинга с повышением производительности#

Мониторинг моделей — это не просто отслеживание метрик. Он создает цикл обратной связи, который помогает непрерывно улучшать систему. По мере того как эндпоинты обрабатывают реальный трафик, в метриках и логах проявляются закономерности, указывающие на такие проблемы, как рост задержки, увеличение частоты ошибок или нестабильное поведение системы.

Мониторинг показывает, на какие области нужно обратить внимание. Например, постоянно высокая задержка может указывать на необходимость лучше распределить ресурсы или масштабировать систему, а растущая частота ошибок — на проблемы с обработкой запросов или стабильностью системы.

Выявив эти проблемы, можно принять меры для повышения надежности. Например, скорректировать инфраструктуру, масштабировать ресурсы или исправить ошибки в обработке запросов. После внесения изменений мониторинг можно продолжить, чтобы убедиться, что производительность улучшилась.

Связывая мониторинг с постоянными улучшениями, пользователи могут поддерживать надежность систем по мере роста использования и изменения условий.

Пример из реальной жизни: мониторинг обработки багажа в авиации#

Чтобы лучше понять, как мониторинг работает в реальных условиях, рассмотрим его применение для автоматизации наземного обслуживания воздушных судов.

Рассмотрим систему компьютерного зрения, предназначенную для мониторинга погрузки и выгрузки багажа при наземном обслуживании воздушных судов. В такой системе модель обнаружения объектов, например Ultralytics YOLO26, может определять, падает ли багаж с конвейерных лент или оборудования для обработки багажа.

Во время тестирования и на раннем этапе развертывания система реального времени может хорошо работать: точно распознавать багаж и быстро отвечать.

Однако в действующем аэропорту условия гораздо менее предсказуемы. Освещение меняется в течение дня, несколько камер одновременно передают данные, а в часы пик резко возрастает количество запросов. Из-за этих факторов может увеличиться задержка или возникнуть ошибки. Если система работает непрозрачно, такие проблемы легко упустить.

Здесь мониторинг особенно полезен. Отслеживая объем запросов, задержку и частоту ошибок вместе с подробными логами, команды могут быстро заметить, что эндпоинт замедляется или перестает работать. Если задержка растет в часы пик, возможно, нужно масштабировать ресурсы; резкий рост числа ошибок может указывать на проблемы с конкретными камерами или обработкой запросов. Реагирование на такие сигналы помогает поддерживать надежность системы, чтобы мониторинг обработки багажа оставался точным даже при изменении условий.

Главные выводы#

Именно мониторинг помогает поддерживать надежность развернутых моделей компьютерного зрения, когда они выходят за пределы контролируемых условий разработки и начинают обрабатывать реальный трафик. Отслеживая сигналы системного уровня — объем запросов, задержку, частоту ошибок и время безотказной работы — вместе с подробными логами, мониторинг дает необходимую видимость, чтобы рано выявлять проблемы и поддерживать бесперебойную работу production-систем.

Благодаря встроенному в процесс развертывания мониторингу Ultralytics Platform упрощает отслеживание состояния эндпоинтов, изучение поведения запросов и поддержку надежности систем без отдельных инструментов. Объединяя данные, обучение, развертывание и мониторинг в одном месте, платформа помогает командам перейти от экспериментов к надежному развертыванию в реальных условиях.

Присоединяйся к нашему растущему сообществу и загляни в наш репозиторий на GitHub, чтобы узнать больше о Vision AI. Чтобы уже сегодня создавать решения на основе Vision AI, изучи наши варианты лицензирования. Узнай, как ИИ в производстве и ИИ в здравоохранении меняют будущее, на страницах наших решений.