Мониторинг развернутых моделей компьютерного зрения на Ultralytics Platform

Тестирование моделей компьютерного зрения, которые анализируют изображения и видео, не всегда идентично их запуску в рабочей среде. На этапе разработки такие модели или алгоритмы тестируются на чистых, хорошо подготовленных наборах данных, где условия контролируются и предсказуемы.

После развертывания ситуация становится более динамичной. Модели сталкиваются с реальным трафиком, где объемы запросов могут меняться, время отклика может варьироваться, а иногда случаются сбои.

На этом этапе основное внимание переключается на надежность работы системы, доступность, отзывчивость и стабильность эндпоинтов в меняющихся условиях.

Вот почему мониторинг критически важен. Он дает четкое представление о том, как развернутые эндпоинты ведут себя в рабочей среде, с помощью таких показателей, как объем запросов, задержка, уровень ошибок и общее состояние системы.

Чтобы упростить этот процесс, наличие правильных инструментов становится не менее важным, чем сама модель. Недавно Ultralytics представила Ultralytics Platform — нашу новую комплексную среду, объединяющую весь рабочий процесс компьютерного зрения: от данных и обучения до развертывания и мониторинга.

Рис. 1. Дашборд развертывания Ultralytics Platform с функциями мониторинга (Источник)

Благодаря мониторингу, встроенному непосредственно в этот рабочий процесс, ты можешь отслеживать состояние эндпоинтов, проверять поведение запросов и поддерживать надежность систем, не полагаясь на сторонние инструменты. В этой статье мы рассмотрим, как использовать Ultralytics Platform для мониторинга эндпоинтов развернутых моделей и обеспечения бесперебойной работы производственных систем. Давай начнем!

Link to this sectionОбзор мониторинга AI-моделей#

В жизненном цикле AI-модели мониторинг означает наблюдение за тем, как ведут себя развернутые системы после запуска модели и начала обработки реальных запросов. В то время как обучение и валидация показывают, как модель машинного обучения (ML-модель) работает на подготовленных данных, мониторинг фокусируется на работе развернутого эндпоинта в производственной среде.

Ключевая часть мониторинга — отслеживание системных метрик, отражающих надежность и отзывчивость. Такие показатели, как задержка и время безотказной работы (uptime), помогают понять, насколько хорошо система справляется с входящими запросами. Задержка измеряет время, необходимое для обработки запроса и возврата ответа, а uptime показывает, насколько стабильно эндпоинт остается доступным.

Еще один важный аспект — наблюдаемость (observability), которая дает представление о том, как обрабатываются запросы. Каждый раз, когда входные данные (например, изображение или кадр видео) отправляются на развернутую модель, это обрабатывается как запрос на инференс.

Логи фиксируют эти запросы вместе с такими деталями, как временные метки, время отклика и коды состояния. Эти логи облегчают отслеживание запросов, отладку проблем и расследование сбоев. Они особенно полезны для выявления закономерностей, таких как повторяющиеся ошибки, медленные ответы или неожиданное поведение системы.

Сочетая метрики и логи, мониторинг помогает тебе понять, как работают твои системы в продакшене, и быстро реагировать на возникающие проблемы.

Link to this sectionВзгляд на метрики производительности модели против системных метрик#

Перед тем как углубляться в мониторинг продакшена, давай обсудим разницу между метриками производительности модели и системными метриками.

Как правило, мониторинг моделей связан с метриками оценки (также известными как метрики модели), такими как accuracy, precision, recall и mAP (mean average precision). Эти метрики используются для описания поведения модели и оценки качества её предсказаний, часто в контексте производственных или входных данных. Они могут быть особенно полезны для выявления краевых случаев (edge cases) или выбросов в новых данных.

Однако это отличается от мониторинга развернутой системы в продакшене. В данном контексте мониторинг фокусируется на том, как работает система, а не на прямой оценке предсказаний модели.

Вместо метрик модели мониторинг развертывания опирается на системные сигналы: объем запросов, задержку, уровень ошибок и uptime. Эти метрики дают представление о том, как эндпоинты обрабатывают входящие данные, насколько последовательно они отвечают и как работают в производственной среде.

Link to this sectionРоль мониторинга моделей в проектах компьютерного зрения#

Далее давай рассмотрим реальный пример, который подчеркивает необходимость системы мониторинга при развертывании компьютерного зрения.

Рассмотрим решение, использующее оценку позы — задачу компьютерного зрения для идентификации и анализа движений человеческого тела — для контроля соблюдения техники безопасности рабочими на стройке. При начальном развертывании такая система может хорошо работать в контролируемых условиях с хорошей видимостью и стандартными сценариями.

Однако реальные строительные площадки привносят дополнительную сложность. Объемы запросов могут варьироваться в течение дня, сетевые условия могут быть нестабильными, а несколько камер или эндпоинтов могут одновременно отправлять данные. Эти факторы могут привести к замедлению ответов или эпизодическим сбоям, если система не мониторится должным образом.

Рис. 2. Оценка позы используется для контроля рабочих на строительной площадке (Источник)

В такой производственной среде становится важным понимать, насколько надежно работает система. Мониторинг обеспечивает видимость того, доступны ли эндпоинты, как быстро они реагируют на входящие запросы и как стабильно они обрабатывают трафик с течением времени.

Например, увеличение задержки может указывать на повышенную нагрузку или нехватку ресурсов, в то время как рост уровня ошибок может указывать на проблемы с обработкой запросов или стабильностью системы. Логи добавляют контекст, показывая, как обрабатываются отдельные запросы и где возникают сбои.

Отслеживая эти сигналы, энтузиасты AI и специалисты по данным могут выявлять проблемы на ранней стадии, эффективнее проводить диагностику и гарантировать, что системы продолжают надежно работать при изменении реальных условий.

Link to this sectionИспользование Ultralytics Platform для мониторинга развернутых моделей компьютерного зрения#

Во многих рабочих процессах глубокого обучения мониторинг часто осуществляется с помощью разрозненных инструментов для логирования, метрик и контроля состояния системы. Такая фрагментированная настройка затрудняет получение ясного представления о работе эндпоинтов в продакшене и усложняет управление развертываниями.

Ultralytics Platform упрощает это, внедряя мониторинг непосредственно в единую среду, которая охватывает полный рабочий процесс компьютерного зрения, от сбора и разметки данных до обучения, развертывания и мониторинга.

С этой интегрированной системой ты можешь отслеживать, как твои развернутые эндпоинты обрабатывают реальный трафик, не настраивая внешние системы логирования или дополнительные дашборды. Всё доступно в одном месте, что упрощает наблюдение за поведением системы и поддержание надежности развертываний с течением времени.

Функции мониторинга доступны непосредственно с вкладки Deploy. На одном дашборде ты можешь отслеживать ключевые метрики, анализировать поведение запросов и визуализировать тренды. Эти встроенные инструменты визуализации помогают легче понимать производительность решений, не переключаясь между приложениями.

Объединяя мониторинг, развертывание и управление моделями в рамках общего рабочего процесса, платформа снижает сложность. Это позволяет проще сосредоточиться на управлении развертываниями, оптимизации производительности и поддержании надежности.

Link to this sectionВстроенные функции мониторинга Ultralytics Platform#

В реальных развертываниях мониторинг зависит от четкого видения того, как системы работают при изменении условий. Это выходит за рамки отслеживания нескольких метрик и включает понимание поведения эндпоинтов в различных средах, а также эффективное управление множеством развертываний.

Вдохновленная отзывами сообщества vision AI о типичных задачах компьютерного зрения, Ultralytics Platform включает ряд возможностей, которые делают мониторинг более практичным и масштабируемым.

Вот обзор некоторых из этих ключевых функций:

• Глобальное видение развертывания: Страница Deploy включает интерактивную карту мира, которая отображает регионы развертывания с визуальными индикаторами активных и находящихся в процессе настройки эндпоинтов, позволяя пользователям отслеживать географическое распределение и региональную активность.
• Гибкие режимы отображения дашборда: Дашборд развертываний предоставляет несколько режимов просмотра, включая карточный вид, компактную сетку и таблицу со столбцами, которые можно сортировать по имени, региону, статусу и количеству запросов, что поддерживает структурированный мониторинг и сравнение.
• Мониторинг нескольких эндпоинтов: Дашборд агрегирует данные мониторинга по всем развертываниям с помощью обзорных карточек и списков развертываний.
• Политики хранения данных: Данные мониторинга хранятся в течение определенного периода: метрики доступны 30 дней, а логи — 7 дней, что поддерживает рабочие процессы анализа производительности и отладки.
• Поддержка внешнего мониторинга: Эндпоинты развертывания могут мониториться с помощью сторонних инструментов, таких как Datadog, New Relic и сервисов мониторинга доступности, либо через API-эндпоинты для кастомного мониторинга и проверок здоровья.

Далее мы более подробно рассмотрим некоторые из этих функций и увидим, как они могут быть использованы для мониторинга развернутых эндпоинтов в продакшене.

Link to this sectionКак отслеживать ключевые метрики производительности с помощью Ultralytics Platform#

После того как модель развернута, мониторинг начинается с отслеживания ключевых системных метрик. Хотя такие метрики, как точность (accuracy) и полнота (recall), полезны на этапе разработки, мониторинг в продакшене фокусируется на системных сигналах, таких как время отклика и уровень ошибок, которые дают измеримые данные о надежности обработки реального трафика эндпоинтами.

Ultralytics Platform предоставляет централизованный дашборд с четким представлением об активности эндпоинтов и поведении системы. В частности, дашборд Deployment включает четыре ключевые метрики, показывающие, как используются эндпоинты и как они отвечают на входящие запросы.

Вот более детальный взгляд на эти метрики:

• Общее количество запросов: Суммарное количество запросов ко всем эндпоинтам за 24 часа. Это помогает выявить паттерны использования и общий спрос.
• Активные развертывания: Количество эндпоинтов, которые в данный момент запущены и обслуживают запросы.
• Задержка P95: Время отклика, в которое укладываются 95% запросов. Это дает более реалистичную картину производительности, учитывая медленные ответы.
• Уровень ошибок: Процент неудачных запросов от общего их количества. Эта метрика помогает выявлять проблемы и может использоваться для обнаружения аномалий.

Проще говоря, эти метрики дают ясное представление о том, как развернутые эндпоинты работают в продакшене. Анализируя паттерны использования, команды и отдельные пользователи могут понять распределение трафика, выявить периоды пиковой нагрузки и убедиться, что системы остаются отзывчивыми и надежными по мере роста нагрузки.

Link to this sectionПонимание поведения развертывания моделей через логи#

В то время как метрики дают высокоуровневый обзор производительности системы, логи предлагают более детальный взгляд на то, как развернутые эндпоинты обрабатывают отдельные запросы. Логи записывают каждый запрос, отправленный на эндпоинт, вместе с соответствующим ответом.

Они полезны для отслеживания проблем, расследования сбоев и понимания процесса обработки запросов. Внутри Ultralytics Platform ты можешь выбрать любое развертывание, чтобы просмотреть его детали, включая логи.

Рис. 3. Пример логов внутри Ultralytics Platform (Источник)

Запись лога в платформе отображается в структурированном формате, что упрощает понимание того, что произошло во время каждого запроса. Каждая запись включает уровень серьезности, который указывает на важность события, а также временную метку, показывающую время его возникновения.

Она также содержит сообщение с описанием события и детали HTTP-запроса, такие как коды состояния и задержка. Эта информация помогает отслеживать запросы, поддерживать устранение неисправностей и более эффективно проводить отладку. Кроме того, логи сгруппированы по уровню серьезности, поэтому ты можешь расставлять приоритеты для тех развертываний, которые требуют внимания.

Link to this sectionАнализ здоровья и надежности эндпоинтов на Ultralytics Platform#

Мониторинг также подразумевает понимание общего состояния развернутых эндпоинтов, включая то, работают ли они корректно, отвечают ли вовремя и последовательно ли обрабатывают запросы без ошибок. Ultralytics Platform предоставляет ясное представление о статусе здоровья каждого развертывания, что позволяет легко проверить, работают ли эндпоинты в соответствии с ожиданиями.

Платформа включает визуальные индикаторы состояния для каждого развертывания, отображаемые на отдельных карточках.

Например, зеленый индикатор показывает, что эндпоинт здоров и отвечает нормально, в то время как красный индикатор сигнализирует о проблемах или простое. Вращающаяся иконка указывает на то, что система активно проверяет статус развертывания.

Отслеживая здоровье эндпоинтов с течением времени, можно заблаговременно обнаруживать проблемы, поддерживать стабильную производительность и обеспечивать бесперебойную работу приложений в продакшене.

Link to this sectionСвязь между данными мониторинга и улучшением производительности#

Мониторинг моделей — это не просто отслеживание метрик. Он создает обратную связь, которая поддерживает постоянное улучшение со временем. Поскольку эндпоинты обрабатывают реальный трафик, в метриках и логах начинают проявляться паттерны, которые могут указывать на проблемы, такие как повышенная задержка, рост уровня ошибок или нестабильное поведение системы.

Мониторинг подсвечивает области, требующие внимания. Например, постоянно высокая задержка может указывать на необходимость лучшего распределения ресурсов или масштабирования, а растущий уровень ошибок может указывать на проблемы с обработкой запросов или стабильностью системы.

Как только эти проблемы выявлены, можно предпринять шаги по повышению надежности. Это может включать настройку инфраструктуры, масштабирование ресурсов или исправление ошибок в обработке запросов. После внесения изменений системы можно продолжать мониторить, чтобы подтвердить повышение производительности.

Связывая мониторинг с постоянными улучшениями, ты можешь поддерживать надежность систем по мере роста использования и изменения условий.

Link to this sectionИзучение реального примера: Мониторинг обработки багажа в авиации#

Чтобы лучше понять влияние мониторинга на реальном сценарии, давай рассмотрим, как это применяется к автоматизации наземных операций в авиации.

Возьмем систему компьютерного зрения, предназначенную для контроля погрузки и выгрузки багажа во время наземного обслуживания воздушных судов. В этой установке модель детектирования объектов, такая как Ultralytics YOLO26, может использоваться для определения того, падает ли багаж с конвейерных лент или погрузочного оборудования.

Во время тестирования и раннего развертывания система реального времени может работать хорошо, точно идентифицируя багаж и быстро реагируя.

Однако в реальной среде аэропорта условия гораздо менее предсказуемы. Освещение меняется в течение дня, несколько камер транслируют данные одновременно, а объемы запросов скачут в периоды пиковой загрузки. Эти факторы могут привести к росту задержки или появлению ошибок, и без видимости системы такие проблемы легко могут остаться незамеченными.

Именно здесь мониторинг становится ценным. Отслеживая такие метрики, как объем запросов, задержка и уровень ошибок, вместе с детальными логами, команды могут быстро увидеть, когда эндпоинт замедляется или дает сбой. Если задержка возрастает в часы пик, это может сигнализировать о необходимости масштабирования ресурсов, а внезапный рост ошибок может указывать на проблемы с конкретными камерами или обработкой запросов. Реагирование на эти сигналы помогает поддерживать надежность системы, поэтому мониторинг багажа продолжается точно даже при изменении условий.

Link to this sectionОсновные выводы#

Мониторинг — это то, что сохраняет надежность развернутых моделей компьютерного зрения после того, как они покидают контролируемые условия разработки и начинают обрабатывать реальный трафик. Сосредоточившись на системных сигналах, таких как объем запросов, задержка, уровень ошибок и uptime, наряду с детальными логами, мониторинг обеспечивает видимость, необходимую для обнаружения проблем на ранней стадии и поддержания бесперебойной работы производственных систем.

Благодаря мониторингу, встроенному непосредственно в рабочий процесс развертывания, Ultralytics Platform упрощает отслеживание здоровья эндпоинтов, инспекцию поведения запросов и поддержание надежных систем без необходимости использования отдельных инструментов. Объединяя данные, обучение, развертывание и мониторинг в одном месте, платформа помогает командам перейти от экспериментов к надежным развертываниям в реальных условиях.

Присоединяйся к нашему растущему сообществу и загляни в наш репозиторий на GitHub, чтобы узнать больше о компьютерном зрении. Чтобы начать создавать решения на базе vision AI уже сегодня, ознакомься с нашими вариантами лицензирования. Узнай, как ИИ в производстве и ИИ в здравоохранении меняют будущее, посетив страницы наших решений.