Наблюдаемость

Наблюдаемость позволяет инженерным командам активно отлаживать и понимать внутренние состояния сложных систем на основе на основе их внешних результатов. В быстро развивающихся областях искусственный интеллект (ИИ) и машинного обучения (ML) эта концепция имеет решающее значение для выхода за рамки развертывания "черного ящика". В то время как традиционное тестирование программного обеспечения позволяет проверить логику, модели ML работают вероятностно, что делает необходимым наличие систем, позволяющих разработчикам исследовать основные причины неожиданных предсказаний, снижения производительности или сбоев после после развертывания модели.

Наблюдаемость (Observability) в сравнении с мониторингом

Хотя эти термины часто используются как взаимозаменяемые, они представляют собой разные подходы к обеспечению надежности системы.

• Мониторинг сосредоточен на "известных неизвестных". Он включает в себя отслеживание заранее определенных панелей и оповещения о таких показателях, как задержка вывода или количество ошибок. Мониторинг отвечает на вопрос: "Здорова ли система?".
• Наблюдаемость позволяет устранить "неизвестные неизвестные". Она предоставляет подробные данные, необходимые чтобы задать новые, неожиданные вопросы о том, почему произошел конкретный сбой. Как описано в Google SRE Book, наблюдаемая система позволяет понять новое поведение, не загружая новый код. Она отвечает на вопрос: "Почему почему система ведет себя таким образом?".

Три столпа наблюдаемости

Для получения глубоких знаний наблюдаемость опирается на три основных типа телеметрических данных:

1. Журналы: Это фиксируемые по времени неизменяемые записи дискретных событий. В конвейере компьютерного зрения (КВ) журнал может фиксировать размеры входного изображения или конфигурация настройки гиперпараметров. Структурированный журнал, часто в формате JSON, облегчает запросы к инструментам анализа данных, таким как Splunk.
2. Метрики: Агрегированные числовые данные, измеряемые с течением времени, такие как точность, потребление памяти или GPU использование. Такие системы, как Prometheus широко используются для хранения данных временных рядов, позволяя командам визуализировать тенденции.
3. Трассировка: Трассировка отслеживает жизненный цикл запроса по мере его распространения через различные микросервисы. Для распределенных приложений ИИ инструменты, совместимые с OpenTelemetry, могут отображать путь запроса, выявляя узкие места в в механизме вывода или сетевых задержках.

Почему наблюдаемость важна для ИИ

Развертывание моделей в реальном мире создает проблемы, которых нет в контролируемой среде обучения. Наблюдаемость необходима для:

• Обнаружение дрейфа данных: Со временем реальные данные могут отличаться от обучающих данных, и это явление известно как дрейф данных. Инструменты наблюдаемости визуализируют распределения входных данных визуализируют распределения входных данных, чтобы предупредить инженеров о необходимости переобучения.
• Обеспечение безопасности ИИ: Для доменов с высокими ставками понимание решений модели жизненно важно для обеспечения безопасности ИИ. безопасности ИИ. Гранулярное понимание помогает проводить аудит решений, чтобы чтобы убедиться, что они соответствуют протоколам безопасности и справедливости в ИИ.
• Оптимизация производительности: Анализируя подробные трассы, команды MLOps могут выявлять избыточные вычисления или ограничения ресурсов, оптимизируя затраты и скорость.
• Отладка "черных ящиков": Модели глубокого обучения часто бывают непрозрачными. Платформы наблюдаемости такие как Honeycomb, позволяют инженерам нарезать данные высокой размерности, чтобы чтобы точно определить, почему модель потерпела неудачу в конкретном случае.

Применение в реальном мире

Наблюдаемость играет ключевую роль в обеспечении надежности современных решений ИИ в различных отраслях.

• Автономные транспортные средства: При разработке автономных транспортных средств, наблюдаемость позволяет инженерам восстановить точное состояние системы в момент отключения. Путем соотнесения выходы обнаружения объектов с журналами датчиков и команды управления, можно определить, была ли ошибка торможения вызвана шумом датчиков или ошибкой прогнозирования модели.
• Диагностика в здравоохранении: В ИИ в здравоохранении имеет первостепенное значение имеет первостепенное значение. Наблюдаемость обеспечивает стабильную работу моделей медицинской визуализации на различных больничных машинах. машинах. Если производительность модели падает, по следам можно определить, связана ли проблема с изменением разрешения изображения или задержкой в конвейере предварительной обработки данных, что позволяет быстро устранить проблему без ущерба для лечения пациентов.

Реализация наблюдаемости с помощью Ultralytics

Эффективная наблюдаемость начинается с правильного протоколирования и отслеживания экспериментов. Модели Ultralytics легко интегрируются с такими инструментами, как MLflow, Weights & Biasesи TensorBoard для автоматического протоколирования метрик, параметров и артефактов в автоматическом режиме.

В следующем примере показано, как обучить YOLO11 при организации журналов в определенную проектную структура, которая является основой наблюдаемости на основе файлов:

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Train the model, saving logs and results to a specific project directory
# This creates structured artifacts useful for post-training analysis
model.train(data="coco8.yaml", epochs=3, project="observability_logs", name="experiment_1")

В производственных средах команды часто объединяют эти журналы в централизованные платформы, такие как Datadog, New Relic или Elastic Stack, чтобы получить единое представление обо всей инфраструктуре ИИ инфраструктуры. Продвинутая визуализация также может быть достигнута с помощью панелей с открытым исходным кодом, таких как Grafana.