Observability

La observabilidad se refiere a la capacidad de comprender el estado interno de un sistema complejo basándose únicamente en sus resultados externos. En los campos de rápida evolución de la Inteligencia Artificial (IA) y el Aprendizaje Automático (ML), la observabilidad va más allá de simples comprobaciones de estado para proporcionar información profunda sobre por qué un modelo se comporta de determinada manera. A medida que las arquitecturas modernas de Aprendizaje Profundo (DL), como la puntera YOLO26, se vuelven cada vez más sofisticadas, a menudo pueden funcionar como "cajas negras". Las herramientas de observabilidad crean una ventana transparente hacia estos sistemas, lo que permite a los equipos de ingeniería depurar comportamientos inesperados, rastrear las causas raíz de los errores y garantizar la fiabilidad en entornos de producción.

Link to this sectionObservabilidad frente a monitorización#

Aunque a menudo se utilizan indistintamente, la observabilidad y la monitorización de modelos cumplen propósitos distintos pero complementarios dentro del ciclo de vida de MLOps.

• La monitorización de modelos es reactiva y se centra en las "incógnitas conocidas". Implica el seguimiento de métricas predefinidas como la latencia de inferencia, el uso de CPU o las tasas de error frente a umbrales establecidos. La monitorización responde a la pregunta: "¿Está el sistema en buen estado?"
• La observabilidad es proactiva y aborda las "incógnitas desconocidas". Proporciona datos granulares (registros, trazas y eventos de alta cardinalidad) necesarios para investigar problemas novedosos que no se previeron durante la preparación de los datos de entrenamiento. Como se describe en el Google SRE Book, un sistema observable te permite comprender comportamientos nuevos sin necesidad de desplegar código nuevo. Responde a la pregunta: "¿Por qué el sistema actúa de esta manera?"

Link to this sectionLos tres pilares de la observabilidad#

Para lograr una verdadera observabilidad en los flujos de trabajo de Visión Artificial (CV), los sistemas suelen depender de tres tipos principales de datos de telemetría:

1. Registros (Logs): Registros inmutables y con marca de tiempo de eventos discretos. En un flujo de trabajo de detección, un registro podría capturar la resolución de la imagen de entrada o la configuración específica de ajuste de hiperparámetros utilizada durante una ejecución. El registro estructurado, a menudo en formato JSON, permite realizar consultas y análisis complejos.

2. Métricas: Datos numéricos agregados medidos a lo largo del tiempo, como la precisión media, el consumo de memoria o la utilización de la GPU. Herramientas como Prometheus y Grafana son estándar para almacenar estos datos de series temporales y visualizar tendencias.

3. Trazas: El rastreo sigue el ciclo de vida de una solicitud a medida que fluye a través de varios microservicios. Para aplicaciones de IA distribuidas, estándares como OpenTelemetry ayudan a mapear la ruta de una solicitud, destacando cuellos de botella en el motor de inferencia o retrasos en la red. Herramientas especializadas como Jaeger ayudan a visualizar estas transacciones distribuidas.

Link to this sectionImplementación de la observabilidad en Python#

Puedes mejorar la observabilidad en tus flujos de trabajo de entrenamiento utilizando devoluciones de llamada (callbacks) para registrar estados internos específicos. El siguiente ejemplo demuestra cómo añadir una devolución de llamada personalizada a una sesión de entrenamiento de YOLO26 para monitorizar las métricas de rendimiento en tiempo real.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")


# Define a custom callback for observability
def on_train_epoch_end(trainer):
    # Access and print specific metrics at the end of each epoch
    map50 = trainer.metrics.get("metrics/mAP50(B)", 0)
    print(f"Observability Log - Epoch {trainer.epoch + 1}: mAP50 is {map50:.4f}")


# Register the callback and start training
model.add_callback("on_train_epoch_end", on_train_epoch_end)
model.train(data="coco8.yaml", epochs=3)

Link to this sectionAplicaciones en el mundo real#

La observabilidad es fundamental para desplegar modelos de alto rendimiento en entornos dinámicos donde los datos de prueba podrían no coincidir perfectamente con las condiciones del mundo real.

• Vehículos autónomos: En el desarrollo de vehículos autónomos, la observabilidad permite a los ingenieros reconstruir el estado exacto del sistema durante un evento de desconexión. Al correlacionar los resultados de la detección de objetos con los registros de los sensores y los comandos de control, los equipos pueden determinar si un error de frenado fue causado por ruido del sensor, un fallo en la predicción del modelo o un error lógico en el módulo de planificación.
• Diagnóstico sanitario: En la IA aplicada a la salud, garantizar un rendimiento constante es vital para la seguridad del paciente. Las herramientas de observabilidad pueden detectar la deriva de datos (data drift) si el rendimiento de un modelo disminuye cuando se aplica a imágenes de un nuevo tipo de escáner de resonancia magnética. Las trazas pueden revelar si el problema surge de un cambio en el preprocesamiento de datos de la imagen o de un desplazamiento en la distribución de entrada, lo que permite una corrección rápida sin comprometer la seguridad de la IA.

Link to this sectionIntegración con herramientas modernas#

Los flujos de trabajo modernos suelen integrar la observabilidad directamente en la plataforma de entrenamiento. Los usuarios de la plataforma Ultralytics se benefician de la visualización integrada de las curvas de pérdida, el rendimiento del sistema y el análisis del conjunto de datos. Además, las integraciones estándar con herramientas como TensorBoard y MLflow permiten a los científicos de datos mantener un seguimiento riguroso de los experimentos y la observabilidad durante todo el ciclo de vida del modelo.