Observability

L'osservabilità si riferisce alla capacità di comprendere lo stato interno di un sistema complesso basandosi esclusivamente sui suoi output esterni. Nei campi in rapida evoluzione dell'Artificial Intelligence (AI) e del Machine Learning (ML), l'osservabilità va oltre i semplici controlli di stato per fornire approfondimenti su perché un modello si comporta in un determinato modo. Man mano che le moderne architetture di Deep Learning (DL), come l'avanzatissimo YOLO26, diventano sempre più sofisticate, possono spesso funzionare come "scatole nere". Gli strumenti di osservabilità creano una finestra trasparente su questi sistemi, consentendo ai team di ingegneria di eseguire il debug di comportamenti imprevisti, tracciare le cause profonde degli errori e garantire l'affidabilità negli ambienti di produzione.

Link to this sectionOsservabilità vs. Monitoraggio#

Sebbene vengano spesso usati in modo intercambiabile, l'osservabilità e il model monitoring hanno scopi distinti ma complementari all'interno del ciclo di vita MLOps.

• Model Monitoring è reattivo e si concentra sulle "incognite note". Comporta il monitoraggio di metriche predefinite come inference latency, utilizzo della CPU o tassi di errore rispetto a soglie stabilite. Il monitoraggio risponde alla domanda: "Il sistema è in salute?"
• L'Osservabilità è proattiva e affronta le "incognite ignote". Fornisce dati granulari (log, tracce ed eventi ad alta cardinalità) necessari per indagare su nuove problematiche non previste durante la preparazione dei training data. Come descritto nel Google SRE Book, un sistema osservabile ti consente di comprendere nuovi comportamenti senza dover rilasciare nuovo codice. Risponde alla domanda: "Perché il sistema si comporta in questo modo?"

Link to this sectionI tre pilastri dell'osservabilità#

Per ottenere una vera osservabilità nelle pipeline di Computer Vision (CV), i sistemi si affidano solitamente a tre tipi principali di dati di telemetria:

1. Logs: registrazioni immutabili e con timestamp di eventi discreti. In una pipeline di rilevamento, un log potrebbe catturare la risoluzione dell'immagine di input o la specifica configurazione di hyperparameter tuning utilizzata durante un'esecuzione. Il logging strutturato, spesso in formato JSON, consente query e analisi complesse.

2. Metriche: dati numerici aggregati misurati nel tempo, come la precision media, il consumo di memoria o l'utilizzo della GPU. Strumenti come Prometheus e Grafana sono standard per archiviare queste serie temporali e visualizzare i trend.

3. Tracce: il tracing segue il ciclo di vita di una richiesta mentre fluisce attraverso vari microservizi. Per le applicazioni AI distribuite, standard come OpenTelemetry aiutano a mappare il percorso di una richiesta, evidenziando colli di bottiglia nel inference engine o ritardi di rete. Strumenti specializzati come Jaeger aiutano a visualizzare queste transazioni distribuite.

Link to this sectionImplementare l'osservabilità in Python#

Puoi migliorare l'osservabilità nelle tue pipeline di training utilizzando callback per registrare specifici stati interni. L'esempio seguente dimostra come aggiungere una callback personalizzata a una sessione di training di YOLO26 per monitorare le metriche di performance in tempo reale.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")


# Define a custom callback for observability
def on_train_epoch_end(trainer):
    # Access and print specific metrics at the end of each epoch
    map50 = trainer.metrics.get("metrics/mAP50(B)", 0)
    print(f"Observability Log - Epoch {trainer.epoch + 1}: mAP50 is {map50:.4f}")


# Register the callback and start training
model.add_callback("on_train_epoch_end", on_train_epoch_end)
model.train(data="coco8.yaml", epochs=3)

Link to this sectionApplicazioni nel mondo reale#

L'osservabilità è fondamentale per distribuire modelli ad alte prestazioni in ambienti dinamici in cui i test data potrebbero non corrispondere perfettamente alle condizioni del mondo reale.

• Veicoli autonomi: nello sviluppo di autonomous vehicles, l'osservabilità consente agli ingegneri di ricostruire l'esatto stato del sistema durante un evento di disimpegno. Mettendo in relazione gli output di object detection con i log dei sensori e i comandi di controllo, i team possono determinare se un errore di frenata è stato causato dal rumore del sensore, da un errore di previsione del modello o da un errore logico nel modulo di pianificazione.
• Diagnostica sanitaria: nell'AI in healthcare, garantire prestazioni costanti è vitale per la sicurezza del paziente. Gli strumenti di osservabilità possono rilevare il data drift se le prestazioni di un modello peggiorano quando applicate a immagini provenienti da un nuovo tipo di scanner MRI. Le tracce possono rivelare se il problema deriva da un cambiamento nel data preprocessing delle immagini o da uno spostamento nella distribuzione dell'input, consentendo una rapida risoluzione senza compromettere l'AI safety.

Link to this sectionIntegrazione con strumenti moderni#

I flussi di lavoro moderni spesso integrano l'osservabilità direttamente nella piattaforma di training. Gli utenti della Ultralytics Platform beneficiano della visualizzazione integrata delle curve di loss, delle prestazioni del sistema e dell'analisi del dataset. Inoltre, le integrazioni standard con strumenti come TensorBoard e MLflow consentono ai data scientist di mantenere un rigoroso monitoraggio degli esperimenti e osservabilità durante l'intero ciclo di vita del modello.