Observability

L'osservabilità si riferisce alla capacità di comprendere lo stato interno di un sistema complesso basandosi esclusivamente sui suoi output esterni. Nei settori in rapida evoluzione dell'Intelligenza artificiale (AI) e del Machine Learning (ML), l'osservabilità va oltre i semplici controlli di stato per fornire informazioni approfondite sul perché un modello si comporta in un determinato modo. Man mano che le architetture moderne di Deep Learning (DL), come il modello all'avanguardia YOLO26, diventano sempre più sofisticate, possono spesso funzionare come "scatole nere". Gli strumenti di osservabilità creano una finestra trasparente su questi sistemi, consentendo ai team di ingegneria di eseguire il debug di comportamenti imprevisti, risalire alle cause principali degli errori e garantire l'affidabilità negli ambienti di produzione.

Osservabilità e monitoraggio a confronto#

Sebbene spesso utilizzati come sinonimi, l'osservabilità e il monitoraggio dei modelli hanno finalità distinte ma complementari all'interno del ciclo di vita di MLOps.

• Il monitoraggio dei modelli è reattivo e si concentra sulle "incognite note". Consiste nel monitorare metriche predefinite, come la latenza dell'inferenza, l'utilizzo della CPU o i tassi di errore, confrontandole con soglie stabilite. Il monitoraggio risponde alla domanda: "Il sistema funziona correttamente?"
• L'osservabilità è proattiva e affronta le "incognite ignote". Fornisce dati granulari — log, tracce ed eventi ad alta cardinalità — necessari per analizzare problemi nuovi che non erano stati previsti durante la preparazione dei dati di addestramento. Come descritto nel Google SRE Book, un sistema osservabile consente di comprendere nuovi comportamenti senza distribuire nuovo codice. Risponde alla domanda: "Perché il sistema si comporta in questo modo?"

I tre pilastri dell'osservabilità#

Per ottenere una vera osservabilità nelle pipeline di Computer Vision (CV), i sistemi si basano generalmente su tre tipi principali di dati di telemetria:

1. Log: record immutabili e con marca temporale di eventi discreti. In una pipeline di rilevamento, un log potrebbe acquisire la risoluzione dell'immagine di input o la configurazione specifica di ottimizzazione degli iperparametri utilizzata durante un'esecuzione. La registrazione strutturata, spesso in formato JSON, consente query e analisi complesse.

2. Metriche: dati numerici aggregati misurati nel tempo, come la precisione media, il consumo di memoria o l'utilizzo della GPU. Strumenti come Prometheus e Grafana sono standard per memorizzare questi dati in serie temporali e visualizzare le tendenze.

3. Tracce: il tracciamento segue il ciclo di vita di una richiesta mentre attraversa diversi microservizi. Per le applicazioni di AI distribuite, standard come OpenTelemetry aiutano a mappare il percorso di una richiesta, evidenziando i colli di bottiglia nel motore di inferenza o i ritardi di rete. Strumenti specializzati come Jaeger aiutano a visualizzare queste transazioni distribuite.

Implementazione dell'osservabilità in Python#

Puoi migliorare l'osservabilità nelle tue pipeline di addestramento utilizzando callback per registrare specifici stati interni. L'esempio seguente mostra come aggiungere una callback personalizzata a una sessione di addestramento di YOLO26 per monitorare le metriche delle prestazioni in tempo reale.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")


# Define a custom callback for observability
def on_train_epoch_end(trainer):
    # Access and print specific metrics at the end of each epoch
    map50 = trainer.metrics.get("metrics/mAP50(B)", 0)
    print(f"Observability Log - Epoch {trainer.epoch + 1}: mAP50 is {map50:.4f}")


# Register the callback and start training
model.add_callback("on_train_epoch_end", on_train_epoch_end)
model.train(data="coco8.yaml", epochs=3)

Applicazioni nel mondo reale#

L'osservabilità è fondamentale per distribuire modelli ad alte prestazioni in ambienti dinamici, dove i dati di test potrebbero non corrispondere perfettamente alle condizioni del mondo reale.

• Veicoli autonomi: nello sviluppo di veicoli autonomi, l'osservabilità consente agli ingegneri di ricostruire lo stato esatto del sistema durante un evento di disimpegno. Correlando gli output del rilevamento degli oggetti con i log dei sensori e i comandi di controllo, i team possono determinare se un errore di frenata è stato causato da rumore del sensore, da un errore di previsione del modello o da un errore logico nel modulo di pianificazione.
• Diagnostica sanitaria: nell'AI in ambito sanitario, garantire prestazioni costanti è fondamentale per la sicurezza dei pazienti. Gli strumenti di osservabilità possono rilevare il data drift se le prestazioni di un modello peggiorano quando viene applicato a immagini provenienti da un nuovo tipo di scanner MRI. Le tracce possono rivelare se il problema deriva da una modifica del preprocessing dei dati delle immagini o da uno spostamento della distribuzione degli input, consentendo una rapida risoluzione senza compromettere la sicurezza dell'AI.

Integrazione con gli strumenti moderni#

I workflow moderni integrano spesso l'osservabilità direttamente nella piattaforma di addestramento. Gli utenti della Ultralytics Platform traggono vantaggio dalla visualizzazione integrata delle curve di perdita, delle prestazioni del sistema e dell'analisi dei dataset. Inoltre, le integrazioni standard con strumenti come TensorBoard e MLflow consentono ai data scientist di mantenere un monitoraggio rigoroso degli esperimenti e l'osservabilità lungo l'intero ciclo di vita del modello.