Monitoraggio di Ultralytics Platform: mantieni sotto controllo le distribuzioni di IA per la visione

La distribuzione di un modello di visione artificiale è una tappa importante, ma il successo in produzione dipende da ciò che accade dopo. Con l'aumento del traffico e il cambiamento delle condizioni reali, i team devono sapere se gli endpoint restano reattivi, affidabili e utili.

Il monitoraggio in Ultralytics Platform offre ai team visibilità sui modelli Ultralytics YOLO distribuiti, nello stesso ambiente usato per gestire dati, addestramento e distribuzione. Tieni traccia dello stato operativo, esamina gli andamenti delle predizioni, risolvi i problemi e trasforma esempi utili di produzione in dati per migliorare i modelli futuri.

Che cos'è il monitoraggio dei modelli di IA per la visione?#

Il monitoraggio dei modelli di IA per la visione aiuta i team a capire come si comportano in produzione gli endpoint distribuiti e le relative predizioni.

Ultralytics Platform risponde a due domande importanti:

• L'endpoint funziona in modo affidabile? Tieni traccia delle richieste, della latenza P95, dei tassi di errore, dello stato di integrità e dei log.
• Che cosa vede e predice il modello? Esamina esempi di predizioni e statistiche come il conteggio delle classi, la confidenza, il tempo di inferenza e le posizioni delle predizioni, quando supportate.

Nel loro insieme, queste informazioni offrono un quadro più chiaro della sola disponibilità dell'endpoint. Un endpoint può restare online mentre cambiano i modelli di traffico, i tempi di risposta o le distribuzioni delle predizioni. Il monitoraggio rende più facile esaminare questi segnali.

Comprendi a colpo d'occhio lo stato della distribuzione#

La pagina Deploy funge da dashboard di monitoraggio centrale per i tuoi endpoint. Le schede di riepilogo mostrano le richieste HTTP, le distribuzioni attive, i tassi di errore e la latenza P95 nelle 24 ore precedenti.

Con queste metriche, i team possono:

• Comprendere la domanda: verifica se il traffico degli endpoint aumenta, diminuisce o cambia in modo imprevisto.
• Individuare problemi di prestazioni: usa la latenza P95 per esaminare risposte più lente che potrebbero influire su un'applicazione.
• Rilevare gli errori: individua tassi elevati di errori HTTP e usa i log di distribuzione per diagnosticare la causa.
• Verificare la disponibilità: controlla se i singoli endpoint sono integri e rispondono.
• Confrontare le distribuzioni: esamina gli endpoint nelle viste a schede, compatta o tabellare ordinabile.

La scheda del tasso di errore viene evidenziata quando il tasso supera il 5%, facendo risaltare i problemi operativi senza che i team debbano esaminare ogni endpoint singolarmente.

Risolvi i problemi più rapidamente con controlli dello stato e log#

Quando un endpoint presenta problemi, ai team serve più di una metrica di alto livello. Ogni distribuzione pronta include un indicatore dello stato di integrità e l'accesso ai log recenti.

I controlli dello stato mostrano se un endpoint risponde e ne indicano la latenza di risposta. Possono anche contribuire ad avviare un endpoint ridimensionato a zero prima dell'invio del traffico di produzione.

I log forniscono ulteriore contesto tramite timestamp, livelli di gravità, messaggi e dettagli HTTP. Questo aiuta i team a esaminare richieste non riuscite, risposte impreviste o cambiamenti delle prestazioni senza dover passare subito a un'interfaccia di registrazione separata.

Collegando metriche, controlli dello stato e log a ogni distribuzione, Ultralytics Platform crea un percorso più diretto dall'individuazione di un problema alla sua comprensione.

Esamina il comportamento delle predizioni in tempo reale#

Gli endpoint dedicati a pagamento, con fatturazione basata sul tempo di attività e runtime compatibile con il monitoraggio, offrono una scheda aggiuntiva Monitoring con esempi temporanei e statistiche sulle predizioni.

La galleria degli esempi temporanei mostra un campione aggiornato di immagini elaborate con sovrapposizioni delle predizioni. I team possono usare questi esempi per verificare a campione ciò che vede il modello, esaminare i suoi output e individuare gli input che meritano ulteriori verifiche.

Le statistiche sulle predizioni disponibili dipendono dall'attività del modello e possono includere:

• Immagini elaborate e predizioni nel tempo
• Tempo medio di inferenza del modello
• Classi predette più frequentemente
• Predizioni per immagine
• Confidenza delle predizioni e relativi andamenti
• Dimensioni delle predizioni
• Mappe di calore spaziali delle posizioni delle predizioni

Questi segnali possono rivelare cambiamenti da esaminare, come un calo della confidenza, uno spostamento imprevisto nella distribuzione delle classi o predizioni che compaiono in zone insolite di un'immagine.

La confidenza indica il grado di certezza del modello, non la correttezza. Quando valutano l'accuratezza del modello, i team dovrebbero esaminare gli esempi e confrontare le predizioni con etichette verificate.

Trasforma gli esempi di produzione in dati di addestramento migliori#

Il monitoraggio diventa più utile quando le informazioni sulla produzione possono orientare il ciclo di sviluppo successivo.

Se un esempio rivela una condizione difficile, un oggetto insolito o una possibile lacuna nella copertura, i membri del workspace con le autorizzazioni appropriate possono salvarlo direttamente in un dataset compatibile. L'immagine e le relative predizioni passano quindi attraverso il flusso di acquisizione standard del dataset, dove è possibile verificare le etichette prima di usare i dati per l'addestramento.

Si crea così un ciclo di miglioramento integrato:

1. Addestra un modello Ultralytics YOLO usando il tuo dataset.
2. Distribuiscilo su un endpoint dedicato.
3. Monitora lo stato dell'endpoint e il comportamento delle predizioni.
4. Esamina gli esempi di produzione utili o problematici.
5. Salva e verifica gli esempi selezionati in un dataset.
6. Riaddestra e ridistribuisci usando dati basati sulle condizioni del mondo reale.

Invece di lasciare le osservazioni di produzione isolate in un altro sistema, i team possono collegarle ai dataset e ai modelli già gestiti in Ultralytics Platform.

Progettato per offrire visibilità operativa senza aggiungere complessità#

I flussi di lavoro di visione artificiale in produzione coinvolgono spesso sistemi separati per distribuzione, metriche, log, ispezione dei modelli e gestione dei dati. Passare da un sistema all'altro può rallentare l'analisi e rendere più difficile collegare il comportamento dei modelli ai miglioramenti futuri.

Ultralytics Platform riunisce queste fasi. I team possono passare dall'addestramento alla distribuzione, verificare lo stato degli endpoint, esaminare predizioni campionate e salvare esempi utili senza dover ricostruire il contesto usando strumenti diversi.

Ad esempio, un team industriale potrebbe verificare se le predizioni dei difetti compaiono nelle aree previste di un'immagine. Un team logistico potrebbe esaminare i cambiamenti nelle classi rilevate più frequentemente al mutare delle condizioni operative. Un team di vendita al dettaglio potrebbe analizzare un aumento della latenza e determinare se occorre intervenire sulla configurazione dell'endpoint o sulle dimensioni delle immagini in ingresso.

In ogni caso, il monitoraggio aiuta i team a passare da «qualcosa è cambiato» a un passo successivo più consapevole.

Dati e requisiti di idoneità per il monitoraggio#

Il monitoraggio operativo, comprese le richieste, la latenza, gli errori, i controlli dello stato e i log, è disponibile nell'esperienza di distribuzione.

Le statistiche sulle predizioni in tempo reale e gli esempi temporanei richiedono un endpoint dedicato a pagamento, pronto e dotato di un runtime compatibile con il monitoraggio. Potrebbe essere necessario aggiornare gli endpoint meno recenti prima che la scheda Monitoring diventi disponibile.

Gli esempi e le statistiche delle predizioni vengono conservati nella memoria dell'istanza di serving. Possono essere eliminati quando un endpoint si arresta, si riavvia, viene ridistribuito, cambia risorse o sostituisce il modello. Salva in un dataset gli esempi che vuoi conservare prima di modificare l'endpoint.

Inizia a monitorare i tuoi modelli distribuiti#

Monitoring di Ultralytics Platform offre ai team la visibilità necessaria per gestire l'IA per la visione oltre la distribuzione. Riunendo metriche degli endpoint, log, controlli dello stato, informazioni sulle predizioni e feedback sui dataset in un unico flusso di lavoro, aiuta i team a individuare i problemi più rapidamente e a creare un percorso più chiaro verso sistemi di produzione affidabili.

Accedi a Ultralytics Platform, apri Deploy e seleziona un endpoint pronto per esaminarne lo stato e le prestazioni. Consulta la disponibilità delle funzionalità, le statistiche delle predizioni e i dettagli sulla conservazione dei dati nella documentazione di Monitoring.