Monitoraggio con Ultralytics Platform: mantieni le distribuzioni di visione IA sulla giusta strada

Distribuire un modello di computer vision è un traguardo importante, ma il successo in produzione dipende da ciò che accade dopo. Con la crescita del traffico e il cambiamento delle condizioni nel mondo reale, i team devono sapere se gli endpoint rimangono reattivi, affidabili e utili.

Il monitoraggio in Ultralytics Platform offre ai team visibilità sui modelli Ultralytics YOLO distribuiti dallo stesso ambiente utilizzato per gestire dati, addestramento e distribuzione. Tieni traccia della salute operativa, ispeziona le tendenze delle predizioni, risolvi i problemi e trasforma utili esempi di produzione in dati per futuri miglioramenti del modello.

Cos'è il monitoraggio dei modelli di visione AI?#

Il monitoraggio dei modelli di visione AI aiuta i team a comprendere come si comportano in produzione gli endpoint distribuiti e le relative predizioni.

Ultralytics Platform affronta due importanti domande:

• L'endpoint sta operando in modo affidabile? Tieni traccia di richieste, latenza P95, tassi di errore, stato di salute e log.
• Cosa sta vedendo e predicendo il modello? Ispeziona predizioni campione e statistiche come conteggi delle classi, confidenza, tempo di inferenza e posizioni delle predizioni ove supportato.

Insieme, queste intuizioni forniscono un quadro più chiaro rispetto alla sola disponibilità dell'endpoint. Un endpoint può rimanere online mentre i pattern di traffico, i tempi di risposta o le distribuzioni delle predizioni cambiano. Il monitoraggio rende quei segnali più facili da investigare.

Comprendi la salute della distribuzione a colpo d'occhio#

La pagina Deploy funge da dashboard di monitoraggio centrale per i tuoi endpoint. Le schede panoramiche riassumono richieste HTTP, distribuzioni attive, tassi di errore e latenza P95 nelle 24 ore precedenti.

Con queste metriche, i team possono:

• Comprendere la domanda: Scopri se il traffico dell'endpoint sta aumentando, diminuendo o cambiando inaspettatamente.
• Identificare i problemi di prestazioni: Usa la latenza P95 per investigare risposte più lente che potrebbero influenzare un'applicazione.
• Rilevare i guasti: Individua tassi di errore HTTP elevati e usa i log di distribuzione per diagnosticare la causa.
• Controllare la disponibilità: Conferma se i singoli endpoint sono sani e rispondono.
• Confrontare le distribuzioni: Rivedi gli endpoint tramite viste a scheda, compatte o in tabella ordinabile.

La scheda del tasso di errore viene evidenziata quando il tasso supera il 5%, aiutando i problemi operativi a risaltare senza richiedere ai team di ispezionare ogni endpoint individualmente.

Risolvi i problemi più velocemente con controlli di salute e log#

Quando un endpoint sperimenta problemi, i team hanno bisogno di più di una metrica di alto livello. Ogni distribuzione pronta include un indicatore di salute e l'accesso ai log recenti.

I controlli di salute mostrano se un endpoint sta rispondendo e riportano la sua latenza di risposta. Possono anche aiutare a riscaldare un endpoint che è stato ridotto a zero prima che venga inviato il traffico di produzione.

I log forniscono ulteriore contesto attraverso timestamp, livelli di gravità, messaggi e dettagli HTTP. Questo aiuta i team a investigare richieste fallite, risposte inaspettate o cambiamenti di prestazioni senza passare immediatamente a un'interfaccia di log separata.

Collegando metriche, controlli di salute e log a ciascuna distribuzione, Ultralytics Platform crea un percorso più diretto dall'identificazione di un problema alla sua comprensione.

Ispeziona il comportamento delle predizioni in tempo reale#

Endpoint dedicati a pagamento, fatturati in base all'uptime e che eseguono un runtime capace di monitoraggio forniscono una scheda Monitoring aggiuntiva con esempi temporanei e statistiche di predizione.

La galleria di esempi temporanei presenta un campione scorrevole di immagini elaborate con sovrapposizioni di predizione. I team possono usare questi esempi per controllare rapidamente ciò che un modello sta vedendo, ispezionare i suoi output e identificare input che meritano un'ulteriore revisione.

Le statistiche di predizione disponibili dipendono dal task del modello e possono includere:

• Immagini elaborate e predizioni nel tempo
• Tempo medio di inferenza del modello
• Classi predette frequentemente
• Predizioni per immagine
• Confidenza della predizione e tendenze di confidenza
• Dimensioni della predizione
• Mappe di calore spaziali delle posizioni delle predizioni

Questi segnali possono rivelare cambiamenti che vale la pena investigare, come una confidenza in calo, uno spostamento inaspettato nella distribuzione delle classi o predizioni che compaiono in parti inusuali di un'immagine.

La confidenza indica la certezza del modello, non la correttezza. I team dovrebbero ispezionare gli esempi e confrontare le predizioni con le etichette revisionate quando valutano l'accuratezza del modello.

Traduci gli esempi di produzione in dati di addestramento migliori#

Il monitoraggio diventa più prezioso quando le intuizioni di produzione possono informare il ciclo di sviluppo successivo.

Se un esempio rivela una condizione difficile, un oggetto inusuale o un potenziale divario di copertura, i membri dello spazio di lavoro con i permessi appropriati possono salvarlo direttamente in un dataset compatibile. L'immagine e le sue predizioni passano quindi attraverso il flusso di lavoro di ingestione standard del dataset, dove le etichette possono essere revisionate prima che i dati vengano usati per l'addestramento.

Questo crea un ciclo di miglioramento connesso:

1. Addestra un modello Ultralytics YOLO usando il tuo dataset.
2. Distribuisci il modello su un endpoint dedicato.
3. Monitora la salute dell'endpoint e il comportamento delle predizioni.
4. Ispeziona esempi di produzione utili o problematici.
5. Salva e revisiona gli esempi selezionati in un dataset.
6. Riaddestra e ridistribuisci usando dati informati dalle condizioni del mondo reale.

Invece di lasciare le osservazioni di produzione isolate in un altro sistema, i team possono connetterle ai dataset e ai modelli già gestiti in Ultralytics Platform.

Costruito per la visibilità operativa senza complessità aggiuntiva#

I flussi di lavoro di computer vision in produzione spesso coinvolgono sistemi separati per distribuzione, metriche, log, ispezione del modello e gestione dei dati. Spostarsi tra quei sistemi può rallentare l'investigazione e rendere più difficile connettere il comportamento del modello con futuri miglioramenti.

Ultralytics Platform unisce queste fasi. I team possono passare dall'addestramento alla distribuzione, revisionare la salute dell'endpoint, ispezionare le predizioni campionate e salvare esempi utili senza ricostruire il contesto attraverso molteplici strumenti.

Ad esempio, un team di produzione potrebbe ispezionare se le predizioni di difetti stanno comparendo nelle aree previste di un'immagine. Un team di logistica potrebbe revisionare i cambiamenti nelle classi frequentemente rilevate man mano che le condizioni operative evolvono. Un team retail potrebbe investigare un aumento della latenza e determinare se la configurazione dell'endpoint o la dimensione dell'immagine in arrivo necessita di attenzione.

In ogni caso, il monitoraggio aiuta i team a passare da "qualcosa è cambiato" a un passo successivo più informato.

Dati di monitoraggio ed idoneità#

Il monitoraggio operativo, incluse richieste, latenza, errori, controlli di salute e log, è disponibile dall'esperienza di distribuzione.

Le statistiche di predizione in tempo reale e gli esempi temporanei richiedono un endpoint dedicato pronto, a pagamento e con un runtime capace di monitoraggio. I endpoint più vecchi potrebbero dover essere aggiornati prima che la scheda Monitoring diventi disponibile.

Gli esempi di predizione e le statistiche sono conservati nella memoria dell'istanza di serving. Possono essere cancellati quando un endpoint si ferma, si riavvia, si ridistribuisce, cambia risorse o sostituisce il suo modello. Salva qualsiasi esempio che desideri conservare in un dataset prima di cambiare l'endpoint.

Inizia a monitorare i tuoi modelli distribuiti#

Ultralytics Platform Monitoring offre ai team la visibilità necessaria per gestire la visione AI oltre la distribuzione. Portando metriche degli endpoint, log, controlli di salute, intuizioni di predizione e feedback dei dataset in un unico flusso di lavoro, aiuta i team a identificare i problemi più velocemente e a costruire un percorso più chiaro verso sistemi di produzione affidabili.

Accedi a Ultralytics Platform, apri Deploy e seleziona un endpoint pronto per revisionare la sua salute e le sue prestazioni. Esplora la disponibilità delle funzionalità, le statistiche di predizione e i dettagli di conservazione dei dati nella documentazione di monitoraggio.