Monitoraggio dei modelli di computer vision distribuiti sulla piattaforma Ultralytics

Testare modelli di computer vision che analizzano immagini e video non è sempre uguale a eseguirli in produzione. Durante lo sviluppo, tali modelli o algoritmi vengono testati su dataset puliti e ben preparati, dove le condizioni sono controllate e prevedibili.

Una volta distribuiti, le cose diventano più dinamiche. I modelli sono esposti al traffico del mondo reale, dove i volumi di richieste possono variare, i tempi di risposta possono cambiare e possono verificarsi guasti occasionali.

In questa fase, l'attenzione si sposta sulla capacità del sistema di funzionare in modo affidabile, con endpoint che rimangono disponibili, reattivi e stabili al variare delle condizioni.

Ecco perché il monitoraggio è essenziale. Fornisce una visione chiara di come gli endpoint distribuiti si comportano in produzione attraverso metriche come volume di richieste, latenza, tassi di errore e salute complessiva del sistema.

Per semplificare questo aspetto, disporre degli strumenti giusti diventa importante tanto quanto il modello stesso. Recentemente, Ultralytics ha introdotto la Piattaforma Ultralytics, il nostro nuovo ambiente end-to-end che riunisce l'intero flusso di lavoro di computer vision, dai dati e l'addestramento alla distribuzione e al monitoraggio.

Fig 1. Dashboard di distribuzione della Piattaforma Ultralytics con funzionalità di monitoraggio (Fonte)

Con il monitoraggio integrato direttamente in questo flusso di lavoro, puoi monitorare la salute degli endpoint, ispezionare il comportamento delle richieste e mantenere sistemi affidabili senza fare affidamento su strumenti separati. In questo articolo, esploreremo come utilizzare la Piattaforma Ultralytics per monitorare gli endpoint dei modelli distribuiti e mantenere i sistemi di produzione in esecuzione senza intoppi. Iniziamo!

Link to this sectionUna panoramica del monitoraggio dei modelli AI#

Nel ciclo di vita di un modello AI, il monitoraggio si riferisce all'osservazione del comportamento dei sistemi distribuiti una volta che un modello è attivo e serve richieste nel mondo reale. Mentre l'addestramento e la validazione mostrano come un modello di machine learning (modello ML) si comporta su dataset preparati, il monitoraggio si concentra su come l'endpoint distribuito opera in un ambiente di produzione.

Una parte cruciale del monitoraggio è il tracciamento delle metriche a livello di sistema che riflettono l'affidabilità e la reattività. Metriche come la latenza e l'uptime aiutano a indicare quanto bene il sistema stia gestendo le richieste in arrivo. La latenza misura quanto tempo occorre per elaborare una richiesta e restituire una risposta, mentre l'uptime evidenzia la coerenza con cui l'endpoint rimane disponibile.

Un altro aspetto chiave è l'osservabilità, che fornisce visibilità su come vengono gestite le richieste. Ogni volta che un input, come un'immagine o un fotogramma video, viene inviato a un modello distribuito, viene elaborato come una richiesta di inferenza.

I log catturano queste richieste insieme a dettagli come timestamp, tempi di risposta e codici di stato. Questi log rendono più semplice tracciare le richieste, eseguire il debug dei problemi e indagare sui guasti quando si verificano. Sono particolarmente utili per identificare modelli come errori ripetuti, risposte lente o comportamenti imprevisti del sistema.

Combinando metriche e log, il monitoraggio aiuta gli utenti a capire come operano i loro sistemi in produzione e a rispondere rapidamente ai problemi non appena si presentano.

Link to this sectionUno sguardo alle metriche delle prestazioni del modello rispetto alle metriche di sistema#

Prima di addentrarci nel monitoraggio della produzione, discutiamo la differenza tra metriche delle prestazioni del modello e metriche di sistema.

Tipicamente, il monitoraggio del modello è associato alle metriche di valutazione, note anche come metriche del modello, come accuratezza, precisione, recall e mAP (mean average precision). Queste metriche vengono utilizzate per descrivere il comportamento del modello e valutare la qualità delle sue previsioni, spesso in relazione ai dati di produzione o ai dati di input. Possono essere particolarmente utili per identificare casi limite o outlier in nuovi dati.

Tuttavia, questo è diverso dal monitoraggio di un sistema distribuito in produzione. In questo contesto, il monitoraggio si concentra su come il sistema sta funzionando piuttosto che sulla valutazione diretta delle previsioni del modello.

Invece delle metriche del modello, il monitoraggio della distribuzione si basa su segnali a livello di sistema come volume di richieste, latenza, tassi di errore e uptime. Queste metriche forniscono visibilità su come gli endpoint gestiscono i dati di input, con che costanza rispondono e come operano negli ambienti di produzione.

Link to this sectionIl ruolo del monitoraggio dei modelli nei progetti di computer vision#

Successivamente, diamo un'occhiata a un esempio reale che evidenzia la necessità di un sistema di monitoraggio nelle distribuzioni di computer vision.

Considera una soluzione di visione che utilizza la pose estimation, un'attività di computer vision utilizzata per identificare e analizzare i movimenti del corpo umano, per monitorare i lavoratori edili ai fini della sicurezza. Durante la distribuzione iniziale del modello, un sistema di questo tipo potrebbe funzionare bene in condizioni controllate con visibilità chiara e scenari standard.

Tuttavia, i cantieri edili reali introducono ulteriore complessità. I volumi di richieste possono variare durante il giorno, le condizioni di rete possono essere incoerenti e più telecamere o endpoint potrebbero inviare dati contemporaneamente. Questi fattori possono portare a risposte più lente o guasti occasionali se il sistema non è monitorato correttamente.

Fig 2. Pose estimation utilizzata per monitorare i lavoratori in un cantiere edile (Fonte)

In un ambiente di produzione come questo, diventa importante capire con quale affidabilità sta operando il sistema. Il monitoraggio fornisce visibilità sulla disponibilità degli endpoint, sulla velocità con cui rispondono alle richieste in arrivo e sulla costanza con cui gestiscono il traffico nel tempo.

Ad esempio, un aumento della latenza può indicare un carico maggiore o vincoli di risorse, mentre un aumento dei tassi di errore può indicare problemi con la gestione delle richieste o la stabilità del sistema. I log aggiungono ulteriore contesto mostrando come le singole richieste vengono elaborate e dove si verificano i guasti.

Tracciando questi segnali, gli appassionati di AI e i data scientist possono identificare i problemi precocemente, risolvere i problemi in modo più efficace e garantire che i propri sistemi continuino a funzionare in modo affidabile al variare delle condizioni reali.

Link to this sectionUtilizzare la Piattaforma Ultralytics per monitorare i modelli di visione distribuiti#

In molti flussi di lavoro di deep learning, il monitoraggio viene spesso gestito utilizzando strumenti separati per log, metriche e salute del sistema. Questa configurazione frammentata può rendere difficile ottenere una visione chiara di come gli endpoint distribuiti stiano operando in produzione e aggiunge complessità alla gestione delle distribuzioni.

La Piattaforma Ultralytics semplifica questo aspetto portando il monitoraggio direttamente in un ambiente unificato che copre l'intero flusso di lavoro di computer vision, dall'acquisizione e annotazione dei dati all'addestramento, alla distribuzione e al monitoraggio.

Con questa configurazione integrata, puoi tracciare come i tuoi endpoint distribuiti gestiscono il traffico reale senza dover configurare sistemi di log esterni o dashboard aggiuntive. Tutto è disponibile in un unico posto, rendendo più semplice osservare il comportamento del sistema e mantenere distribuzioni affidabili nel tempo.

Le funzionalità di monitoraggio sono accessibili direttamente dalla scheda Distribuisci. Da un'unica dashboard, puoi tracciare metriche chiave, analizzare il comportamento a livello di richiesta e visualizzare le tendenze. Queste visualizzazioni integrate rendono più semplice comprendere le prestazioni delle soluzioni senza dover passare da uno strumento all'altro.

Riunendo monitoraggio, distribuzione e gestione dei modelli all'interno del flusso di lavoro più ampio, la piattaforma riduce la complessità. Ciò rende più agevole concentrarsi sulla gestione delle distribuzioni, sull'ottimizzazione delle prestazioni del sistema e sul mantenimento dell'affidabilità.

Link to this sectionFunzionalità di monitoraggio integrate della Piattaforma Ultralytics#

Nelle distribuzioni reali, il monitoraggio dipende dall'avere una chiara visibilità su come i sistemi stanno funzionando al variare delle condizioni nel tempo. Va oltre il semplice tracciamento di alcune metriche e implica la comprensione del comportamento degli endpoint distribuiti in tutti gli ambienti e la gestione efficace di più distribuzioni.

Ispirata dal feedback della comunità di visione AI sulle comuni sfide di computer vision, la Piattaforma Ultralytics include diverse funzionalità che rendono il monitoraggio più pratico e scalabile.

Ecco una panoramica di alcune di queste caratteristiche chiave:

• Visibilità globale della distribuzione: La pagina Distribuisci include una mappa interattiva del mondo che visualizza le regioni di distribuzione con indicatori visivi per gli endpoint attivi e in corso, consentendo di monitorare la distribuzione geografica e l'attività regionale.
• Visualizzazioni dashboard flessibili: La dashboard delle distribuzioni fornisce diverse modalità di visualizzazione, tra cui vista a schede, griglia compatta e vista a tabella con colonne ordinabili come nome, regione, stato e richieste, supportando un monitoraggio e un confronto strutturati.
• Monitoraggio di più endpoint: La dashboard aggrega i dati di monitoraggio su tutte le distribuzioni utilizzando schede di riepilogo ed elenchi di distribuzione.
• Politiche di conservazione dei dati: I dati di monitoraggio vengono conservati per un periodo definito, con metriche disponibili per 30 giorni e log per 7 giorni, supportando i flussi di lavoro di analisi delle prestazioni recenti e di debug.
• Supporto per il monitoraggio esterno: Gli endpoint di distribuzione possono essere monitorati utilizzando strumenti esterni come Datadog, New Relic e servizi di monitoraggio dell'uptime, o accessibili tramite endpoint API per monitoraggio personalizzato e controlli di salute.

Successivamente, esamineremo alcune di queste funzionalità in modo più dettagliato e vedremo come possono essere utilizzate per monitorare gli endpoint distribuiti in produzione.

Link to this sectionCome tracciare le metriche chiave delle prestazioni utilizzando la Piattaforma Ultralytics#

Una volta distribuito un modello, il monitoraggio inizia con il tracciamento delle metriche di sistema chiave. Mentre metriche come accuratezza e recall sono utili durante lo sviluppo, il monitoraggio della produzione si concentra su segnali a livello di sistema come tempi di risposta e tassi di errore, che forniscono informazioni misurabili sull'affidabilità con cui gli endpoint gestiscono il traffico reale.

La Piattaforma Ultralytics fornisce una dashboard centralizzata che offre una visione chiara dell'attività dell'endpoint e del comportamento del sistema. In particolare, la dashboard Distribuzione include quattro metriche chiave che mostrano come vengono utilizzati gli endpoint e come rispondono alle richieste in arrivo.

Ecco uno sguardo più approfondito a queste metriche:

• Richieste totali: Il numero totale di richieste effettuate su tutti gli endpoint in un periodo di 24 ore. Questo aiuta a identificare i modelli di utilizzo e la domanda complessiva.
• Distribuzioni attive: Il numero di endpoint attualmente in esecuzione che servono le richieste.
• Latenza P95: Il tempo di risposta entro il quale viene completato il 95% delle richieste. Ciò fornisce una visione più realistica delle prestazioni tenendo conto delle risposte più lente.
• Tasso di errore: È la percentuale di richieste fallite rispetto al numero totale di richieste. Questa metrica aiuta a identificare i problemi e può essere utilizzata per rilevare anomalie.

In poche parole, queste metriche forniscono una visione chiara di come gli endpoint distribuiti operano in produzione. Analizzando i modelli di utilizzo, i team e gli individui possono comprendere la distribuzione del traffico, identificare i periodi di picco del carico e garantire che i sistemi rimangano reattivi e affidabili con la crescita dell'utilizzo.

Link to this sectionComprendere il comportamento della distribuzione del modello attraverso i log#

Mentre le metriche forniscono una visione di alto livello delle prestazioni del sistema, i log offrono uno sguardo più dettagliato su come gli endpoint distribuiti gestiscono le singole richieste. I log registrano ogni richiesta inviata a un endpoint insieme alla risposta corrispondente.

Sono utili per tracciare i problemi, ispezionare i guasti e comprendere come vengono elaborate le richieste. All'interno della Piattaforma Ultralytics, puoi selezionare qualsiasi distribuzione per visualizzarne i dettagli, inclusi i log.

Fig 3. Un esempio di log all'interno della Piattaforma Ultralytics (Fonte)

Una voce di log nella piattaforma viene visualizzata in un formato strutturato, rendendo più semplice capire cosa è successo durante ogni richiesta. Ogni voce include un livello di gravità, che indica l'importanza dell'evento, insieme a un timestamp che mostra quando si è verificato.

Contiene anche un messaggio che descrive l'evento e dettagli relativi a HTTP come codici di stato e latenza. Queste informazioni aiutano a tracciare le richieste, supportare la risoluzione dei problemi ed eseguire il debug in modo più efficace. Inoltre, i log sono raggruppati per gravità, così puoi dare priorità alle distribuzioni che necessitano di attenzione.

Link to this sectionAnalisi della salute e dell'affidabilità degli endpoint sulla Piattaforma Ultralytics#

Il monitoraggio implica anche comprendere la salute generale degli endpoint distribuiti, incluso se sono in esecuzione correttamente, se rispondono in tempo e se gestiscono costantemente le richieste senza errori. La Piattaforma Ultralytics fornisce una visione chiara dello stato di salute di ciascuna distribuzione, rendendo semplice verificare che gli endpoint stiano operando come previsto.

La piattaforma include indicatori visivi di salute per ogni distribuzione, visualizzati sulle singole schede di distribuzione.

Ad esempio, un indicatore verde mostra che l'endpoint è sano e risponde normalmente, mentre un indicatore rosso segnala problemi o tempi di inattività. Un'icona rotante indica che il sistema sta controllando attivamente lo stato della distribuzione.

Tracciando la salute degli endpoint nel tempo, diventa possibile rilevare i problemi precocemente, mantenere prestazioni costanti e garantire un'esperienza stabile per le applicazioni in esecuzione in produzione.

Link to this sectionIl legame tra dati di monitoraggio e miglioramento delle prestazioni#

Il monitoraggio del modello non riguarda solo il tracciamento delle metriche. Crea un ciclo di feedback che supporta il miglioramento continuo nel tempo. Man mano che gli endpoint gestiscono il traffico reale, iniziano a emergere modelli nelle metriche e nei log che possono rivelare problemi come una maggiore latenza, tassi di errore più elevati o un comportamento incoerente del sistema.

Il monitoraggio evidenzia le aree che necessitano di attenzione. Ad esempio, una latenza costantemente elevata può indicare la necessità di una migliore allocazione o scalabilità delle risorse, mentre un tasso di errore crescente può indicare problemi con la gestione delle richieste o la stabilità del sistema.

Una volta identificati questi problemi, è possibile adottare misure per migliorare l'affidabilità. Ciò potrebbe comportare la modifica dell'infrastruttura, il ridimensionamento delle risorse o la correzione di problemi nel modo in cui le richieste vengono elaborate. Dopo queste modifiche, i sistemi possono continuare a essere monitorati per confermare che le prestazioni siano migliorate.

Collegando il monitoraggio a miglioramenti continui, puoi mantenere sistemi robusti man mano che l'utilizzo cresce e le condizioni cambiano.

Link to this sectionEsplorare un esempio reale: monitoraggio della gestione dei bagagli nell'aviazione#

Per comprendere meglio l'impatto del monitoraggio in uno scenario reale, esploriamo come si applica all'automazione delle operazioni a terra in aeroporto.

Prendi un sistema di visione progettato per monitorare il carico e lo scarico dei bagagli durante le operazioni a terra degli aeromobili. In questa configurazione, un modello di rilevamento oggetti come Ultralytics YOLO26 può essere utilizzato per rilevare se i bagagli cadono dai nastri trasportatori o dalle attrezzature di movimentazione.

Durante i test e la distribuzione iniziale, il sistema in tempo reale potrebbe funzionare bene, identificando accuratamente i bagagli e rispondendo rapidamente.

In un ambiente aeroportuale attivo, tuttavia, le condizioni sono molto meno prevedibili. L'illuminazione cambia durante il giorno, più telecamere trasmettono dati contemporaneamente e i volumi di richieste aumentano durante i periodi di punta. Questi fattori possono causare un aumento della latenza o la comparsa di errori e, senza visibilità sul sistema, tali problemi possono facilmente passare inosservati.

È qui che il monitoraggio diventa prezioso. Tracciando metriche come volume di richieste, latenza e tassi di errore insieme a log dettagliati, i team possono vedere rapidamente quando un endpoint sta rallentando o fallendo. Se la latenza aumenta durante le ore di punta, potrebbe segnalare la necessità di scalare le risorse, mentre un improvviso aumento degli errori può indicare problemi con telecamere specifiche o con la gestione delle richieste. Agire su questi segnali aiuta a mantenere il sistema affidabile, in modo che la gestione dei bagagli possa continuare a essere monitorata accuratamente anche al variare delle condizioni.

Link to this sectionPunti chiave#

Il monitoraggio è ciò che mantiene i modelli di computer vision distribuiti affidabili una volta che lasciano le condizioni controllate dello sviluppo e iniziano a gestire il traffico reale. Concentrandosi su segnali a livello di sistema come volume di richieste, latenza, tassi di errore e uptime, insieme a log dettagliati, il monitoraggio fornisce la visibilità necessaria per rilevare i problemi precocemente e mantenere i sistemi di produzione in esecuzione senza intoppi.

Con il monitoraggio integrato direttamente nel flusso di lavoro di distribuzione, la Piattaforma Ultralytics rende più semplice tracciare la salute degli endpoint, ispezionare il comportamento delle richieste e mantenere sistemi affidabili senza fare affidamento su strumenti separati. Riunendo dati, addestramento, distribuzione e monitoraggio in un unico posto, la piattaforma aiuta i team a passare dalla sperimentazione a distribuzioni reali affidabili.

Unisciti alla nostra comunità in crescita ed esplora il nostro repository GitHub per saperne di più sulla visione AI. Per creare con la visione AI oggi stesso, dai un'occhiata alle nostre opzioni di licenza. Scopri come l'AI nella produzione e l'AI nell'assistenza sanitaria stanno plasmando il futuro visitando le nostre pagine delle soluzioni.