Monitoraggio dei modelli di computer vision distribuiti su Ultralytics Platform

Testare modelli di computer vision che analizzano immagini e video non è sempre la stessa cosa che eseguirli in produzione. Durante lo sviluppo, tali modelli o algoritmi vengono testati su dataset puliti e ben preparati, dove le condizioni sono controllate e prevedibili.

Una volta distribuiti, le cose diventano più dinamiche. I modelli sono esposti al traffico reale, dove i volumi delle richieste possono variare, i tempi di risposta possono cambiare e possono verificarsi errori occasionali.

In questa fase, l'attenzione si sposta sull'affidabilità del sistema, con endpoint che devono rimanere disponibili, reattivi e stabili in condizioni mutevoli.

Ecco perché il monitoraggio è essenziale. Fornisce una visione chiara di come si comportano gli endpoint distribuiti in produzione attraverso metriche come il volume delle richieste, la latenza, i tassi di errore e la salute generale del sistema.

Per semplificare tutto ciò, avere gli strumenti giusti diventa importante quanto il modello stesso. Recentemente, Ultralytics ha introdotto la Ultralytics Platform, il nostro nuovo ambiente end-to-end che unisce l'intero flusso di lavoro della computer vision, dai dati e l'addestramento fino alla distribuzione e al monitoraggio.

Fig 1. Dashboard di distribuzione della Ultralytics Platform con funzionalità di monitoraggio (Fonte)

Con il monitoraggio integrato direttamente in questo flusso di lavoro, puoi monitorare la salute degli endpoint, ispezionare il comportamento delle richieste e mantenere sistemi affidabili senza fare affidamento su strumenti separati. In questo articolo, esploreremo come utilizzare la Ultralytics Platform per monitorare gli endpoint dei modelli distribuiti e mantenere i sistemi di produzione in esecuzione senza problemi. Iniziamo!

Link to this sectionUna panoramica sul monitoraggio dei modelli di IA#

Nel ciclo di vita di un modello di IA, il monitoraggio si riferisce all'osservazione di come si comportano i sistemi distribuiti una volta che un modello è attivo e gestisce richieste del mondo reale. Mentre l'addestramento e la validazione mostrano come un modello di machine learning (modello ML) si comporta su dataset preparati, il monitoraggio si concentra su come l'endpoint distribuito opera in un ambiente di produzione.

Una parte cruciale del monitoraggio è il tracciamento delle metriche a livello di sistema che riflettono l'affidabilità e la reattività. Metriche come la latenza e l'uptime aiutano a indicare quanto bene il sistema stia gestendo le richieste in arrivo. La latenza misura quanto tempo occorre per elaborare una richiesta e restituire una risposta, mentre l'uptime evidenzia quanto costantemente l'endpoint rimanga disponibile.

Un altro aspetto chiave è l'osservabilità, che fornisce visibilità su come vengono gestite le richieste. Ogni volta che un input, come un'immagine o un fotogramma video, viene inviato a un modello distribuito, viene elaborato come richiesta di inferenza.

I log catturano queste richieste insieme a dettagli come timestamp, tempi di risposta e codici di stato. Questi log rendono più facile tracciare le richieste, eseguire il debug dei problemi e indagare sui fallimenti quando si verificano. Sono particolarmente utili per identificare modelli come errori ripetuti, risposte lente o comportamenti imprevisti del sistema.

Combinando metriche e log, il monitoraggio aiuta a capire come i propri sistemi stiano operando in produzione e a rispondere rapidamente ai problemi non appena si presentano.

Link to this sectionUno sguardo alle metriche di performance del modello rispetto alle metriche di sistema#

Prima di immergersi nel monitoraggio della produzione, discutiamo la differenza tra le metriche di performance del modello e le metriche di sistema.

Tipicamente, il monitoraggio del modello è associato alle metriche di valutazione, note anche come metriche del modello, come accuratezza, precisione, recall e mAP (mean average precision). Queste metriche vengono utilizzate per descrivere il comportamento del modello e valutare la qualità delle previsioni del modello, spesso in relazione ai dati di produzione o ai dati di input. Possono essere particolarmente utili per identificare casi limite o outlier nei nuovi dati.

Tuttavia, questo è diverso dal monitoraggio di un sistema distribuito in produzione. In questo contesto, il monitoraggio si concentra su come il sistema stia funzionando piuttosto che sulla valutazione diretta delle previsioni del modello.

Invece delle metriche del modello, il monitoraggio della distribuzione si basa su segnali a livello di sistema come volume delle richieste, latenza, tassi di errore e uptime. Queste metriche forniscono visibilità su come gli endpoint gestiscono i dati di input, quanto costantemente rispondono e come operano negli ambienti di produzione.

Link to this sectionIl ruolo del monitoraggio dei modelli nei progetti di computer vision#

Successivamente, diamo un'occhiata a un esempio reale che evidenzia la necessità di un sistema di monitoraggio nelle distribuzioni di computer vision.

Considera una soluzione di visione che utilizza la stima della posa, un compito di computer vision utilizzato per identificare e analizzare i movimenti del corpo umano, per monitorare i lavoratori edili ai fini della conformità alla sicurezza. Durante la distribuzione iniziale del modello, tale sistema potrebbe funzionare bene in condizioni controllate con visibilità chiara e scenari standard.

Tuttavia, i cantieri reali introducono ulteriore complessità. I volumi delle richieste possono variare durante il giorno, le condizioni di rete possono essere incoerenti e più telecamere o endpoint potrebbero inviare dati contemporaneamente. Questi fattori possono portare a risposte più lente o guasti occasionali se il sistema non viene monitorato correttamente.

Fig 2. Stima della posa utilizzata per monitorare i lavoratori in un cantiere edile (Fonte)

In un ambiente di produzione come questo, diventa importante capire quanto affidabilmente operi il sistema. Il monitoraggio fornisce visibilità sull'effettiva disponibilità degli endpoint, sulla loro velocità di risposta alle richieste in entrata e sulla costanza nella gestione del traffico nel tempo.

Ad esempio, un aumento della latenza può indicare un carico maggiore o vincoli di risorse, mentre un aumento dei tassi di errore può indicare problemi con la gestione delle richieste o la stabilità del sistema. I log aggiungono ulteriore contesto mostrando come vengono elaborate le singole richieste e dove si verificano i guasti.

Tracciando questi segnali, gli appassionati di IA e i data scientist possono identificare i problemi precocemente, risolvere i problemi in modo più efficace e garantire che i propri sistemi continuino a funzionare in modo affidabile al variare delle condizioni reali.

Link to this sectionUtilizzare la Ultralytics Platform per monitorare i modelli di visione distribuiti#

In molti flussi di lavoro di deep learning, il monitoraggio viene spesso gestito utilizzando strumenti separati per logging, metriche e salute del sistema. Questa configurazione frammentata può rendere difficile ottenere una visione chiara di come gli endpoint distribuiti stiano operando in produzione e aggiunge complessità alla gestione delle distribuzioni.

La Ultralytics Platform semplifica tutto ciò portando il monitoraggio direttamente in un ambiente unificato che copre l'intero flusso di lavoro della computer vision, dall'acquisizione dei dati e l'annotazione fino all'addestramento, la distribuzione e il monitoraggio.

Con questa configurazione integrata, puoi tracciare come i tuoi endpoint distribuiti gestiscono il traffico reale senza dover configurare sistemi di logging esterni o dashboard aggiuntive. Tutto è disponibile in un unico posto, rendendo più semplice osservare il comportamento del sistema e mantenere distribuzioni affidabili nel tempo.

Le funzionalità di monitoraggio sono accessibili direttamente dalla scheda Deploy. Da un'unica dashboard, puoi tracciare le metriche chiave, analizzare il comportamento a livello di richiesta e visualizzare le tendenze. Queste visualizzazioni integrate rendono più facile capire come le soluzioni stiano performando senza dover passare da uno strumento all'altro.

Unendo monitoraggio, distribuzione e gestione dei modelli all'interno di un flusso di lavoro più ampio, la piattaforma riduce la complessità. Questo rende più fluido concentrarsi sulla gestione delle distribuzioni, sull'ottimizzazione delle prestazioni del sistema e sul mantenimento dell'affidabilità.

Link to this sectionFunzionalità di monitoraggio integrate della Ultralytics Platform#

Nelle distribuzioni reali, il monitoraggio dipende dall'avere una chiara visibilità su come i sistemi stiano funzionando al cambiare delle condizioni nel tempo. Va oltre il semplice tracciamento di poche metriche e implica la comprensione di come gli endpoint distribuiti si comportino tra gli ambienti e la gestione efficace di distribuzioni multiple.

Ispirata dal feedback della comunità di vision AI sulle sfide comuni della computer vision, la Ultralytics Platform include diverse capacità che rendono il monitoraggio più pratico e scalabile.

Ecco una panoramica di alcune di queste funzionalità chiave:

• Visibilità globale della distribuzione: La pagina Deploy include una mappa mondiale interattiva che visualizza le regioni di distribuzione con indicatori visivi per gli endpoint attivi e in corso, consentendo di monitorare la distribuzione geografica e l'attività regionale.
• Viste dashboard flessibili: La dashboard delle distribuzioni fornisce molteplici modalità di visualizzazione, inclusa la vista a schede, griglia compatta e vista tabella con colonne ordinabili come nome, regione, stato e richieste, supportando un monitoraggio e un confronto strutturati.
• Monitoraggio di endpoint multipli: La dashboard aggrega i dati di monitoraggio su tutte le distribuzioni utilizzando schede di riepilogo ed elenchi di distribuzione.
• Policy di conservazione dei dati: I dati di monitoraggio vengono conservati per un periodo definito, con metriche disponibili per 30 giorni e log per 7 giorni, supportando i flussi di lavoro di analisi delle prestazioni recenti e di debug.
• Supporto per monitoraggio esterno: Gli endpoint di distribuzione possono essere monitorati utilizzando strumenti esterni come Datadog, New Relic e servizi di monitoraggio dell'uptime, oppure accessibili tramite endpoint API per monitoraggio personalizzato e controlli di salute.

Successivamente, approfondiremo alcune di queste funzionalità e vedremo come possono essere utilizzate per monitorare gli endpoint distribuiti in produzione.

Link to this sectionCome tracciare le metriche di performance chiave utilizzando la Ultralytics Platform#

Una volta distribuito un modello, il monitoraggio inizia con il tracciamento delle metriche di sistema chiave. Mentre metriche come accuratezza e recall sono utili durante lo sviluppo, il monitoraggio della produzione si concentra su segnali a livello di sistema come tempo di risposta e tassi di errore, che forniscono approfondimenti misurabili su quanto affidabilmente gli endpoint stiano gestendo il traffico reale.

La Ultralytics Platform fornisce una dashboard centralizzata che offre una visione chiara dell'attività degli endpoint e del comportamento del sistema. In particolare, la dashboard Deployment include quattro metriche chiave che mostrano come vengono utilizzati gli endpoint e come rispondono alle richieste in arrivo.

Ecco uno sguardo più da vicino a queste metriche:

• Richieste totali: Il numero totale di richieste effettuate su tutti gli endpoint in un periodo di 24 ore. Questo aiuta a identificare modelli di utilizzo e la domanda complessiva.
• Distribuzioni attive: Il numero di endpoint attualmente in esecuzione che gestiscono le richieste.
• Latenza P95: Il tempo di risposta entro cui viene completato il 95% delle richieste. Ciò fornisce una visione più realistica delle prestazioni tenendo conto delle risposte più lente.
• Tasso di errore: È la percentuale di richieste fallite rispetto al numero totale di richieste. Questa metrica aiuta a identificare i problemi e può essere utilizzata per rilevare anomalie.

In parole povere, queste metriche forniscono una visione chiara di come operano gli endpoint distribuiti in produzione. Analizzando i modelli di utilizzo, team e singoli possono comprendere la distribuzione del traffico, identificare i periodi di carico di picco e garantire che i sistemi rimangano reattivi e affidabili man mano che l'utilizzo cresce.

Link to this sectionComprendere il comportamento di distribuzione del modello attraverso i log#

Mentre le metriche forniscono una visione ad alto livello delle performance del sistema, i log offrono uno sguardo più dettagliato su come gli endpoint distribuiti gestiscono le singole richieste. I log registrano ogni richiesta inviata a un endpoint insieme alla risposta corrispondente.

Sono utili per tracciare i problemi, ispezionare i guasti e capire come vengono elaborate le richieste. All'interno della Ultralytics Platform, puoi selezionare qualsiasi distribuzione per visualizzarne i dettagli, inclusi i log.

Fig 3. Un esempio di log all'interno della Ultralytics Platform (Fonte)

Una voce di log nella piattaforma viene visualizzata in un formato strutturato, rendendo più facile capire cosa sia successo durante ogni richiesta. Ogni voce include un livello di severità, che indica l'importanza dell'evento, insieme a un timestamp che mostra quando si è verificato.

Contiene anche un messaggio che descrive l'evento e dettagli relativi all'HTTP come codici di stato e latenza. Queste informazioni aiutano a tracciare le richieste, supportare la risoluzione dei problemi ed eseguire il debug in modo più efficace. Inoltre, i log sono raggruppati per severità, così puoi dare priorità alle distribuzioni che necessitano di attenzione.

Link to this sectionAnalizzare la salute e l'affidabilità degli endpoint sulla Ultralytics Platform#

Il monitoraggio implica anche comprendere la salute generale degli endpoint distribuiti, incluso se stiano funzionando correttamente, rispondendo in tempo e gestendo costantemente le richieste senza errori. La Ultralytics Platform fornisce una visione chiara dello stato di salute di ciascuna distribuzione, rendendo semplice verificare che gli endpoint stiano operando come previsto.

La piattaforma include indicatori visivi di salute per ogni distribuzione, visualizzati sulle schede di distribuzione individuali.

Ad esempio, un indicatore verde mostra che l'endpoint è sano e risponde normalmente, mentre un indicatore rosso segnala problemi o tempi di inattività. Un'icona rotante indica che il sistema sta controllando attivamente lo stato della distribuzione.

Tracciando la salute degli endpoint nel tempo, diventa possibile rilevare i problemi precocemente, mantenere prestazioni coerenti e garantire un'esperienza stabile per le applicazioni in esecuzione in produzione.

Link to this sectionIl legame tra dati di monitoraggio e miglioramento delle prestazioni#

Il monitoraggio del modello non riguarda solo il tracciamento delle metriche. Crea un ciclo di feedback che supporta il miglioramento continuo nel tempo. Man mano che gli endpoint gestiscono il traffico reale, iniziano ad emergere modelli nelle metriche e nei log che possono rivelare problemi come una maggiore latenza, tassi di errore più elevati o un comportamento incoerente del sistema.

Il monitoraggio evidenzia le aree che necessitano di attenzione. Ad esempio, una latenza costantemente elevata può indicare la necessità di una migliore allocazione o scalabilità delle risorse, mentre un tasso di errore in aumento può indicare problemi con la gestione delle richieste o la stabilità del sistema.

Una volta identificati questi problemi, è possibile intraprendere azioni per migliorare l'affidabilità. Ciò potrebbe comportare l'adeguamento dell'infrastruttura, il ridimensionamento delle risorse o la risoluzione di problemi nel modo in cui le richieste vengono elaborate. Dopo questi cambiamenti, i sistemi possono continuare a essere monitorati per confermare che le prestazioni siano migliorate.

Collegando il monitoraggio con miglioramenti continui, puoi mantenere sistemi robusti man mano che l'utilizzo cresce e le condizioni cambiano.

Link to this sectionEsplorare un esempio reale: Monitorare la gestione dei bagagli nell'aviazione#

Per comprendere meglio l'impatto del monitoraggio in uno scenario reale, esploriamo come si applica all'automazione delle operazioni di terra aeroportuali.

Prendi un sistema di visione progettato per monitorare il carico e lo scarico dei bagagli durante le operazioni di terra degli aerei. In questa configurazione, un modello di rilevamento oggetti come Ultralytics YOLO26 può essere utilizzato per rilevare se i bagagli cadono dai nastri trasportatori o dalle attrezzature di movimentazione.

Durante i test e la distribuzione iniziale, il sistema in tempo reale potrebbe funzionare bene, identificando accuratamente i bagagli e rispondendo rapidamente.

In un ambiente aeroportuale vivo, però, le condizioni sono molto meno prevedibili. L'illuminazione cambia durante il giorno, più telecamere trasmettono dati contemporaneamente e i volumi delle richieste aumentano durante i periodi di punta. Questi fattori possono causare l'aumento della latenza o la comparsa di errori e, senza visibilità sul sistema, tali problemi possono facilmente passare inosservati.

È qui che il monitoraggio diventa prezioso. Tracciando metriche come volume delle richieste, latenza e tassi di errore insieme a log dettagliati, i team possono vedere rapidamente quando un endpoint sta rallentando o fallendo. Se la latenza sale durante le ore di punta, potrebbe segnalare la necessità di scalare le risorse, mentre un improvviso aumento degli errori può indicare problemi con telecamere specifiche o con la gestione delle richieste. Agire su questi segnali aiuta a mantenere il sistema affidabile, in modo che la gestione dei bagagli possa continuare a essere monitorata accuratamente anche al variare delle condizioni.

Link to this sectionPunti chiave#

Il monitoraggio è ciò che mantiene affidabili i modelli di computer vision distribuiti una volta che lasciano le condizioni controllate dello sviluppo e iniziano a gestire il traffico reale. Concentrandosi su segnali a livello di sistema come volume delle richieste, latenza, tassi di errore e uptime, insieme a log dettagliati, il monitoraggio fornisce la visibilità necessaria per rilevare i problemi precocemente e mantenere i sistemi di produzione in funzione senza problemi.

Con il monitoraggio integrato direttamente nel flusso di lavoro di distribuzione, la Ultralytics Platform rende più semplice tracciare la salute degli endpoint, ispezionare il comportamento delle richieste e mantenere sistemi affidabili senza fare affidamento su strumenti separati. Portando dati, addestramento, distribuzione e monitoraggio in un unico posto, la piattaforma aiuta i team a passare dalla sperimentazione a distribuzioni reali affidabili.

Unisciti alla nostra community in crescita ed esplora il nostro repository GitHub per saperne di più sulla vision AI. Per iniziare a creare con la vision AI oggi stesso, dai un'occhiata alle nostre opzioni di licenza. Scopri come l'AI nella produzione e l'AI nell'assistenza sanitaria stanno plasmando il futuro visitando le nostre pagine dedicate alle soluzioni.