Ultralytics Platform: distribuzione dei modelli di computer vision in qualsiasi area geografica

All'inizio di questa settimana, Ultralytics ha lanciato Ultralytics Platform, un nuovo ambiente end-to-end progettato per rendere più veloce la messa in produzione dei sistemi di visione artificiale (CV), ottimizzando ogni fase del flusso di lavoro dell'AI per la visione, dalla preparazione dei dati e dallo sviluppo dei modelli fino alla distribuzione.

Una delle motivazioni principali alla base dello sviluppo di Ultralytics Platform è che portare una soluzione di visione artificiale, che consente alle macchine di analizzare immagini e video, dall'idea alla realizzazione di un impatto concreto richiede più della semplice creazione di un modello efficace. Una volta addestrato e convalidato, un modello deve essere distribuito affinché le applicazioni possano inviare immagini, ricevere previsioni ed eseguire l'inferenza in modo affidabile in ambienti reali.

È in questa fase del ciclo di vita del machine learning che i modelli di visione artificiale vanno oltre la sperimentazione e iniziano ad alimentare sistemi pratici. Anche se le fasi precedenti, come la preparazione del dataset, l'annotazione, l'addestramento del modello e i test, procedono senza problemi, senza un modo affidabile per distribuire i modelli quei risultati non possono fare la differenza.

La realtà di molti progetti di visione artificiale è che la distribuzione può essere una delle fasi più complesse del flusso di lavoro.

Spesso i team devono configurare le API di inferenza, gestire le risorse di calcolo, distribuire i modelli vicino agli utenti per ridurre la latenza e monitorare le prestazioni una volta che i sistemi sono in esecuzione in produzione.

Ultralytics Platform semplifica e automatizza questo processo offrendo diverse opzioni di distribuzione, tra cui formati di esportazione dei modelli, servizi di inferenza condivisi ed endpoint dedicati in regioni di tutto il mondo. Grazie all'infrastruttura gestita e al monitoraggio integrato, i team possono passare facilmente dai modelli addestrati a sistemi di visione artificiale pronti per la produzione.

Fig. 1. Uno sguardo alla distribuzione dei modelli tramite Ultralytics Platform (Fonte)

In questo articolo vedremo come distribuire modelli di visione artificiale in qualsiasi regione usando endpoint dedicati su Ultralytics Platform. Iniziamo!

Che cos'è la distribuzione di un modello di CV?#

Prima di vedere come distribuire modelli di deep learning usando Ultralytics Platform, cerchiamo di capire meglio che cosa significa concretamente distribuire un modello di visione artificiale.

La distribuzione di un modello di visione artificiale è il processo che consiste nel prendere un modello addestrato e renderlo disponibile per l'uso nel mondo reale. Invece di essere eseguito solo in un ambiente di addestramento, il modello viene configurato in modo che le applicazioni possano inviargli immagini o video e ricevere in cambio delle previsioni.

Ad esempio, un modello può rilevare oggetti in un'immagine, eseguire la segmentazione delle immagini, identificare articoli in un magazzino o riconoscere schemi nelle riprese video. Nella maggior parte dei sistemi reali, ciò avviene tramite un'API o un endpoint di inferenza.

Un'applicazione invia un'immagine al modello, il modello la elabora e restituisce una previsione in pochi millisecondi. È questo che consente a modelli di visione artificiale come Ultralytics YOLO di abilitare applicazioni in tempo reale.

I modelli possono essere distribuiti in ambienti diversi a seconda del caso d'uso. Alcuni vengono eseguiti nel cloud (tramite piattaforme cloud) e possono essere utilizzati da molte applicazioni, mentre altri vengono eseguiti su dispositivi edge, come telecamere on-premise, robot o sistemi embedded che richiedono previsioni locali rapide.

Opzioni di distribuzione dei modelli di AI su Ultralytics Platform#

Sebbene Ultralytics Platform affronti molte delle sfide della community della visione artificiale, soprattutto per quanto riguarda la distribuzione dei modelli, offre modalità flessibili per eseguire l'inferenza in base alle esigenze della tua applicazione.

Ecco una rapida panoramica delle opzioni di distribuzione dei modelli disponibili sulla piattaforma:

• Esportazione dei modelli: puoi esportare i modelli in 17 formati diversi, tra cui ONNX, TensorRT, CoreML e TFLite, rendendo possibile l'esecuzione dei modelli in un'ampia gamma di ambienti, come dispositivi edge quali Raspberry Pi e NVIDIA Jetson, app mobili, container Docker e infrastrutture personalizzate.
• Inferenza condivisa: la piattaforma ti consente di eseguire previsioni tramite un servizio di inferenza condiviso e gestito, ideale per testare rapidamente i modelli.
• Endpoint dedicati: distribuisci facilmente i modelli come servizi indipendenti con URL API univoci, eseguibili in 43 regioni globali, con auto-scaling, monitoraggio e controlli dello stato integrati per le distribuzioni in produzione.

Distribuzione tramite endpoint dedicati#

Uno dei modi più scalabili per eseguire in produzione, su Ultralytics Platform, modelli preaddestrati o modelli di visione artificiale addestrati in modo personalizzato consiste nell'utilizzare endpoint dedicati. Un endpoint dedicato ti consente di distribuire un modello addestrato come servizio autonomo, in modo che le applicazioni possano inviargli immagini e ricevere previsioni tramite un'API.

Invece di eseguire un modello solo in un ambiente di addestramento o in un notebook locale, distribuirlo come endpoint lo rende accessibile alle applicazioni reali. Ad esempio, un sistema di magazzino potrebbe inviare immagini di pacchi per il rilevamento degli oggetti, una telecamera intelligente potrebbe analizzare fotogrammi video oppure un sistema robotico potrebbe usare le previsioni per guidare le proprie azioni.

Ogni endpoint dedicato viene eseguito come servizio single-tenant, il che significa che l'infrastruttura che esegue il tuo modello non è condivisa con altri utenti. Questo garantisce prestazioni più prevedibili e semplifica il monitoraggio del comportamento del modello in produzione.

Capire il funzionamento degli endpoint di inferenza dedicati#

Puoi considerare un endpoint dedicato come un servizio ospitato per il tuo modello. Ultralytics Platform fornisce un URL endpoint univoco che funge da punto di ingresso per le applicazioni.

Quando un'applicazione invia una richiesta a quell'URL, include un'immagine e parametri facoltativi, come le soglie di confidenza o le dimensioni dell'immagine, insieme a una chiave API per l'autenticazione.

Il servizio esegue l'inferenza sull'immagine usando il tuo modello e restituisce le previsioni in una risposta strutturata. Questa configurazione consente agli sviluppatori di integrare modelli di visione artificiale in sistemi reali usando strumenti web standard.

Le applicazioni possono inviare richieste usando Python, JavaScript, cURL o altri client HTTP, semplificando il collegamento dei modelli a dashboard, sistemi robotici o applicazioni cloud. Poiché l'endpoint viene eseguito in modo indipendente, può inoltre supportare lo scaling, il monitoraggio e la distribuzione globale, aiutando i team a creare sistemi di visione artificiale affidabili per la produzione.

La distribuzione in più regioni migliora l'inferenza in tempo reale#

Un vantaggio fondamentale degli endpoint dedicati su Ultralytics Platform è la possibilità di distribuire i modelli in 43 regioni globali. Queste regioni coprono diverse aree del mondo, tra cui Nord America, Sud America, Europa, Asia-Pacifico e Medio Oriente e Africa.

Fig. 2. Ultralytics Platform supporta 43 regioni globali (Fonte)

Distribuire i modelli in regioni più vicine al luogo in cui vengono eseguite le applicazioni aiuta a ridurre la latenza, ovvero il tempo necessario a un'applicazione per inviare un'immagine e ricevere una previsione. Può inoltre aiutare le organizzazioni a soddisfare i requisiti di privacy e residenza dei dati, mantenendo l'elaborazione dei dati più vicina al luogo da cui provengono.

La bassa latenza è importante per molte applicazioni di visione artificiale che si basano sull'inferenza in tempo reale, come i sistemi robotici, i dispositivi dell'Internet delle cose (IoT), le pipeline di ispezione industriale e le infrastrutture delle smart city.

Ad esempio, se un'applicazione viene utilizzata principalmente in Europa, distribuire il modello in una regione europea può migliorare significativamente i tempi di risposta rispetto all'esecuzione del modello in una regione distante.

Come distribuire in qualsiasi regione con Ultralytics Platform#

Distribuire un modello in una regione specifica è semplice e di solito richiede solo un paio di minuti. La piattaforma gestisce la configurazione dell'infrastruttura, così gli sviluppatori possono concentrarsi sull'integrazione del modello nelle loro applicazioni. Vediamo insieme i passaggi necessari.

Passaggio 1: addestra o carica un modello#

Prima di procedere alla distribuzione, devi avere a disposizione un modello addestrato nel tuo progetto. Può trattarsi di un modello addestrato direttamente su Ultralytics Platform, di un modello caricato dopo essere stato addestrato altrove oppure di un modello clonato da un progetto della community trovato nella “scheda Esplora”, dove puoi copiare con un solo clic nel tuo account i progetti pubblici condivisi da altri utenti.

Quando il modello è pronto, apri la relativa pagina del modello all'interno del tuo progetto per procedere.

Passaggio 2: apri la scheda Deploy#

Vai alla scheda Deploy del modello. Questa sezione della piattaforma ti consente di configurare e avviare le distribuzioni.

In quella pagina vedrai una tabella delle regioni e una mappa interattiva che mostra le posizioni disponibili per la distribuzione in tutto il mondo. La piattaforma misura la latenza dalla tua posizione e ordina le regioni di conseguenza, aiutandoti a scegliere quella più adatta.

Fig. 3. Regioni ordinate per latenza su Ultralytics Platform (Fonte)

Passaggio 3: scegli una regione di distribuzione#

Seleziona una regione in base al luogo in cui si trovano i tuoi utenti o le tue applicazioni. Distribuire il modello più vicino all'origine delle richieste può ridurre significativamente i tempi di risposta.

Passaggio 4: distribuisci l'endpoint#

Dopo aver selezionato la regione e confermato la configurazione, puoi fare clic su Deploy.

La piattaforma prepara quindi l'ambiente di distribuzione, recupera l'immagine del modello, avvia il servizio ed esegue un controllo dello stato per assicurarsi che l'endpoint sia pronto. Questo processo richiede in genere da uno a due minuti.

Una volta completata la distribuzione, la piattaforma genera un URL endpoint univoco che le applicazioni possono usare per inviare richieste di inferenza.

Fig. 4. Esempio di endpoint distribuito (Fonte)

Passaggio 5: inizia a inviare richieste di inferenza#

Con l'endpoint in esecuzione, le applicazioni possono iniziare a inviare immagini al modello usando l'endpoint REST API fornito e una chiave API passata nell'header Authorization. L'endpoint elabora ogni richiesta e restituisce previsioni come oggetti rilevati, riquadri di delimitazione o altri output specifici dell'attività.

Per maggiori dettagli sulla distribuzione dei modelli, consulta la documentazione ufficiale di Ultralytics Platform.

Monitoraggio delle prestazioni e delle metriche dei modelli per gli endpoint distribuiti#

Una volta distribuito un modello di visione artificiale, monitorarne le prestazioni diventa una parte importante per mantenere l'affidabilità e la robustezza del sistema. Anche un modello ben addestrato deve essere osservato in produzione per assicurarsi che continui a rispondere rapidamente, gestire correttamente le richieste in arrivo e fornire previsioni accurate.

Ultralytics Platform offre strumenti di monitoraggio integrati che permettono ai team di avere visibilità sulle prestazioni degli endpoint distribuiti. La pagina Deploy della piattaforma funge da dashboard di monitoraggio, offrendo una vista centralizzata di tutti gli endpoint in esecuzione, insieme a metriche chiave che aiutano a monitorare lo stato e l'utilizzo del sistema.

Ecco alcune delle metriche che puoi monitorare usando la Platform:

• Latenza P95: questa metrica misura il tempo di risposta lato server del 95º percentile per le richieste di inferenza. Fornisce informazioni sulla durata della maggior parte delle richieste di inferenza e identifica i rallentamenti delle prestazioni.
• Tasso di errore: rappresenta la percentuale di richieste non riuscite o che hanno restituito errori nell'intervallo di monitoraggio selezionato. Monitorare i tassi di errore consente ai team di rilevare rapidamente i problemi relativi alle distribuzioni o alle richieste in arrivo.
• Richieste totali: questa metrica mostra il numero totale di richieste di inferenza elaborate sugli endpoint distribuiti durante il periodo di tempo selezionato (ad esempio, nelle ultime 24 ore). Aiuta i team a comprendere i livelli di traffico e la frequenza di utilizzo dei modelli.

Oltre a queste metriche, la piattaforma offre anche controlli dello stato degli endpoint e log di distribuzione. I controlli dello stato indicano se un endpoint risponde correttamente, mentre i log forniscono informazioni dettagliate sulle richieste recenti e sull'attività del sistema.

Punti chiave#

La distribuzione dei modelli di visione artificiale è un passaggio fondamentale per trasformare i modelli addestrati in sistemi che alimentano applicazioni reali. Con Ultralytics Platform, i team possono distribuire facilmente i modelli tramite endpoint dedicati in 43 regioni globali, eseguire inferenze in tempo reale tramite API e monitorare le prestazioni da un unico ambiente. Combinando opzioni di distribuzione flessibili, monitoraggio integrato e infrastruttura scalabile, la piattaforma aiuta gli sviluppatori a passare più rapidamente dai modelli di machine learning addestrati ad applicazioni di visione artificiale affidabili.

Entra a far parte della nostra community in crescita! Esplora il nostro repository GitHub per saperne di più sull'AI. Se vuoi creare soluzioni di visione artificiale, dai un'occhiata alle nostre opzioni di licenza. Scopri i vantaggi della visione artificiale nell'assistenza sanitaria e guarda come l'AI nella logistica sta facendo la differenza!