Ultralytics Platform: Distribuire modelli di computer vision in qualsiasi regione

All'inizio di questa settimana, Ultralytics ha lanciato Ultralytics Platform, un nuovo ambiente end-to-end progettato per velocizzare il rilascio di sistemi di computer vision (CV), ottimizzando ogni fase del workflow di visione AI, dalla preparazione dei dati e lo sviluppo dei modelli fino al deployment.

Una delle motivazioni principali dietro lo sviluppo di Ultralytics Platform è che portare una soluzione di computer vision, che consente alle macchine di analizzare immagini e video, dall'idea all'impatto reale, richiede molto più del semplice sviluppo di un modello solido. Una volta che un modello è stato addestrato e ha superato la validazione, deve essere implementato affinché le applicazioni possano inviare immagini, ricevere previsioni ed eseguire inferenze in modo affidabile in ambienti reali.

Questa fase del ciclo di vita del machine learning è quella in cui i modelli di computer vision superano la fase di sperimentazione e iniziano ad alimentare sistemi pratici. Anche se i passaggi precedenti, come la preparazione del dataset, l'annotazione, l'addestramento del modello e il testing, procedono senza intoppi, senza un modo affidabile per implementare i modelli, quei risultati non possono fare la differenza.

La realtà di molti progetti di computer vision è che il deployment può essere uno dei passaggi più complessi del workflow.

I team hanno spesso bisogno di configurare API di inferenza, gestire risorse di calcolo, implementare modelli vicino agli utenti per ridurre la latenza e monitorare le prestazioni una volta che i sistemi sono in produzione.

Ultralytics Platform semplifica e automatizza questo processo fornendo molteplici opzioni di deployment, tra cui formati di esportazione dei modelli, servizi di inferenza condivisi ed endpoint dedicati in regioni globali. Con un'infrastruttura gestita e un monitoraggio integrato, i team possono facilmente passare dai modelli addestrati a sistemi di computer vision pronti per la produzione.

Fig 1. Uno sguardo all'implementazione di modelli utilizzando Ultralytics Platform (Fonte)

In questo articolo esploreremo come implementare modelli di computer vision in qualsiasi regione utilizzando endpoint dedicati su Ultralytics Platform. Iniziamo!

Link to this sectionCos'è il deployment di modelli CV?#

Prima di addentrarci su come implementare modelli di deep learning utilizzando Ultralytics Platform, cerchiamo di capire meglio cosa significa effettivamente il deployment di un modello di computer vision.

Il deployment del modello di computer vision è il processo che consiste nel prendere un modello addestrato e renderlo disponibile per l'uso nel mondo reale. Invece di eseguirlo solo in un ambiente di addestramento, il modello viene configurato in modo che le applicazioni possano inviargli immagini o video e ricevere previsioni in cambio.

Ad esempio, un modello potrebbe rilevare oggetti in un'immagine, eseguire la segmentazione delle immagini, identificare articoli in un magazzino o riconoscere pattern in filmati video. Nella maggior parte dei sistemi reali, questo avviene tramite un'API o un endpoint di inferenza.

Un'applicazione invia un'immagine al modello, il modello la elabora e restituisce una previsione in pochi millisecondi. Questo è ciò che consente ai modelli di computer vision come Ultralytics YOLO di abilitare applicazioni in tempo reale.

I modelli possono essere implementati in diversi ambienti a seconda del caso d'uso. Alcuni vengono eseguiti nel cloud (tramite piattaforme cloud) e molte applicazioni possono accedervi, mentre altri vengono eseguiti su dispositivi edge, come telecamere in sede, robot o sistemi embedded che necessitano di previsioni locali rapide.

Link to this sectionOpzioni di deployment di modelli AI su Ultralytics Platform#

Sebbene Ultralytics Platform affronti molte delle sfide che la comunità di computer vision deve affrontare, in particolare quando si tratta di implementare modelli, fornisce modi flessibili per eseguire l'inferenza in base alle esigenze della tua applicazione.

Ecco una rapida panoramica delle opzioni di deployment dei modelli disponibili sulla piattaforma:

• Esportazione del modello: puoi esportare i modelli in 17 formati diversi, inclusi ONNX, TensorRT, CoreML e TFLite, rendendo possibile l'esecuzione dei modelli in un'ampia gamma di ambienti come dispositivi edge (es. Raspberry Pi e NVIDIA Jetson), app mobili, container Docker e infrastrutture personalizzate.
• Inferenza condivisa: la piattaforma ti consente di eseguire previsioni tramite un servizio di inferenza condiviso e gestito, ideale per testare rapidamente i modelli.
• Endpoint dedicati: implementa facilmente i modelli come servizi indipendenti con URL API univoci che possono essere eseguiti in 43 regioni globali, con auto-scaling, monitoraggio e controlli di integrità integrati per i deployment in produzione.

Link to this sectionImplementazione tramite endpoint dedicati#

Uno dei modi più scalabili per eseguire modelli pre-addestrati o personalizzati di computer vision in produzione su Ultralytics Platform è tramite endpoint dedicati. Un endpoint dedicato ti consente di implementare un modello addestrato come un servizio a sé stante, in modo che le applicazioni possano inviargli immagini e ricevere previsioni tramite un'API.

Invece di eseguire un modello solo in un ambiente di addestramento o in un notebook locale, implementarlo come endpoint lo rende accessibile ad applicazioni reali. Ad esempio, un sistema di magazzino potrebbe inviare immagini di pacchi per il rilevamento di oggetti, una telecamera intelligente potrebbe analizzare fotogrammi video, o un sistema robotico potrebbe utilizzare le previsioni per guidare le azioni.

Ogni endpoint dedicato viene eseguito come servizio single-tenant, il che significa che l'infrastruttura che esegue il tuo modello non è condivisa con altri utenti. Ciò fornisce prestazioni più prevedibili e rende più semplice monitorare come il modello si comporta in produzione.

Link to this sectionComprendere la funzionalità degli endpoint di inferenza dedicati#

Puoi pensare a un endpoint dedicato come a un servizio ospitato per il tuo modello. Ultralytics Platform fornisce un URL di endpoint univoco che funge da punto di ingresso per le applicazioni.

Quando un'applicazione invia una richiesta a quell'URL, include un'immagine e parametri opzionali come soglie di confidenza o dimensioni dell'immagine, insieme a una chiave API per l'autenticazione.

Il servizio esegue l'inferenza sull'immagine utilizzando il tuo modello e restituisce le previsioni in una risposta strutturata. Questa configurazione consente agli sviluppatori di integrare modelli di computer vision in sistemi reali utilizzando strumenti web standard.

Le applicazioni possono inviare richieste utilizzando Python, JavaScript, cURL o altri client HTTP, facilitando la connessione dei modelli a dashboard, sistemi robotici o applicazioni cloud. Poiché l'endpoint viene eseguito in modo indipendente, può anche supportare scalabilità, monitoraggio e deployment globale, aiutando i team a costruire sistemi di computer vision di produzione affidabili.

Link to this sectionIl deployment multi-regione migliora l'inferenza in tempo reale#

Un vantaggio chiave degli endpoint dedicati su Ultralytics Platform è la possibilità di implementare modelli in 43 regioni globali. Queste regioni coprono diverse parti del mondo, inclusi Nord America, Sud America, Europa, Asia Pacifico, Medio Oriente e Africa.

Fig 2. Ultralytics Platform supporta 43 regioni globali (Fonte)

Implementare modelli in regioni più vicine a dove sono in esecuzione le applicazioni aiuta a ridurre la latenza, ovvero il tempo necessario affinché un'applicazione invii un'immagine e riceva una previsione. Può anche aiutare le organizzazioni a soddisfare i requisiti di privacy e residenza dei dati mantenendo l'elaborazione dei dati più vicina al luogo di origine.

La bassa latenza è importante per molte applicazioni di computer vision che si basano sull'inferenza in tempo reale, come sistemi robotici, dispositivi Internet of Things (IoT), pipeline di ispezione industriale e infrastrutture di città intelligenti.

Ad esempio, se un'applicazione viene utilizzata principalmente in Europa, implementare il modello in una regione europea può migliorare significativamente i tempi di risposta rispetto all'esecuzione del modello in una regione distante.

Link to this sectionCome implementare in qualsiasi regione con Ultralytics Platform#

Implementare un modello in una regione specifica è semplice e di solito richiede solo un paio di minuti. La piattaforma gestisce la configurazione dell'infrastruttura in modo che gli sviluppatori possano concentrarsi sull'integrazione del modello nelle loro applicazioni. Analizziamo i passaggi necessari.

Link to this sectionPassaggio 1: Addestra o carica un modello#

Prima di implementare, devi avere un modello addestrato disponibile nel tuo progetto. Può essere un modello addestrato direttamente su Ultralytics Platform, un modello caricato dopo l'addestramento altrove, o un modello clonato da un progetto della community trovato nella "scheda Esplora", dove i progetti pubblici condivisi da altri utenti possono essere copiati nel tuo account con un clic.

Una volta che il modello è pronto, apri la sua pagina all'interno del tuo progetto per procedere.

Link to this sectionPassaggio 2: Apri la scheda Deploy#

Naviga nella scheda Deploy per il modello. Questa sezione della piattaforma ti consente di configurare e avviare i deployment.

In quella pagina, vedrai una tabella delle regioni e una mappa interattiva che mostra le posizioni di deployment disponibili in tutto il mondo. La piattaforma misura la latenza dalla tua posizione e ordina le regioni di conseguenza per aiutarti a scegliere la regione più adatta.

Fig 3. Regioni ordinate per latenza su Ultralytics Platform (Fonte)

Link to this sectionPassaggio 3: Scegli una regione di deployment#

Seleziona una regione in base alla posizione dei tuoi utenti o delle tue applicazioni. Implementare il modello più vicino alla fonte delle richieste può ridurre significativamente i tempi di risposta.

Link to this sectionPassaggio 4: Implementa l'endpoint#

Dopo aver selezionato la regione e confermato la configurazione, puoi fare clic su Deploy.

La piattaforma prepara quindi l'ambiente di deployment, estrae l'immagine del modello, avvia il servizio ed esegue un controllo di integrità per garantire che l'endpoint sia pronto. Questo processo richiede solitamente da uno a due minuti.

Una volta completato il deployment, la piattaforma genera un URL di endpoint univoco che le applicazioni possono utilizzare per inviare richieste di inferenza.

Fig 4. Un esempio di endpoint implementato (Fonte)

Link to this sectionPassaggio 5: Inizia a inviare richieste di inferenza#

Con l'endpoint in esecuzione, le applicazioni possono iniziare a inviare immagini al modello utilizzando l'endpoint REST API fornito e una chiave API passata nell'intestazione Authorization. L'endpoint elabora ogni richiesta e restituisce previsioni come oggetti rilevati, bounding box o altri output specifici del compito.

Per ulteriori dettagli relativi al deployment dei modelli, consulta la documentazione ufficiale di Ultralytics Platform.

Link to this sectionMonitoraggio delle prestazioni e delle metriche dei modelli per endpoint implementati#

Una volta implementato un modello di computer vision, monitorarne le prestazioni diventa una parte importante del mantenimento dell'affidabilità e della robustezza del sistema. Anche un modello ben addestrato deve essere osservato in produzione per garantire che continui a rispondere rapidamente, gestire correttamente le richieste in entrata e fornire previsioni accurate.

Ultralytics Platform fornisce strumenti di monitoraggio integrati che offrono ai team visibilità sulle prestazioni degli endpoint implementati. La pagina Deploy della piattaforma funge da dashboard di monitoraggio, offrendo una vista centralizzata di tutti gli endpoint in esecuzione insieme a metriche chiave che aiutano a tenere traccia della salute e dell'utilizzo del sistema.

Ecco alcune delle metriche che puoi monitorare utilizzando la piattaforma:

• Latenza P95: questa metrica misura il 95° percentile del tempo di risposta lato server per le richieste di inferenza. Fornisce informazioni su quanto tempo impiegano la maggior parte delle richieste di inferenza e identifica i rallentamenti delle prestazioni.
• Tasso di errore: rappresenta la percentuale di richieste che non sono riuscite o hanno restituito errori entro l'intervallo di monitoraggio selezionato. Monitorare i tassi di errore consente ai team di rilevare rapidamente problemi con i deployment o le richieste in entrata.
• Richieste totali: questa metrica mostra il numero totale di richieste di inferenza elaborate tra gli endpoint implementati durante il periodo di tempo selezionato (ad esempio, le ultime 24 ore). Aiuta i team a comprendere i livelli di traffico e la frequenza con cui vengono utilizzati i loro modelli.

Oltre a queste metriche, la piattaforma fornisce anche controlli di integrità degli endpoint e log di deployment. I controlli di integrità indicano se un endpoint sta rispondendo correttamente, mentre i log forniscono informazioni dettagliate sulle richieste recenti e sull'attività del sistema.

Link to this sectionPunti chiave#

L'implementazione di modelli di computer vision è un passo cruciale per trasformare modelli addestrati in sistemi che alimentano applicazioni reali. Con Ultralytics Platform, i team possono implementare facilmente modelli tramite endpoint dedicati in 43 regioni globali, eseguire inferenze in tempo reale tramite API e monitorare le prestazioni da un unico ambiente. Combinando opzioni di deployment flessibili, monitoraggio integrato e infrastruttura scalabile, la piattaforma aiuta gli sviluppatori a passare da modelli di machine learning addestrati ad applicazioni di computer vision affidabili più velocemente.

Entra a far parte della nostra community in crescita! Immergiti nel nostro repository GitHub per saperne di più sull'AI. Se stai cercando di costruire soluzioni di computer vision, controlla le nostre opzioni di licenza. Esplora i vantaggi della computer vision nell'assistenza sanitaria e scopri come l' AI nella logistica sta facendo la differenza!