Come Ultralytics Platform semplifica la distribuzione dei modelli di computer vision

Da anni Ultralytics collabora con la community della visione artificiale, creando modelli e strumenti che rendono l’IA visiva più accessibile a tutti. Con Ultralytics Platform, facciamo un ulteriore passo avanti riunendo l’intero flusso di lavoro di sviluppo della visione artificiale in un unico ambiente integrato, dalla gestione e annotazione dei dataset all’addestramento, alla convalida e alla distribuzione dei modelli.

In particolare, siamo entusiasti di semplificare la messa in produzione dei modelli di visione artificiale. Con la diffusione della visione artificiale nelle applicazioni del mondo reale, analizzare immagini e video al di fuori di ambienti controllati rimane complesso.

A differenza degli ambienti di test, in cui le condizioni sono prevedibili, gli scenari del mondo reale presentano illuminazione variabile, input mutevoli e carichi di lavoro imprevedibili, rendendo la messa in produzione una delle fasi più impegnative del flusso di lavoro di visione artificiale.

La messa in produzione non consiste solo nel rendere un modello disponibile per l'uso. Richiede la configurazione di processi in grado di gestire dati del mondo reale e la verifica che tutto funzioni senza intoppi con l'aumento dell'utilizzo e la crescita dei progetti.

I team devono anche monitorare le prestazioni e mantenere l'affidabilità nel tempo. Spesso questo significa passare da uno strumento di AI all'altro per test, integrazione, messa in produzione e monitoraggio, rallentando lo sviluppo dei modelli e aggiungendo complessità non necessaria.

I flussi di lavoro finiscono per diventare frammentati. Ultralytics Platform unifica e semplifica questo processo.

Offre supporto integrato per la gestione dei modelli, i test e il monitoraggio in un unico ambiente. I team possono convalidare i modelli usando l'inferenza nel browser, integrarli nelle applicazioni tramite servizi di inferenza condivisi e distribuirli su endpoint dedicati con funzionalità di monitoraggio delle prestazioni.

Fig. 1. La pagina di distribuzione in Ultralytics Platform (Fonte)

In questo articolo vedremo come Ultralytics Platform semplifica la distribuzione dei modelli di visione artificiale, dai test e dall’integrazione fino alla messa in produzione e al monitoraggio. Iniziamo!

Panoramica sulla messa in produzione dei modelli di visione artificiale#

Nel ciclo di vita del machine learning, la messa in produzione dei modelli è la fase in cui un modello passa dalla sperimentazione all'utilizzo nel mondo reale. Per i modelli di visione artificiale realizzati con deep learning e reti neurali convoluzionali, in genere significa renderli disponibili per elaborare immagini e video in tempo reale.

Una volta distribuiti, questi modelli ricevono nuovi dati, che in genere vengono sottoposti a fasi di preelaborazione come ridimensionamento, normalizzazione o formattazione. I dati elaborati vengono quindi forniti al modello, che applica i pattern appresi durante l'addestramento per generare previsioni ad alta precisione.

A seconda del caso d’uso, possono essere coinvolti diversi compiti di visione artificiale. Ad esempio, i modelli Ultralytics YOLO, come Ultralytics YOLO26, supportano un’ampia gamma di attività di visione artificiale, tra cui rilevamento di oggetti, segmentazione di istanze, classificazione di immagini, stima della posa e rilevamento di riquadri orientati (OBB).

Per renderlo pratico nelle applicazioni del mondo reale, spesso è necessario integrare i modelli in sistemi in grado di gestire in modo efficiente sia la preelaborazione sia l'inferenza. È qui che l'infrastruttura di distribuzione diventa essenziale.

Negli ambienti di produzione, in genere si accede ai modelli tramite API REST o sistemi di gestione dei modelli. Queste interfacce consentono alle applicazioni di inviare dati e ricevere previsioni a livello di codice, facilitando l'integrazione con applicazioni esterne, dispositivi IoT o sistemi robotici che si basano sulla comprensione visiva in tempo reale.

Limiti degli strumenti tradizionali per la messa in produzione della visione artificiale#

La messa in produzione dei modelli di visione artificiale può sembrare semplice, ma finora nella pratica è stata ben diversa. Considera una configurazione comune: i dati vengono prima acquisiti da telecamere o sensori, inviati a un modello per l'inferenza e poi restituiti a un'applicazione sotto forma di previsioni.

Nella realtà, ognuno di questi passaggi è spesso gestito da strumenti e servizi separati. Un sistema può gestire l'acquisizione dei dati, un altro la gestione dei modelli, mentre altri strumenti vengono usati per scalabilità, monitoraggio e registrazione. Mantenere questi componenti collegati e affidabili può diventare rapidamente complesso.

Con l'aumento dell'utilizzo, la complessità cresce. Gestire l'infrastruttura, occuparsi delle dipendenze e mantenere prestazioni costanti lungo l'intera pipeline può rallentare lo sviluppo e rendere più difficile distribuire modelli di visione artificiale nelle applicazioni del mondo reale.

Ultralytics Platform riunisce questi componenti in un unico ambiente integrato. In questo modo, puoi gestire l'intero flusso di lavoro di distribuzione in modo più coerente, mantenendo prestazioni e affidabilità su larga scala.

Opzioni di messa in produzione dei modelli offerte da Ultralytics Platform#

Oltre a unificare il processo di messa in produzione dei modelli, Ultralytics Platform offre anche flessibilità per quanto riguarda la distribuzione e l'utilizzo dei modelli.

Per supportare le diverse fasi della messa in produzione dei modelli di visione artificiale, la piattaforma offre quattro opzioni: test nel browser con inferenza immediata, inferenza condivisa tramite API per lo sviluppo, endpoint dedicati per distribuzioni di produzione scalabili in diverse aree geografiche del mondo ed esportazione dei modelli per eseguirli su infrastrutture esterne o dispositivi edge.

Vediamo più da vicino come funziona ognuna di queste opzioni.

Convalida rapidamente i modelli usando la scheda Predict#

Prima di portare un modello in produzione, è importante capire come si comporta su dati nuovi e mai visti. Ultralytics Platform include una scheda Predict integrata che ti permette di eseguire l'inferenza direttamente nel browser senza configurazione, infrastruttura o dipendenze.

La scheda Predict rende la convalida dei modelli rapida e interattiva. Puoi caricare immagini, usare esempi preinstallati o acquisire input con una webcam; l'inferenza viene eseguita automaticamente non appena fornisci i dati.

I risultati vengono visualizzati immediatamente con sovrapposizioni visive, punteggi di confidenza e output dettagliati, offrendoti una visione chiara del comportamento del modello.

Fig. 2. Un esempio di convalida di un modello usando la scheda Predict (Fonte)

Così, con pochi clic, puoi provare input diversi, regolare i parametri e valutare le prestazioni in un'unica interfaccia prima di passare alla distribuzione.

Esecuzione di inferenze condivise per test o utilizzi limitati#

Supponiamo che tu abbia addestrato un modello e lo abbia convalidato usando la scheda Predict. Il passaggio successivo consiste spesso nell'iniziare a integrare il modello in un'applicazione o in un flusso di lavoro.

Invece di configurare l'infrastruttura o gestire server, Ultralytics Platform offre servizi di inferenza condivisi che ti permettono di inviare dati al modello e ricevere previsioni tramite semplici API REST.

Dietro le quinte, l'inferenza condivisa viene eseguita su un sistema multi-tenant distribuito in alcune aree geografiche principali, in cui le richieste vengono indirizzate automaticamente al servizio disponibile più vicino. Questo aiuta a mantenere prestazioni reattive e permette agli utenti in luoghi diversi di accedere ai modelli in modo uniforme.

Puoi inviare input tramite richieste HTTP standard e ricevere in risposta output strutturati, collegando facilmente i modelli ad applicazioni, script o flussi di lavoro automatizzati. Questa configurazione è un’ottima scelta per lo sviluppo, i test, le integrazioni o un utilizzo meno intensivo prima di passare a distribuzioni in produzione più scalabili.

Distribuisci i modelli a livello globale tramite endpoint dedicati#

Quando un modello è pronto per la produzione, deve gestire il traffico reale in modo affidabile e su larga scala. Ultralytics Platform lo consente con gli endpoint dedicati, in cui i modelli funzionano come servizi a tenant singolo in 42 regioni globali. Distribuire i modelli più vicino agli utenti finali aiuta a ridurre la latenza e a mantenere prestazioni costanti in località diverse.

Ogni endpoint dispone di risorse di calcolo assegnate e di un URL univoco per le richieste di inferenza. Questo livello di controllo semplifica la regolazione delle distribuzioni in base alle esigenze prestazionali, dai casi d'uso leggeri alle applicazioni più impegnative e ad alto throughput, che richiedono maggiori risorse di calcolo.

Fig. 3. Puoi distribuire modelli in 42 regioni globali con Ultralytics Platform (Fonte)

Con le risorse predefinite, gli endpoint dedicati inattivi si ridimensionano a zero e si riavviano all'arrivo di nuove richieste, ottimizzando l'uso delle risorse senza interventi manuali. Gli endpoint con dimensionamento personalizzato mantengono invece attiva un'istanza.

Esporta facilmente il tuo modello con Ultralytics Platform#

Oggi l'AI edge sta diventando sempre più essenziale, perché un numero crescente di applicazioni si basa sull'esecuzione dei modelli direttamente su dispositivi come smartphone, telecamere e sistemi embedded. Eseguire i modelli localmente può anche aiutare a soddisfare i requisiti di riservatezza dei dati, poiché i dati sensibili, come immagini o flussi video, possono essere elaborati direttamente sul dispositivo senza essere inviati a server esterni.

In questi scenari, i modelli devono essere eseguiti al di fuori di Ultralytics Platform, rendendo l’esportazione dei modelli una parte cruciale del processo di distribuzione. I modelli Ultralytics YOLO vengono spesso addestrati con Python e PyTorch e possono poi essere esportati in oltre 17 formati diversi, tra cui ONNX, TensorRT, CoreML e OpenVINO.

Questa ampia gamma di formati garantisce la compatibilità con hardware diverso, dalle unità di elaborazione grafica ad alte prestazioni (GPUs) ai dispositivi mobili ed embedded. Inoltre, l'esportazione permette di ottimizzare le prestazioni per ambienti specifici.

A seconda del formato, i modelli possono raggiungere velocità di inferenza maggiori, per esempio migliorando le prestazioni della GPU con TensorRT o ottimizzando l'esecuzione sulla CPU con ONNX e OpenVINO. Opzioni come la quantizzazione FP16 e INT8 possono ridurre ulteriormente le dimensioni del modello e migliorare il throughput, un vantaggio particolarmente utile per le distribuzioni edge.

In Ultralytics Platform, l’esportazione è integrata direttamente nel flusso di lavoro, così puoi generare rapidamente modelli ottimizzati con pochi clic. I team possono passare dall’addestramento all’esecuzione dei modelli su sistemi esterni senza aggiungere complessità.

Fig. 4. Una selezione di formati di esportazione in Ultralytics Platform.

Scegliere l'opzione giusta per la messa in produzione dei modelli#

Ogni opzione di distribuzione in Ultralytics Platform supporta una fase diversa del flusso di lavoro, dai primi test all'utilizzo in produzione. Ecco una panoramica di quando puoi usare ciascuna opzione:

• Scheda Predict: in genere si usa subito dopo l'addestramento o la messa a punto, quando vuoi convalidare le prestazioni di un modello su nuovi dati tramite l'inferenza nel browser.
• Inferenza condivisa: in questa fase, puoi integrare i modelli nelle applicazioni tramite API e testare interazioni del mondo reale durante lo sviluppo.
• Endpoint dedicati: si usano per le distribuzioni in produzione, quando i modelli richiedono prestazioni costanti, risorse dedicate e la possibilità di scalare in diverse aree geografiche del mondo.
• Esportazione dei modelli: quando i modelli devono essere eseguiti al di fuori della piattaforma, puoi esportarli per distribuirli su dispositivi edge, app mobili o infrastrutture personalizzate.

Spesso i team passano da un'opzione all'altra in sequenza, dalla convalida all'integrazione e infine alla distribuzione in produzione, tutto all'interno della piattaforma.

Monitoraggio dei modelli distribuiti tramite Ultralytics Platform#

Per quanto la distribuzione sia fondamentale, la pipeline di visione artificiale non finisce lì. Una volta che un modello è in produzione, il monitoraggio continuo è essenziale per assicurarsi che funzioni in modo affidabile nel tempo.

Ultralytics Platform offre strumenti di monitoraggio integrati che forniscono ai team una visione chiara del comportamento nel tempo dei modelli di AI per la visione artificiale e supportano un flusso di lavoro più strutturato di operazioni di machine learning (MLOps).

La pagina Deploy include una dashboard che monitora metriche chiave come il numero totale di richieste, le distribuzioni attive, la latenza di risposta e i tassi di errore. Queste informazioni aiutano i team a comprendere i modelli di utilizzo, valutare la reattività del sistema e garantire prestazioni a bassa latenza con carichi di lavoro diversi.

Fig. 5. Ultralytics Platform semplifica il monitoraggio dei modelli distribuiti. (Fonte)

Ogni endpoint dedicato offre anche un'osservabilità dettagliata tramite viste specifiche per ogni distribuzione. Queste includono l'accesso ai log, allo stato di integrità del modello e ai dati sulle prestazioni in tempo reale. I log possono essere usati per eseguire il debug, tracciare le richieste non riuscite e individuare potenziali problemi legati alle dipendenze o all'infrastruttura.

Con l'evolversi degli ambienti di produzione, fattori come i cambiamenti nei dati di input, le esigenze di scalabilità o il mutamento dei modelli di utilizzo possono influire sull'accuratezza e sulla robustezza dei modelli. Monitorando costantemente le metriche prestazionali, i team possono rilevare anomalie, individuare colli di bottiglia e adottare misure correttive, come l'ottimizzazione dei modelli o la modifica delle risorse, per mantenere un servizio di gestione dei modelli affidabile e costante.

Progettare la scalabilità nelle distribuzioni di modelli di visione artificiale#

Tradizionalmente, per scalare i sistemi di visione artificiale era necessario mettere insieme flussi di lavoro e framework che non erano mai stati progettati per funzionare come un unico sistema. Le pipeline di dati, i cicli di addestramento, l'infrastruttura di distribuzione e i sistemi di monitoraggio spesso si trovano in ambienti separati, creando attriti in ogni fase.

La vera sfida non consiste soltanto nel creare modelli, ma nel farli progredire: dai dati alla produzione, adattandoli a nuovi input, gestendo una domanda crescente e migliorandoli continuamente senza rallentare.

Ciò che distingue Ultralytics Platform è che questa continuità è integrata. Invece di trattare ogni fase come un passaggio separato, la piattaforma le collega in un ciclo continuo in cui i modelli possono essere sviluppati, distribuiti, monitorati e aggiornati nello stesso ambiente.

Questo cambiamento trasforma il modo in cui i team scalano. Non si tratta più di orchestrare strumenti o infrastrutture, ma di mantenere lo slancio mentre i sistemi crescono.

Punti chiave#

Portare modelli di machine learning, come quelli di visione artificiale, nelle applicazioni del mondo reale richiede che siano affidabili, scalabili e facili da gestire. Ultralytics Platform semplifica questo processo combinando diverse funzionalità, come la gestione dei modelli, la distribuzione e il monitoraggio, in un unico ambiente integrato. Grazie alle opzioni di distribuzione flessibili e agli strumenti integrati, i team possono passare dalla sperimentazione alla produzione più rapidamente e con meno complessità.

Visita la nostra community ed esplora il nostro repository GitHub per saperne di più. Consulta le pagine delle nostre soluzioni per scoprire diverse applicazioni, come l'AI nel settore sanitario e la visione artificiale nella logistica. Scopri le nostre opzioni di licenza e inizia a creare oggi stesso!