Endpoint di inferenza dedicati o inferenza condivisa per la distribuzione

Di recente abbiamo introdotto Ultralytics Platform, una soluzione end-to-end che riunisce in un unico ambiente l'intero flusso di lavoro della computer vision: dalla preparazione dei dataset e dall'addestramento dei modelli fino all'inferenza, alla distribuzione e al monitoraggio.

Sviluppata sulla base dei feedback della community di computer vision, la piattaforma è progettata per semplificare ogni fase dello sviluppo, offrendo funzionalità integrate che supportano l'intero ciclo di vita delle applicazioni di IA per la visione artificiale.

Ad esempio, una volta addestrato un modello, il passo successivo è distribuirlo, così da poter eseguire inferenze e fare previsioni in applicazioni del mondo reale. La piattaforma semplifica il processo offrendo diverse opzioni di distribuzione.

Puoi esportare i modelli per eseguirli nel tuo ambiente, usare l'inferenza condivisa per test rapidi oppure distribuire endpoint dedicati per applicazioni scalabili e pronte per la produzione. Ciascuna di queste opzioni di distribuzione consente di eseguire inferenze di IA, ma è pensata per fasi e casi d'uso diversi.

Fig. 1. Ultralytics Platform consente la distribuzione globale e scalabile di modelli di IA per la visione artificiale (Fonte)

L'esportazione dei modelli ti offre il pieno controllo per eseguirli sulla tua infrastruttura; l'inferenza condivisa semplifica i test e la sperimentazione senza configurazioni; gli endpoint dedicati sono invece progettati per carichi di lavoro di produzione affidabili e su larga scala.

A prima vista, l'inferenza condivisa e gli endpoint dedicati possono sembrare molto simili. Entrambi ti consentono di inviare richieste API al tuo modello e ricevere previsioni strutturate, semplificando l'integrazione dell'IA per la visione artificiale nelle applicazioni.

Tuttavia, con la crescita dei carichi di lavoro e quando le applicazioni di computer vision iniziano a gestire richieste di inferenza in tempo reale, le differenze tra queste opzioni diventano più importanti. In questo articolo esamineremo più da vicino l'inferenza condivisa e gli endpoint dedicati, confrontandoli, spiegando quando usare ciascuna opzione e perché gli endpoint dedicati diventano la scelta migliore man mano che le applicazioni crescono.

Panoramica sulla distribuzione tramite inferenza condivisa#

L'inferenza condivisa è un modo semplice per eseguire inferenze di IA sui tuoi modelli senza configurare infrastrutture né preoccuparti dei tipi di GPU, dell'integrazione dei framework o della configurazione dell'ambiente di esecuzione. Una volta addestrato o sottoposto a fine-tuning il modello, puoi usarlo per generare previsioni direttamente tramite la piattaforma.

In questa configurazione, il modello viene eseguito su risorse di calcolo condivise e multi-tenant in alcune regioni principali, come Stati Uniti, Europa e Asia-Pacifico. Le richieste vengono instradate automaticamente verso i servizi disponibili, quindi non devi configurare istanze GPU o ambienti di esecuzione. La piattaforma gestisce tutto per te, così puoi iniziare facilmente.

Quando usi l'inferenza condivisa, invii richieste al tuo modello tramite una REST API, usando strumenti come Python o CLI, e ricevi output JSON strutturati, ad esempio oggetti rilevati, punteggi di confidenza e altri dettagli delle previsioni. In questo modo puoi testare i modelli e integrarli nelle applicazioni senza difficoltà.

Essendo condiviso, il sistema è progettato per lo sviluppo, i test e un utilizzo limitato. È adatto a convalidare le previsioni e creare le prime integrazioni. Le prestazioni possono tuttavia variare in base al carico del sistema e l'utilizzo è limitato a 20 richieste al minuto per chiave API, il che lo rende meno adatto ai carichi di lavoro di produzione con volumi elevati.

Nel complesso, l'inferenza condivisa è più adatta alle prime fasi di sviluppo, quando l'obiettivo è comprendere e migliorare il modello prima di passare ad applicazioni su scala più ampia.

Distribuisci i modelli a livello globale con gli endpoint dedicati#

Gli endpoint dedicati sono servizi di inferenza single-tenant in cui i tuoi modelli di IA per la visione artificiale vengono eseguiti su risorse di calcolo isolate. Anziché condividere l'infrastruttura, ogni endpoint dispone del proprio ambiente di esecuzione con risorse configurabili, come CPU e memoria, offrendoti un maggiore controllo sulle prestazioni.

Quando distribuisci un modello come endpoint dedicato, gli viene assegnato un URL API univoco e viene utilizzata la tua chiave API per l'autenticazione, semplificando l'integrazione nelle applicazioni. Puoi distribuire questi endpoint in 43 regioni globali, eseguendo così l'inferenza più vicino ai tuoi utenti e riducendo la latenza.

Fig. 2. Puoi distribuire endpoint dedicati in 43 regioni globali (Fonte)

Uno dei principali vantaggi è la scalabilità automatica. Gli endpoint si adattano automaticamente alle richieste in arrivo: aumentano la capacità per gestire più traffico e la riducono quando la domanda cala. Con la scalabilità a zero attiva per impostazione predefinita, gli endpoint possono arrestarsi quando sono inattivi e riavviarsi quando necessario, contribuendo a ottimizzare l'utilizzo delle risorse.

In altre parole, gli endpoint dedicati sono progettati per i carichi di lavoro di produzione. Rispetto all'inferenza condivisa, offrono latenza bassa e costante, maggiore throughput e più affidabilità.

Inoltre, gli endpoint dedicati non hanno limiti di frequenza. Le richieste raggiungono direttamente il tuo endpoint, quindi il volume di traffico che puoi gestire dipende dalla tua configurazione e dalla scalabilità, non da limiti fissi.

Inoltre, il monitoraggio integrato, i log, i controlli dello stato e il comportamento prevedibile dell'ambiente di esecuzione e dell'avvio semplificano il monitoraggio delle prestazioni e la gestione di distribuzioni stabili con tutti i piani. Nel piano Free, gli avvii a freddo richiedono in genere da 5 a 45 secondi, mentre gli endpoint del piano Pro rimangono attivi, garantendo prestazioni di inferenza più rapide e prevedibili.

In breve, gli endpoint dedicati sono ideali per le applicazioni di IA per la visione artificiale in tempo reale che richiedono inferenze affidabili, scalabili e ad alte prestazioni.

Inferenza condivisa ed endpoint dedicati: differenze principali#

Ecco un confronto più dettagliato tra l'inferenza condivisa e gli endpoint dedicati:

• Latenza: negli ambienti condivisi la latenza può variare a causa della condivisione delle risorse, mentre gli endpoint dedicati offrono risposte più costanti e a bassa latenza.
• Regioni: l'inferenza condivisa è disponibile in alcune regioni (Stati Uniti, UE, AP), mentre gli endpoint dedicati supportano la distribuzione in 43 regioni globali.
• Scalabilità: la scalabilità dell'inferenza condivisa non è configurabile, mentre gli endpoint dedicati si adattano automaticamente al traffico in arrivo.
• Limiti di frequenza: l'inferenza condivisa è soggetta a limiti di frequenza (20 richieste o chiamate API al minuto per chiave API), mentre gli endpoint dedicati non hanno limiti di frequenza imposti dalla piattaforma.
• Prezzi: l'inferenza condivisa è inclusa senza costi aggiuntivi per test e sviluppo, mentre gli endpoint dedicati offrono maggiore controllo e scalabilità, con un utilizzo che dipende dalla configurazione delle risorse e dalle esigenze di distribuzione.

Perché gli endpoint dedicati sono più adatti ai carichi di lavoro di produzione#

Quando le applicazioni di IA e machine learning passano dai test all'uso nel mondo reale, prestazioni, scalabilità e affidabilità diventano essenziali. Ecco perché gli endpoint dedicati offrono vantaggi evidenti rispetto all'inferenza condivisa.

Con gli endpoint dedicati, il tuo modello preaddestrato o personalizzato viene eseguito su risorse di calcolo proprie, quindi le prestazioni non risentono dell'attività di altri utenti. Questo aiuta a mantenere una latenza bassa e costante, importante per applicazioni in tempo reale come l'analisi video e i sistemi di monitoraggio.

Fig. 3. Esempio di distribuzione tramite un endpoint di inferenza dedicato (Fonte)

Ad esempio, pensa a un sistema di analisi per la vendita al dettaglio che elabora in diretta i flussi delle telecamere di più negozi. Distribuendo endpoint in 43 regioni globali, l'inferenza può essere eseguita più vicino a ciascun negozio, riducendo la latenza e migliorando i tempi di risposta.

Con l'inferenza condivisa, in cui le risorse sono condivise e le regioni disponibili sono limitate, le prestazioni possono variare nei periodi di maggiore attività.

Gli endpoint dedicati possono inoltre gestire volumi di traffico più elevati e scalare automaticamente in base alla domanda. Grazie al monitoraggio, ai log e ai controlli dello stato integrati, offrono prestazioni più prevedibili e sono quindi adatti a carichi di lavoro di IA continui e su larga scala.

Il ruolo dell'inferenza condivisa nel flusso di lavoro della visione artificiale#

Mentre esamini le differenze tra inferenza condivisa ed endpoint dedicati, potresti chiederti quale ruolo abbia l'inferenza condivisa nel flusso di lavoro complessivo della computer vision.

Riprendiamo l'esempio dell'analisi per la vendita al dettaglio. Prima di distribuire una soluzione di visione artificiale in più negozi, i team devono in genere verificare come si comporta con dati reali e perfezionarla sulla base dei risultati.

L'inferenza condivisa semplifica questo processo: puoi inviare immagini campione o fotogrammi video ripresi dalle telecamere dei negozi e analizzare rapidamente le previsioni senza configurare infrastrutture. È particolarmente utile per testare il comportamento del modello, individuare gli errori nelle previsioni e convalidare i risultati in condizioni diverse, ad esempio con variazioni dell'illuminazione o della disposizione dei negozi.

Procedendo per iterazioni in questo modo, i team possono migliorare l'accuratezza e l'affidabilità del modello prima di passare alla produzione. Quando il modello raggiunge buone prestazioni in questi scenari di test, può essere distribuito su endpoint dedicati per l'uso in tempo reale in più sedi.

L'inferenza condivisa può essere adatta anche alle applicazioni con utilizzo ridotto o sporadico. Ad esempio, un piccolo negozio al dettaglio potrebbe usarla per analizzare occasionalmente il flusso di persone o esaminare l'attività dei clienti in orari specifici, senza dover ricorrere a una distribuzione su vasta scala. In questi casi, offre un modo semplice ed economico per eseguire inferenze su richiesta.

Casi d'uso reali degli endpoint dedicati#

Quando le applicazioni di IA vanno oltre la fase di test, la scelta della modalità di distribuzione influisce direttamente sulle prestazioni, sulla scalabilità e sull'esperienza utente. Gli endpoint dedicati possono essere ampiamente utilizzati in diversi settori perché offrono prestazioni stabili, bassa latenza e la capacità di gestire carichi di lavoro su larga scala.

Ecco alcuni casi d'uso comuni che mostrano come utilizzare gli endpoint dedicati nelle applicazioni del mondo reale:

• Vendita al dettaglio e analisi video: una catena di negozi può usare la computer vision per monitorare gli spostamenti dei clienti, individuare i prodotti più richiesti e controllare l'attività dei negozi in tempo reale. Gli endpoint dedicati garantiscono inferenze rapide e costanti in più punti vendita, anche nelle ore di punta.
• Settore manifatturiero e ispezione della qualità: in una linea di produzione, i modelli possono rilevare difetti o anomalie mentre i prodotti attraversano il sistema. Gli endpoint dedicati supportano inferenze continue in tempo reale, aiutando i team a individuare tempestivamente i problemi e a mantenere la qualità dei prodotti senza rallentare le operazioni.
• Settore sanitario e diagnostica per immagini: le strutture sanitarie e i laboratori diagnostici possono affidarsi a modelli di visione artificiale per analizzare immagini mediche come radiografie e scansioni. Gli endpoint dedicati offrono prestazioni affidabili e costanti, fondamentali quando si gestiscono dati sensibili e diagnosi che richiedono tempi rapidi.
• Automazione di magazzini e logistica: i grandi magazzini spesso utilizzano più sistemi identici, come nastri trasportatori e linee di smistamento, che di fatto replicano la stessa configurazione. I modelli di computer vision possono monitorare ciascuna replica per rilevare problemi come inceppamenti o pacchi instradati in modo errato. Gli endpoint dedicati garantiscono inferenze costanti in tempo reale su tutte le repliche.

Passare dall'inferenza condivisa agli endpoint dedicati#

Uno dei principali vantaggi di Ultralytics Platform è la semplicità con cui puoi passare dall'inferenza condivisa agli endpoint dedicati man mano che l'applicazione cresce. Invece di cambiare strumenti o ricostruire la configurazione, puoi passare a una distribuzione pronta per la produzione nello stesso ambiente.

Dopo aver testato il modello con l'inferenza condivisa, passare a un endpoint dedicato è un passo successivo semplice. Puoi distribuire lo stesso modello su un endpoint, scegliere la regione e le risorse di calcolo che preferisci e aggiornare l'URL dell'endpoint nella tua applicazione. L'integrazione complessiva rimane simile, quindi il modo in cui invii le richieste e gestisci le risposte cambia poco o per nulla.

Fig. 4. Visualizzazione dell'URL di un endpoint dedicato su Ultralytics Platform (Fonte)

Questo significa che puoi passare dai test alla produzione con pochi clic. Quando il carico di lavoro aumenta o l'applicazione richiede prestazioni più costanti, puoi passare agli endpoint dedicati senza interrompere il flusso di lavoro esistente.

Per saperne di più sulla distribuzione di modelli tramite endpoint dedicati su Ultralytics Platform, consulta la documentazione ufficiale di Ultralytics Platform.

Punti chiave#

L'inferenza condivisa è un ottimo punto di partenza per test e sperimentazione, ma i carichi di lavoro di produzione richiedono maggiore costanza e capacità di scalare. Man mano che le applicazioni crescono, gli endpoint dedicati offrono le prestazioni e l'affidabilità necessarie per supportare l'uso nel mondo reale. Per questo sono la scelta migliore per la maggior parte delle distribuzioni in produzione.

Unisciti alla nostra community ed esplora il nostro repository GitHub per saperne di più sui modelli di computer vision. Scopri applicazioni come l'IA in agricoltura e la computer vision nella robotica nelle pagine dedicate alle nostre soluzioni. Dai un'occhiata alle nostre opzioni di licenza e inizia a usare l'IA per la visione artificiale.