Endpoint di inferenza dedicati vs inferenza condivisa per il deployment

Di recente, abbiamo introdotto la Ultralytics Platform, una soluzione end-to-end che racchiude l'intero flusso di lavoro della computer vision in un unico posto, dalla preparazione del dataset e l'addestramento del modello all'inferenza, al deployment e al monitoraggio.

Creata sulla base dei feedback della community di computer vision, la piattaforma è progettata per semplificare ogni fase dello sviluppo fornendo funzionalità integrate che supportano l'intero ciclo di vita delle applicazioni di vision AI.

Ad esempio, una volta che un modello è addestrato, il passaggio successivo è il suo deployment, così da poterlo utilizzare per eseguire l'inferenza ed effettuare previsioni in applicazioni del mondo reale. La piattaforma rende questo processo semplice offrendo molteplici opzioni di deployment.

Puoi esportare i modelli per eseguirli nel tuo ambiente, usare l'inferenza condivisa per test rapidi o implementare endpoint dedicati per applicazioni scalabili pronte per la produzione. Ciascuna di queste opzioni di deployment ti permette di eseguire l'inferenza AI, ma sono pensate per fasi e casi d'uso differenti.

Fig 1. Ultralytics Platform abilita il deployment scalabile di modelli di vision AI su scala globale (Fonte)

L'esportazione del modello ti offre il controllo completo per eseguirlo sulla tua infrastruttura, l'inferenza condivisa rende semplice testare e sperimentare senza alcuna configurazione, e gli endpoint dedicati sono creati per carichi di lavoro di produzione affidabili e su larga scala.

A prima vista, l'inferenza condivisa e gli endpoint dedicati possono sembrare piuttosto simili. Entrambi ti permettono di inviare richieste API al tuo modello e ricevere previsioni strutturate, rendendo facile integrare la vision AI nelle applicazioni.

Tuttavia, man mano che i tuoi carichi di lavoro crescono e le tue applicazioni di computer vision iniziano a gestire richieste di inferenza in tempo reale, le differenze tra queste opzioni diventano più importanti. In questo articolo, esamineremo più da vicino l'inferenza condivisa e gli endpoint dedicati, come si confrontano, quando utilizzare ciascuno di essi e perché gli endpoint dedicati diventano la scelta migliore man mano che le tue applicazioni scalano.

Link to this sectionUna panoramica sul deployment tramite inferenze condivise#

L'inferenza condivisa è un modo semplice per eseguire l'inferenza AI sui tuoi modelli senza configurare alcuna infrastruttura o preoccuparti di tipi di GPU, integrazione dei framework o configurazione del runtime. Una volta che il tuo modello è addestrato o perfezionato, puoi usarlo per effettuare previsioni direttamente attraverso la piattaforma.

In questa configurazione, il tuo modello viene eseguito su risorse di calcolo condivise e multi-tenant in alcune regioni chiave, come Stati Uniti, Europa e Asia-Pacifico. Le richieste vengono instradate automaticamente verso i servizi disponibili, quindi non hai bisogno di configurare istanze GPU o ambienti di runtime. Tutto è gestito per te, rendendo semplice iniziare.

Quando utilizzi l'inferenza condivisa, invii le richieste al tuo modello tramite una REST API usando strumenti come Python o la CLI e ricevi output JSON strutturati, come oggetti rilevati, punteggi di confidenza e altri dettagli sulle previsioni. Questo rende fluido testare i modelli e integrarli nelle applicazioni.

Poiché il sistema è condiviso, è progettato per lo sviluppo, il test e un utilizzo leggero. Funziona bene per convalidare le previsioni e costruire le prime integrazioni. Allo stesso tempo, le prestazioni possono variare in base al carico del sistema e l'utilizzo è limitato a 20 richieste al minuto per chiave API, rendendolo meno adatto a carichi di lavoro di produzione ad alto throughput.

Nel complesso, l'inferenza condivisa è più adatta allo sviluppo nelle fasi iniziali, dove l'attenzione è focalizzata sul comprendere e migliorare il proprio modello prima di passare ad applicazioni su scala più ampia.

Link to this sectionImplementa modelli a livello globale usando endpoint dedicati#

Gli endpoint dedicati sono servizi di inferenza single-tenant dove i tuoi modelli di vision AI girano su risorse di calcolo isolate. Invece di condividere l'infrastruttura, ogni endpoint ha il suo runtime con risorse configurabili come CPU e memoria, offrendoti un maggiore controllo sulle prestazioni.

Quando implementi un modello come endpoint dedicato, gli viene assegnato un URL API univoco e usa la tua chiave API per l'autenticazione, facilitando l'integrazione nelle applicazioni. Questi endpoint possono essere implementati in 43 regioni globali, consentendoti di eseguire l'inferenza più vicino ai tuoi utenti e ridurre la latenza.

Fig 2. Puoi implementare endpoint dedicati in 43 regioni globali (Fonte)

Uno dei vantaggi chiave è l'autoscaling. Gli endpoint si adattano automaticamente in base alle richieste in arrivo, scalando verso l'alto per gestire un traffico più elevato e riducendosi quando la domanda cala. Con lo scale-to-zero abilitato per impostazione predefinita, gli endpoint possono spegnersi quando sono inattivi e riavviarsi quando necessario, aiutando a ottimizzare l'utilizzo delle risorse.

In altre parole, gli endpoint dedicati sono progettati per carichi di lavoro di produzione. Forniscono una latenza bassa e costante, un throughput più elevato e una maggiore affidabilità rispetto all'inferenza condivisa.

Inoltre, gli endpoint dedicati non hanno limiti di velocità. Le richieste vanno direttamente al tuo endpoint, quindi la quantità di traffico che puoi gestire dipende dalla tua configurazione e dal ridimensionamento, piuttosto che da limiti fissi.

Oltre a ciò, il monitoraggio integrato, i log, i controlli di integrità e un comportamento di runtime e avvio prevedibile rendono semplice tenere traccia delle prestazioni e mantenere deployment stabili su tutti i piani. Sul piano Free, i cold start richiedono solitamente tra 5 e 45 secondi, mentre gli endpoint del piano Pro rimangono attivi, risultando in prestazioni di inferenza più rapide e prevedibili.

In parole povere, gli endpoint dedicati sono ideali per applicazioni di vision AI in tempo reale che richiedono un'inferenza affidabile, scalabile e ad alte prestazioni.

Link to this sectionInferenza condivisa vs endpoint dedicati: Differenze principali#

Ecco uno sguardo più da vicino a come l'inferenza condivisa e gli endpoint dedicati si confrontano:

• Latenza: La latenza può variare negli ambienti condivisi a causa della condivisione delle risorse, mentre gli endpoint dedicati forniscono risposte più costanti e a bassa latenza.
• Regioni: L'inferenza condivisa è disponibile in poche regioni (US, EU, AP), mentre gli endpoint dedicati supportano il deployment in 43 regioni globali.
• Scalabilità: La scalabilità non è configurabile nell'inferenza condivisa, mentre gli endpoint dedicati scalano automaticamente in base al traffico in arrivo.
• Limiti di velocità: L'inferenza condivisa ha dei limiti di velocità (20 richieste o chiamate API al minuto per chiave API), mentre gli endpoint dedicati non hanno limiti di velocità della piattaforma.
• Prezzi: L'inferenza condivisa è inclusa senza costi aggiuntivi per test e sviluppo, mentre gli endpoint dedicati offrono maggiore controllo e scalabilità, con un utilizzo che dipende dalla configurazione delle risorse e dalle esigenze di deployment.

Link to this sectionPerché gli endpoint dedicati sono migliori per i carichi di lavoro di produzione#

Man mano che le applicazioni di intelligenza artificiale e machine learning passano dal test all'uso nel mondo reale, prestazioni, scalabilità e affidabilità diventano essenziali. Ecco perché gli endpoint dedicati offrono chiari vantaggi rispetto all'inferenza condivisa.

Con gli endpoint dedicati, il tuo modello pre-addestrato o personalizzato viene eseguito sulle sue risorse di calcolo, quindi le prestazioni non sono influenzate da altri utenti. Questo aiuta a mantenere la latenza bassa e costante, il che è importante per applicazioni in tempo reale come l'analisi video e i sistemi di monitoraggio.

Fig 3. Uno sguardo all'implementazione tramite un endpoint di inferenza dedicato (Fonte)

Ad esempio, pensa a un sistema di analisi retail che elabora feed video in diretta in più negozi. Implementando endpoint in 43 regioni globali, l'inferenza può essere eseguita più vicino a ogni negozio, riducendo la latenza e migliorando i tempi di risposta.

Con l'inferenza condivisa, dove le risorse sono condivise e le regioni sono limitate, le prestazioni possono variare durante i periodi di picco.

Gli endpoint dedicati possono anche gestire un traffico più elevato e scalare automaticamente in base alla domanda. Con monitoraggio, log e controlli di integrità integrati, forniscono prestazioni più prevedibili, rendendoli adatti a carichi di lavoro di intelligenza artificiale continui e su larga scala.

Link to this sectionDove si inserisce l'inferenza condivisa nel flusso di lavoro della vision AI#

Mentre esplori le differenze tra inferenza condivisa ed endpoint dedicati, potresti chiederti dove l'inferenza condivisa si inserisca nel flusso di lavoro generale della computer vision.

Riprendiamo l'esempio dell'analisi retail. Prima di implementare una soluzione di visione in più negozi, i team solitamente devono testare le prestazioni su dati reali e perfezionarle in base a tali risultati.

L'inferenza condivisa rende questo processo semplice consentendoti di inviare immagini campione o frame video dalle telecamere del negozio e rivedere rapidamente le previsioni senza configurare alcuna infrastruttura. Questo è particolarmente utile per testare il comportamento del modello, eseguire il debug di previsioni errate e convalidare i risultati in diverse condizioni, come cambiamenti nell'illuminazione o nei layout dei negozi.

Iterando in questo modo, i team possono migliorare l'accuratezza e l'affidabilità del modello prima di passare alla produzione. Una volta che il modello funziona bene in questi scenari di test, può essere quindi implementato su endpoint dedicati per l'uso in tempo reale in più posizioni.

L'inferenza condivisa può anche funzionare bene per applicazioni con utilizzo basso o poco frequente. Ad esempio, un piccolo negozio al dettaglio potrebbe usarla per analizzare occasionalmente il passaggio pedonale o rivedere l'attività dei clienti in momenti specifici, senza aver bisogno di un deployment completamente scalato. In questi casi, fornisce un modo semplice ed economico per eseguire l'inferenza su richiesta.

Link to this sectionCasi d'uso reali degli endpoint dedicati#

Man mano che le applicazioni di IA superano la fase di test, la scelta del deployment inizia a influenzare direttamente prestazioni, scalabilità ed esperienza utente. Gli endpoint dedicati possono essere ampiamente utilizzati in tutti i settori perché forniscono prestazioni stabili, bassa latenza e la capacità di gestire carichi di lavoro su larga scala.

Ecco alcuni casi d'uso comuni che mostrano come gli endpoint dedicati possono essere utilizzati in applicazioni del mondo reale:

• Retail e analisi video: Una catena di negozi al dettaglio può usare la computer vision per tracciare il movimento dei clienti, identificare i prodotti popolari e monitorare l'attività del negozio in tempo reale. Gli endpoint dedicati mantengono l'inferenza veloce e costante in più sedi di negozi, anche durante le ore di punta.
• Manifatturiero e ispezione di qualità: Su una linea di produzione, i modelli possono rilevare difetti o anomalie man mano che i prodotti si muovono attraverso il sistema. Gli endpoint dedicati supportano un'inferenza continua e in tempo reale, aiutando i team a individuare problemi tempestivamente e mantenere la qualità del prodotto senza rallentare le operazioni.
• Sanità e diagnostica per immagini: Gli operatori sanitari e i laboratori diagnostici possono fare affidamento sui modelli di visione per analizzare immagini mediche come radiografie o scansioni. Gli endpoint dedicati forniscono prestazioni affidabili e costanti, fondamentali quando si gestiscono dati sensibili e diagnosi urgenti.
• Automazione di magazzino e logistica: I grandi magazzini operano spesso con molteplici sistemi identici, come nastri trasportatori e linee di smistamento, agendo efficacemente come repliche della stessa configurazione. I modelli di computer vision possono monitorare ogni replica per rilevare problemi come ingorghi o pacchi smistati erroneamente. Gli endpoint dedicati assicurano un'inferenza costante su tutte le repliche in tempo reale.

Link to this sectionTransizione dall'inferenza condivisa agli endpoint dedicati#

Uno dei vantaggi chiave della Ultralytics Platform è quanto sia semplice passare dall'inferenza condivisa agli endpoint dedicati man mano che la tua applicazione cresce. Invece di cambiare strumenti o ricostruire la tua configurazione, puoi passare a un deployment pronto per la produzione all'interno dello stesso ambiente.

Dopo aver testato il tuo modello con l'inferenza condivisa, passare a un endpoint dedicato è un passaggio successivo immediato. Puoi implementare lo stesso modello su un endpoint, scegliere la regione e le risorse di calcolo preferite e aggiornare l'URL dell'endpoint nella tua applicazione. L'integrazione complessiva rimane simile, quindi non c'è quasi alcun cambiamento nel modo in cui invii le richieste o gestisci le risposte.

Fig 4. Visualizzazione di un URL di endpoint dedicato su Ultralytics Platform (Fonte)

Ciò significa che puoi scalare dal test alla produzione con pochi clic. Man mano che il tuo carico di lavoro aumenta o la tua applicazione richiede prestazioni più costanti, puoi passare agli endpoint dedicati senza interrompere il tuo flusso di lavoro esistente.

Per saperne di più sull'implementazione dei modelli tramite endpoint dedicati sulla Ultralytics Platform, consulta la documentazione ufficiale della Ultralytics Platform.

Link to this sectionPunti chiave#

L'inferenza condivisa è un ottimo punto di partenza per test e sperimentazione, ma i carichi di lavoro di produzione richiedono maggiore coerenza e scalabilità. Man mano che le applicazioni crescono, gli endpoint dedicati forniscono le prestazioni e l'affidabilità necessarie per supportare l'uso nel mondo reale. Questo li rende la scelta migliore per la maggior parte dei deployment di produzione.

Unisciti alla nostra community ed esplora il nostro repository GitHub per saperne di più sui modelli di computer vision. Leggi le applicazioni come IA in agricoltura e computer vision nella robotica sulle nostre pagine delle soluzioni. Dai un'occhiata alle nostre opzioni di licenza e inizia con la vision AI.