Cloud Computing

Il cloud computing è la fornitura su richiesta di risorse di calcolo, inclusi server, archiviazione, database, reti, GPU e applicazioni software complete, tramite Internet dai data center di un provider, con costi calcolati in base all'utilizzo. Nel 2011 il National Institute of Standards and Technology degli Stati Uniti lo ha definito in NIST SP 800-145 attraverso cinque caratteristiche essenziali: self-service su richiesta, ampio accesso alla rete, condivisione delle risorse tra molti clienti, rapida elasticità e servizio misurato. Amazon Web Services ha lanciato i servizi di archiviazione S3 e di calcolo EC2 nel 2006; oggi AWS, Microsoft Azure e Google Cloud sono i provider più grandi. Per l'intelligenza artificiale, il cloud trasforma acceleratori costosi in una risorsa che si può noleggiare per un pomeriggio: è così che la maggior parte dei team addestra modelli di grandi dimensioni senza possedere un data center.

Modelli di servizio e di deployment#

I modelli di servizio si differenziano per la quantità di componenti dello stack gestiti dal provider:

• Infrastructure as a Service (IaaS): Macchine virtuali, archiviazione a blocchi e reti, mentre il cliente gestisce il sistema operativo, i driver e il software. Le macchine virtuali GPU come le istanze Amazon EC2 P5 sono IaaS.
• Platform as a Service (PaaS): Ambienti di esecuzione, database e cluster Kubernetes gestiti, in cui il cliente distribuisce il codice e il provider si occupa dei server e delle patch. Le piattaforme ML gestite come Amazon SageMaker, Google Vertex AI e Azure Machine Learning aggiungono job di addestramento ed endpoint di modelli.
• Elaborazione serverless: Funzioni o container che si avviano a ogni richiesta, si ridimensionano fino a zero quando sono inattivi e addebitano i costi per richiesta e tempo di esecuzione; è un modello più recente che nasconde completamente i server.
• Software as a Service (SaaS): Applicazioni complete utilizzate in un browser o tramite API, che non richiedono alcuna gestione da parte del cliente.

NIST indica anche quattro modelli di deployment: cloud pubblici condivisi da molti clienti, cloud privati destinati a una sola organizzazione, cloud di comunità condivisi da organizzazioni con requisiti comuni e cloud ibridi che li combinano. In ogni modello, i provider seguono un modello di responsabilità condivisa: il provider protegge i data center fisici e il livello di virtualizzazione, mentre il cliente è responsabile delle identità, delle configurazioni e della sicurezza dei dati.

Cloud computing per l'IA#

L'addestramento è la fase dell'IA che richiede più risorse di calcolo. I provider cloud noleggiano singole GPU o cluster di acceleratori NVIDIA H100, H200 e B200 collegati da interconnessioni ad alta larghezza di banda per l'addestramento distribuito; Google Cloud offre anche le proprie TPU. La capacità inutilizzata costa meno: le istanze spot AWS costano fino al 90% in meno rispetto ai prezzi on demand, ma possono essere revocate con un preavviso di due minuti; perciò i job che le usano salvano abbastanza spesso i pesi del modello per poter riprendere.

La posizione dei dati incide sui costi del cloud. I dataset risiedono nell'archiviazione di oggetti, spesso organizzata come data lake, e i provider applicano tariffe per l'uscita dei dati dalla propria rete, mentre l'ingresso è solitamente gratuito; perciò le risorse di calcolo per l'addestramento tendono a trovarsi nella stessa regione dei big data che elaborano. Per l'inferenza, i modelli inseriti in container Docker vengono eseguiti su endpoint gestiti per la distribuzione dei modelli o su cluster Kubernetes che aggiungono o rimuovono repliche al variare del traffico: questa è la rapida elasticità della definizione NIST; inoltre, le regioni vicine agli utenti mantengono bassa la latenza di inferenza. Le piattaforme ML cloud ospitano anche gli strumenti MLOps correlati per il tracciamento degli esperimenti, i registri dei modelli e il monitoraggio dei modelli.

Ultralytics Platform applica questo modello di noleggio a consumo all'addestramento YOLO: l'addestramento cloud offre 26 tipi di GPU, da una RTX 2000 Ada da 16 GB a una B300 da 288 GB, addebita il tempo GPU effettivamente usato da un'esecuzione e, se la GPU selezionata non è disponibile, propone quella disponibile più simile, dando priorità alla VRAM, poi alla velocità e infine al prezzo.

Cloud computing e edge computing a confronto#

L'edge computing elabora i dati sui dispositivi che li producono o nelle loro vicinanze, come telecamere, robot e gateway, evitando il percorso di andata e ritorno in rete verso un data center e continuando a funzionare quando la connessione cade. Il cloud computing centralizza una capacità elastica per i job che ne hanno più bisogno: addestramento, elaborazione in batch di grandi dimensioni, archiviazione a lungo termine e servizi i cui utenti possono tollerare decine di millisecondi di ritardo di rete. La maggior parte dei sistemi di visione artificiale combina i due approcci. Un modello addestrato su GPU cloud viene esportato in un formato compatto come ONNX o TensorRT ed eseguito come IA edge sul dispositivo; il dispositivo invia poi rilevamenti e immagini selezionate al cloud, dove diventano dati di addestramento per la versione successiva del modello.