Scalability

La scalabilità si riferisce alla capacità di un sistema, di una rete o di un processo di gestire una quantità crescente di lavoro aggiungendo risorse. Nel contesto di Artificial Intelligence (AI) e Machine Learning (ML), la scalabilità descrive la capacità di un modello o di un'infrastruttura di mantenere i livelli di prestazioni all'aumentare della domanda. Questa domanda si manifesta tipicamente in set di dati più ampi durante l'addestramento, in un maggiore traffico di utenti durante l'inferenza o in una maggiore complessità nei compiti computazionali. Un'architettura scalabile consente un'espansione senza interruzioni, sia che si tratti di distribuire un modello di computer vision su un singolo dispositivo incorporato o di servire milioni di richieste API tramite cluster cloud, garantendo che l'inference latency rimanga bassa anche sotto carico pesante.

L'importanza della scalabilità nell'AI#

Progettare pensando alla scalabilità è un componente fondamentale di operazioni di Machine Learning Operations (MLOps) di successo. Un modello che funziona perfettamente in un ambiente di ricerca controllato potrebbe fallire se esposto a flussi di dati ad alta velocità presenti nella produzione. La gestione efficace dei Big Data richiede sistemi in grado di scalare orizzontalmente (aggiungendo più macchine a un cluster) o verticalmente (aggiungendo più potenza, come RAM o GPU, alle macchine esistenti).

I principali vantaggi dei sistemi AI scalabili includono:

• Affidabilità: I sistemi scalabili garantiscono un uptime del servizio costante durante picchi di traffico imprevisti, prevenendo crash in applicazioni critiche.
• Efficienza dei costi: Lo scaling dinamico consente alle risorse di ridursi durante i periodi di basso utilizzo, una funzione spesso gestita da piattaforme di cloud computing come AWS o Google Cloud.
• A prova di futuro: Un'infrastruttura scalabile accoglie algoritmi più nuovi e complessi, come i vision transformers (ViT), senza richiedere una revisione completa dell'ecosistema hardware.

Strategie per raggiungere la scalabilità#

Creare soluzioni AI scalabili implica l'ottimizzazione sia dell'architettura del modello che dell'infrastruttura di distribuzione.

• Addestramento distribuito: Quando i set di dati di addestramento diventano troppo grandi per un singolo processore, l'distributed training suddivide il carico di lavoro su più Graphics Processing Units (GPUs). Framework come PyTorch Distributed consentono agli sviluppatori di parallelizzare i calcoli, riducendo significativamente il tempo necessario per addestrare i modelli di base. Strumenti come Ultralytics Platform semplificano questo processo gestendo automaticamente le risorse di addestramento nel cloud.
• Architetture di modelli efficienti: La selezione dell'architettura di modello giusta è fondamentale per la velocità effettiva. L'ultimo Ultralytics YOLO26 è progettato per essere più piccolo e veloce dei suoi predecessori, risultando scalabile in modo nativo su diversi hardware, dai dispositivi edge AI alle enormi farm di server.
• Containerizzazione e orchestrazione: Il confezionamento delle applicazioni con Docker garantisce che vengano eseguite in modo coerente su diversi ambienti. Per la gestione di grandi cluster di container, Kubernetes automatizza la distribuzione, il dimensionamento e la gestione delle applicazioni containerizzate.
• Ottimizzazione dei modelli: Tecniche come la model quantization e il pruning riducono l'impronta di memoria e il costo computazionale di un modello. Strumenti come NVIDIA TensorRT possono accelerare ulteriormente le velocità di inferenza, consentendo una maggiore velocità effettiva sull'hardware esistente.

Esempio di codice: Inferenza in batch scalabile#

Un metodo efficace per migliorare la scalabilità durante l'inferenza è elaborare gli input in batch anziché sequenzialmente. Questo massimizza l'utilizzo della GPU e aumenta il throughput complessivo.

from ultralytics import YOLO

# Load a scalable YOLO26 model (smaller 'n' version for speed)
model = YOLO("yolo26n.pt")

# Define a batch of images (URLs or local paths)
# Processing multiple images at once leverages parallel computation
batch_images = ["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"]

# Run inference on the batch
results = model(batch_images)

# Print the number of detections for the first image
print(f"Detected {len(results[0].boxes)} objects in the first image.")

Applicazioni nel mondo reale#

La scalabilità consente alle tecnologie AI di passare dalla ricerca teorica agli strumenti industriali globali.

• Produzione intelligente: Nel campo di AI in manufacturing, i sistemi di ispezione automatizzati devono analizzare migliaia di componenti all'ora su linee di montaggio ad alta velocità. Un sistema di object detection scalabile garantisce che, man mano che le velocità di produzione aumentano, il processo di controllo qualità mantenga un'elevata accuracy senza diventare un collo di bottiglia.
• Motori di raccomandazione per la vendita al dettaglio: Le principali piattaforme di e-commerce utilizzano recommendation systems per fornire istantaneamente milioni di suggerimenti di prodotti personalizzati. Un'infrastruttura scalabile consente a queste piattaforme di gestire eventi massicci come il Black Friday, in cui il traffico può aumentare di 100 volte, eseguendo il provisioning dinamico di nodi server aggiuntivi tramite Microsoft Azure o provider simili.

Scalabilità vs. concetti correlati#

Sebbene vengano spesso usati in modo intercambiabile, la scalabilità si distingue dalle prestazioni e dall'efficienza.

• Scalabilità vs. Prestazioni: Le Performance si riferiscono tipicamente alla velocità o alla precisione di un sistema in un momento specifico (ad esempio, fotogrammi al secondo). La scalabilità descrive la capacità del sistema di mantenere tali prestazioni all'aumentare del carico di lavoro.
• Scalabilità vs. Efficienza: L'efficienza misura le risorse utilizzate per completare un compito specifico (ad esempio, il consumo energetico per inferenza). Un sistema può essere efficiente ma non scalabile (se non è in grado di gestire compiti in parallelo), oppure scalabile ma inefficiente (se utilizza risorse eccessive per gestire la crescita).
• Scalabilità vs. Flessibilità: La flessibilità consente a un sistema di gestire diversi tipi di attività, come YOLO11 che gestisce il rilevamento, la segmentazione e la stima della posa. La scalabilità si concentra specificamente sulla gestione di una quantità maggiore della stessa attività.