Model Serving

Il model serving è il processo di rendere un modello di machine learning (ML) addestrato disponibile per ricevere dati di input e restituire previsioni in un ambiente di produzione. Una volta che un modello è stato addestrato e validato, il serving è il passo critico che lo trasforma da un file statico a uno strumento attivo e operativo in grado di alimentare applicazioni del mondo reale. Ciò comporta l'implementazione del modello su un server e la creazione di un'interfaccia, tipicamente una API, che consente ad altri sistemi software di comunicare con esso per l'inferenza in tempo reale.

Sebbene strettamente correlato, il model serving è un componente specifico all'interno del più ampio processo di model deployment. Il deployment comprende l'intero flusso di lavoro di integrazione di un modello in un ambiente di produzione, inclusa la configurazione dell'infrastruttura e il monitoraggio. Il model serving si riferisce specificamente alla parte di quell'infrastruttura responsabile dell'esecuzione del modello e della gestione efficiente delle richieste di inferenza.

Componenti chiave del Model Serving

Un sistema di model serving robusto è costituito da diversi componenti integrati che lavorano insieme per fornire previsioni rapide e affidabili.

• Formato del Modello: Prima del serving, un modello deve essere impacchettato in un formato standardizzato. Formati come ONNX garantiscono l'interoperabilità tra diversi framework. Per le massime prestazioni, i modelli possono essere ottimizzati utilizzando strumenti come TensorRT per GPU NVIDIA.
• Framework di serving: Software specializzato che carica il modello, gestisce le risorse hardware come le GPU ed elabora le richieste di inferenza. I framework più diffusi includono TensorFlow Serving, PyTorch Serve e l' NVIDIA Triton Inference Server ad alte prestazioni, che può essere utilizzato con i modelli Ultralytics tramite la nostra guida all'integrazione di Triton.
• Endpoint API: Questo è il gateway di comunicazione che consente alle applicazioni client di inviare dati (come un'immagine o un testo) e ricevere la previsione del modello. REST e gRPC sono protocolli API comuni utilizzati per questo scopo.
• Infrastruttura: L'hardware fisico o virtuale in cui viene eseguito il modello. Questo può variare dai server on-premise alle piattaforme di cloud computing come Amazon SageMaker e Google Cloud AI Platform. Per le applicazioni che richiedono bassa latenza, i modelli vengono spesso serviti su dispositivi edge AI. La containerizzazione con strumenti come Docker è essenziale per creare ambienti di serving portabili e scalabili.
• Monitoraggio e logging: Monitoraggio continuo delle prestazioni del modello e dello stato del sistema. Ciò include il monitoraggio di metriche come la latenza di inferenza e il throughput, nonché la sorveglianza di problemi come la data drift, che può degradare l'accuratezza del modello nel tempo. Puoi saperne di più nella nostra guida al monitoraggio del modello.

Applicazioni nel mondo reale

Il model serving è il motore alla base di innumerevoli funzionalità basate sull'IA.

1. Gestione dell'inventario basata sull'IA: Un'azienda di vendita al dettaglio utilizza un modello Ultralytics YOLO11 per la gestione dell'inventario in tempo reale. Il modello è confezionato in formato ONNX e servito su un piccolo computer edge all'interno del negozio. Una telecamera invia un flusso video all'endpoint di servizio, che esegue il rilevamento di oggetti per contare gli articoli sugli scaffali e invia avvisi quando le scorte sono basse.
2. Analisi di immagini mediche nel cloud: Un sistema ospedaliero implementa un sofisticato modello di computer vision per l'analisi di immagini mediche. A causa delle grandi dimensioni del modello e delle esigenze computazionali, viene servito su un potente server cloud con più GPU. I radiologi caricano scansioni ad alta risoluzione tramite un portale sicuro, che chiama l'API di servizio. Il modello restituisce previsioni che aiutano a identificare potenziali anomalie, migliorando la velocità e l'accuratezza della diagnosi.

Il ruolo di MLOps

Il model serving è una pietra angolare delle Machine Learning Operations (MLOps). Una buona strategia MLOps assicura che l'intero ciclo di vita—dal pre-processing dei dati e dall'addestramento del modello al serving e al monitoraggio—sia automatizzato, affidabile e scalabile. Piattaforme come Ultralytics HUB sono progettate per semplificare l'intero flusso di lavoro, fornendo una soluzione integrata per addestrare, versionare e servire efficacemente i modelli di computer vision.