LLMOps

LLMOps (operazioni sui modelli linguistici di grandi dimensioni) è l'insieme di pratiche e strumenti per creare, rilasciare e gestire in produzione applicazioni basate su modelli linguistici di grandi dimensioni (LLM). Comprende il versionamento dei prompt e delle scelte dei modelli, la valutazione del testo generato prima e dopo il rilascio, il tracciamento delle richieste articolate in più passaggi tra recupero e chiamate agli strumenti, il controllo della latenza e dei costi dei token e la protezione da problemi quali allucinazioni e prompt injection. LLMOps è il ramo delle operazioni di machine learning (MLOps) dedicato a queste applicazioni; il termine si è diffuso nel 2023, quando le aziende hanno iniziato a trasformare i prototipi di chatbot in prodotti. La maggior parte dei team adatta un modello fondazionale ospitato o a pesi aperti tramite prompt engineering, generazione aumentata dal recupero (RAG) o fine-tuning, invece di addestrarne uno da zero; gran parte del lavoro operativo si sposta così dalle pipeline di addestramento a tutto ciò che circonda il modello.

In che cosa LLMOps differisce da MLOps#

L'unità di rilascio è più ampia di un insieme di pesi. Una modifica può riguardare il modello di prompt, il nome e la versione del modello, le impostazioni di campionamento, l'indice di recupero e le definizioni degli strumenti; ogni elemento viene versionato, perché ciascuno può alterare il comportamento. Gli strumenti di gestione dei prompt archiviano i modelli con numeri di versione che un'applicazione recupera in fase di esecuzione, così una modifica al prompt può essere distribuita e annullata senza rilasciare codice. Anche i modelli ospitati possono cambiare senza che l'applicazione venga modificata, quindi i team fissano versioni specifiche con data, se il fornitore le offre, e ripetono i test prima di passare a una versione nuova. Cambia anche il lavoro sui dati: un'applicazione RAG versiona i documenti, le impostazioni di suddivisione in blocchi e il modello di embedding alla base dell'indice di ricerca; cambiare modello di embedding significa ricalcolare gli embedding dell'intero corpus. Le varianti sottoposte a fine-tuning sono spesso archiviate come piccoli adattatori LoRA, che un server carica sopra un modello di base condiviso.

La valutazione è più difficile perché il testo generato raramente ha un'unica risposta corretta. I team mantengono un dataset di riferimento di input rappresentativi con risposte di riferimento o rubriche di valutazione e assegnano punteggi mediante verifiche esatte, revisione umana o valutazione di un LLM, in cui un modello potente giudica le risposte. Nell'articolo del 2023 Judging LLM-as-a-Judge, Lianmin Zheng e colleghi hanno rilevato che GPT-4 concordava con le preferenze umane oltre l'80% delle volte, con una frequenza pari a quella dell'accordo tra esseri umani. Ogni rilascio candidato viene sottoposto alla stessa suite di test e il traffico in produzione continua ad aggiungere casi:

Costi e latenza si gestiscono per richiesta. I modelli ospitati fatturano per token, quindi i team riducono le spese con la memorizzazione nella cache dei prompt, la memorizzazione nella cache semantica e l'instradamento dei modelli, che indirizza le richieste semplici verso modelli più piccoli. Un approccio correlato antepone un modello economico a uno costoso: il modello YOLO → VLM Monitor in Ultralytics Platform Agents esegue prima YOLO26 e chiama il modello visione-linguaggio solo per le immagini in cui YOLO rileva una persona; l'utilizzo del modello linguistico viene addebitato alla chiave del fornitore del workspace stesso. Le misure di sicurezza procedono in parallelo: le protezioni per l'IA filtrano input e output a ogni richiesta e il red teaming cerca vulnerabilità di jailbreak prima di ogni rilascio.

Tracciamento, gateway e serving#

L'osservabilità delle applicazioni LLM si basa sulle tracce. Ogni richiesta diventa un albero di span per il prompt, ogni chiamata al modello, ogni recupero da un database vettoriale e ogni chiamata a uno strumento da parte di un agente di IA, con il numero di token, la latenza e il costo associati. Le convenzioni semantiche per l'IA generativa di OpenTelemetry standardizzano i nomi degli attributi per i modelli e l'uso dei token; strumenti come LangSmith, Langfuse, Arize Phoenix e MLflow Tracing archiviano e permettono di cercare le tracce. Le tracce alimentano anche la valutazione online: le risposte di produzione campionate vengono valutate con gli stessi giudici e rubriche della suite offline, e il pollice in su o in giù di ogni utente viene associato alla traccia che ha generato la risposta.

Un gateway per l'IA si colloca tra le applicazioni e i fornitori di modelli, custodendo le chiavi API e applicando in un unico punto limiti di frequenza, opzioni di fallback e budget di spesa. I team che ospitano modelli a pesi aperti li eseguono su server di inferenza come vLLM e SGLang, che usano il batching continuo e la memoria KV cache paginata per gestire numerose richieste simultanee su ogni GPU.