Model Registry

Un registro dei modelli è un catalogo versionato di modelli di machine learning addestrati. Ogni voce archivia un artefatto del modello, come un file di pesi del modello, insieme ai metadati necessari per potersi fidare del modello: l'esecuzione di addestramento che lo ha prodotto, la versione dei dati, metriche di valutazione come la precisione media media (mAP), lo schema di input e output, il proprietario e lo stato di approvazione. Le pipeline di distribuzione e le applicazioni richiedono al registro una versione specifica o quella che ha attualmente l'etichetta di produzione, anziché scambiarsi file dei pesi; ogni release e rollback fa così riferimento a un modello esatto e registrato. Nelle operazioni di machine learning (MLOps), il registro si trova tra il tracciamento degli esperimenti e la distribuzione del modello. Tra i registri più diffusi ci sono il registro dei modelli MLflow, Amazon SageMaker Model Registry, Vertex AI Model Registry e il registro di Weights & Biases.

Come funziona un registro dei modelli#

Un modello registrato è identificato da un nome, come defect-detector, a cui è associata una sequenza di versioni. Una volta registrata, ogni versione è immutabile: i nuovi pesi diventano sempre una nuova versione e la versione 7 corrisponde sempre agli stessi byte. In genere, una versione registra:

• Provenienza: l’ID dell’esecuzione, il commit del codice, la versione del dataset e il modello padre che l’hanno generata.
• Risultati della valutazione: metriche di convalida, oltre a latenza e memoria misurate su ciascun dispositivo di destinazione.
• Firma: lo schema di input e output previsto, per segnalare subito un errore se un chiamante invia una forma errata.
• Scheda del modello: documentazione sull’uso previsto, sui dati di addestramento e sui limiti noti.
• Stato: tag e alias che indicano lo stato della versione.

Ultralytics Platform conserva questo tipo di registrazione per ogni esecuzione di addestramento YOLO ospitata: la pagina del modello elenca il modello padre, la versione fissata del dataset, il commit Git, la versione ultralytics, gli iperparametri, le metriche finali e un comando yolo train riproducibile; inoltre, un campo Metadati personalizzati accetta un oggetto JSON per il monitoraggio dei rilasci o la governance.

I registri più datati spostavano ogni versione tra fasi fisse, come Staging, Production e Archived. Nella versione 2.9.0, MLflow ha deprecato le fasi a favore degli alias, puntatori modificabili con nomi come @champion che un team può spostare tra le versioni. Amazon SageMaker registra per ogni versione uno stato di approvazione: PendingManualApproval, Approved o Rejected. Promuovere un modello significa spostarne l’alias; eseguire un rollback significa riportare l’alias alla versione precedente:

I registri controllano anche chi può modificare cosa. I data scientist possono registrare versioni, i revisori designati spostano l’alias di produzione e ogni modifica viene inserita in un registro di audit. Spesso i team collegano questi eventi ad automazioni: l’approvazione di una versione avvia la pipeline di distribuzione, mentre un avviso di monitoraggio del modello relativo alla deriva dei dati avvia il nuovo addestramento che registra il candidato successivo.

Il registro di MLflow mostra il procedimento in poche righe. Questo script addestra un piccolo classificatore scikit-learn, lo registra, assegna alla nuova versione l’alias champion e carica il modello tramite l’alias: è così che il codice di distribuzione del modello individua il modello attualmente in produzione:

import mlflow
from mlflow import MlflowClient
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression

# Keep runs and registered model versions in a local SQLite file
mlflow.set_tracking_uri("sqlite:///mlflow.db")
X, y = load_iris(return_X_y=True)

# Log a trained model inside a run, then register it as a new version
with mlflow.start_run():
    model = LogisticRegression(max_iter=200).fit(X, y)
    info = mlflow.sklearn.log_model(model, name="model")
version = mlflow.register_model(info.model_uri, "iris-classifier")

# Point the "champion" alias at this version; applications load the alias
MlflowClient().set_registered_model_alias("iris-classifier", "champion", version.version)
champion = mlflow.pyfunc.load_model("models:/iris-classifier@champion")
print(f"version {version.version}:", champion.predict(X[:3]))

Con un database appena creato, lo script stampa version 1: [0 0 0], la versione registrata e le classi predette per i primi tre fiori. Eseguendolo di nuovo si registra la versione 2; lo stesso URI models:/iris-classifier@champion segue l’alias fino alla nuova versione, senza modificare il codice di caricamento.

Registro dei modelli e strumenti correlati#

• Tracciamento degli esperimenti: registra ogni esecuzione di addestramento, comprese quelle mai utilizzate. Il registro conserva i pochi candidati che vale la pena distribuire e collega ogni versione alla relativa esecuzione.
• Archiviazione di oggetti: i bucket, come Amazon S3, conservano i file. Un registro aggiunge versioni, metadati e controllo degli accessi, e spesso memorizza soltanto un puntatore al file nel bucket.
• Archivio delle caratteristiche: versiona e fornisce le caratteristiche di input consumate dai modelli, mentre i modelli stessi restano nel registro.
• Registro dei container: conserva le immagini Docker che eseguono i modelli; di solito una distribuzione specifica un tag dell’immagine e una versione del modello.
• Hugging Face Hub: ospita modelli pubblici e privati in repository Git con cronologia dei commit e una scheda del modello sulla pagina principale di ciascun repository, fungendo così da registro per i modelli con pesi aperti.