Model Registry

モデルレジストリは、バージョン管理されたトレーニング済み機械学習モデルのカタログです。各エントリーには、モデルの重みファイルなどのモデルアーティファクトと、それを信頼するために必要なメタデータが保存されます。具体的には、生成元のトレーニング実行、データバージョン、平均適合率（mAP）などの評価指標、入出力スキーマ、所有者、承認状況です。デプロイパイプラインやアプリケーションは、重みファイルを受け渡す代わりに、指定されたバージョン、または現在本番ラベルが付いているバージョンをレジストリに要求します。そのため、すべてのリリースとロールバックが、正確に記録されたモデルを参照します。機械学習運用（MLOps）では、レジストリは実験トラッキングとモデルデプロイの間に位置します。広く使われているレジストリには、MLflow Model Registry、Amazon SageMaker Model Registry、Vertex AI Model Registry、Weights & Biases Registryがあります。

モデルレジストリの仕組み#

登録済みモデルとは、defect-detectorのような名前で、複数のバージョンを保持するものです。各バージョンは登録後に不変となるため、新しい重みは常に新しいバージョンになり、バージョン7は常に同じバイト列を表します。通常、各バージョンには次の情報が記録されます。

• 系譜： 生成元の実行ID、コードのコミット、データセットのバージョン、親モデル。
• 評価結果： 検証指標に加え、各対象デバイスで測定したレイテンシとメモリ使用量。
• シグネチャ： 想定される入出力スキーマです。誤った形状を送信した呼び出し元は、すぐにエラーになります。
• モデルカード： 想定用途、学習データ、既知の制限事項に関するドキュメント。
• ステータス： バージョンの状態を示すタグとエイリアス。

Ultralytics Platformは、ホストするすべてのYOLO学習実行について、この種の記録を保持します。モデルページには、親モデル、固定されたデータセットのバージョン、Gitコミット、ultralyticsのバージョン、ハイパーパラメーター、最終指標、再現可能なyolo trainコマンドが表示されます。また、カスタムメタデータ欄には、リリース管理やガバナンス向けのJSONオブジェクトを入力できます。

以前のレジストリでは、各バージョンをStaging、Production、Archivedなどの固定ステージ間で移動させていました。MLflowはバージョン2.9.0でステージを廃止し、エイリアスを導入しました。エイリアスは@championのような変更可能な名前付きポインターで、チームがバージョン間で移動させます。Amazon SageMakerでは、各バージョンにPendingManualApproval、Approved、Rejectedのいずれかの承認ステータスを記録します。モデルの昇格はエイリアスを移動することであり、ロールバックはエイリアスを元に戻すことです。

レジストリは、誰が何を変更できるかも管理します。データサイエンティストはバージョンを登録し、指定されたレビュー担当者は本番エイリアスを移動させ、すべての変更が監査ログに記録されます。チームはこうしたイベントを自動化に連携させることがよくあります。バージョンの承認をデプロイパイプラインの開始につなげたり、データドリフトに関するモデル監視のアラートを、次の候補モデルを登録する再学習の開始につなげたりできます。

MLflowのレジストリでは、このパターンを数行のコードで確認できます。このスクリプトは小さなscikit-learn分類器を学習して登録し、新しいバージョンにchampionエイリアスを割り当て、そのエイリアス経由でモデルを読み込みます。これは、モデルサービングのコードが現在の本番モデルを取得する方法です。

import mlflow
from mlflow import MlflowClient
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression

# Keep runs and registered model versions in a local SQLite file
mlflow.set_tracking_uri("sqlite:///mlflow.db")
X, y = load_iris(return_X_y=True)

# Log a trained model inside a run, then register it as a new version
with mlflow.start_run():
    model = LogisticRegression(max_iter=200).fit(X, y)
    info = mlflow.sklearn.log_model(model, name="model")
version = mlflow.register_model(info.model_uri, "iris-classifier")

# Point the "champion" alias at this version; applications load the alias
MlflowClient().set_registered_model_alias("iris-classifier", "champion", version.version)
champion = mlflow.pyfunc.load_model("models:/iris-classifier@champion")
print(f"version {version.version}:", champion.predict(X[:3]))

新しいデータベースでスクリプトを実行すると、登録済みバージョンと最初の3つの花の予測クラスを示すversion 1: [0 0 0]が出力されます。再度実行するとバージョン2が登録され、同じmodels:/iris-classifier@champion URIがエイリアスに従って新しいバージョンを参照するため、読み込みコードを変更する必要はありません。

モデルレジストリと関連ツールの比較#

• 実験トラッキング： 使用されないものも含め、すべての学習実行を記録します。レジストリは、デプロイする価値のある候補を選別し、各バージョンを生成元の実行に関連付けます。
• オブジェクトストレージ： Amazon S3などのバケットにファイルを保存します。レジストリはバージョン、メタデータ、アクセス制御を追加し、多くの場合、バケット内のファイルへのポインターだけを保存します。
• 特徴量ストア： モデルが使用する入力特徴量をバージョン管理して配信します。モデル自体はレジストリに保管します。
• コンテナレジストリ： モデルを実行するDockerイメージを保存します。通常、デプロイではイメージタグとモデルバージョンをそれぞれ1つ指定します。
• Hugging Face Hub： Gitリポジトリで公開モデルと非公開モデルをホストします。コミット履歴と各リポジトリのトップページにあるモデルカードにより、オープンウェイトモデルのレジストリとして機能します。