モデル・サービング

モデルサービングとは、トレーニングされた機械学習（ML）モデルが本番環境で入力データを受け取り、予測を返すことができるようにするプロセスです。いったんモデルがトレーニングされ検証されると、サービングは、それを静的なファイルから、実世界のアプリケーションに力を与えることができるアクティブで運用可能なツールに変換する重要なステップです。サーバー上にモデルをデプロイし、他のソフトウェアシステムがリアルタイムで推論を行うためにモデルと通信できるインターフェース（通常はAPI）を作成します。

密接に関連していますが、モデルサービングは、モデルデプロイメントという広範なプロセスの中の特定のコンポーネントです。デプロイメントには、インフラストラクチャーのセットアップやモニタリングなど、モデルを本番環境に統合するワークフロー全体が含まれます。モデルサービングとは、特に、モデルの実行と推論リクエストの効率的な処理を担当するインフラストラクチャの一部を指します。

モデル・サービングの主要な構成要素

ロバストなモデルサービングシステムは、高速で信頼性の高い予測を実現するために連携する複数の統合コンポーネントで構成される。

• モデルのフォーマット：サービスを提供する前に、モデルは標準化されたフォーマットにパッケージされなければならない。ONNXのようなフォーマットは、異なるフレームワーク間での相互運用性を保証します。パフォーマンスを最大化するために、NVIDIA GPU用のTensorRTのようなツールを使用してモデルを最適化することができます。
• サービング・フレームワーク：モデルをロードし、GPUなどのハードウェアリソースを管理し、推論要求を処理する専用ソフトウェア。一般的なフレームワークには、TensorFlow Serving、PyTorch Serve、高性能なNVIDIA Triton Inference Serverなどがあります。
• APIエンドポイント：これは、クライアントアプリケーションがデータ（画像やテキストなど）を送信し、モデルの予測を受信するための通信ゲートウェイです。RESTとgRPCは、この目的で使用される一般的なAPIプロトコルです。
• インフラストラクチャー：モデルを実行する物理的または仮想的なハードウェア。オンプレミスのサーバーから、Amazon SageMakerや Google Cloud AI Platformのようなクラウド・コンピューティング・プラットフォームまで多岐にわたる。低レイテンシーを必要とするアプリケーションの場合、モデルはエッジAIデバイスで提供されることが多い。Dockerのようなツールによるコンテナ化は、ポータブルでスケーラブルなサービング環境を構築するために不可欠です。
• モニタリングとロギング：モデルのパフォーマンスとシステムの健全性を継続的に追跡します。これには、推論レイテンシやスループットなどのメトリクスのモニタリングや、時間の経過とともにモデルの精度を低下させるデータ・ドリフトなどの問題の監視が含まれます。詳しくは、モデル・モニタリングのガイドをご覧ください。

実世界での応用

モデル・サービングは、数え切れないほどのAI機能を支えるエンジンだ。

1. AIを活用した在庫管理：ある小売企業は、リアルタイムの在庫管理にUltralyticsのYOLO11モデルを使用している。このモデルはONNX形式でパッケージ化され、店内の小型エッジコンピュータで提供される。カメラはビデオ・フィードをサービング・エンドポイントに送信し、エンドポイントはオブジェクト検出を実行して棚の商品をカウントし、在庫が少なくなるとアラートを送信する。
2. クラウドでの医療画像解析：ある病院システムは、医療画像解析用の高度なコンピュータ・ビジョン・モデルを導入しています。モデルのサイズが大きく、計算が必要なため、複数のGPUを搭載した強力なクラウドサーバーで提供している。放射線科医は、安全なポータルを通じて高解像度のスキャン画像をアップロードし、APIを呼び出します。モデルは、潜在的な異常の特定を支援する予測を返し、診断のスピードと精度を向上させる。

MLOの役割

モデルサービングは機械学習オペレーション（MLOps）の要である。優れたMLOps戦略は、データの前処理、モデルのトレーニングから配信、モニタリングに至るライフサイクル全体が自動化され、信頼性が高く、スケーラブル であることを保証します。Ultralytics HUBのようなプラットフォームは、このワークフロー全体を簡素化するように設計されており、コンピュータビジョンモデルを効率的にトレーニング、バージョン管理、提供するための統合ソリューションを提供します。