モデルサービング

モデルのサービングとは、トレーニング済みの機械学習（ML）モデルが、入力データを受け取り、本番環境で予測を返すことができるようにするプロセスです。モデルがトレーニングされ、検証されると、サービングは、静的なファイルを、実際のアプリケーションを動かすことができるアクティブな運用ツールに変える重要なステップとなります。これには、モデルをサーバーにデプロイし、通常はAPIであるインターフェースを作成して、他のソフトウェアシステムがリアルタイム推論のためにモデルと通信できるようにすることが含まれます。

モデルサービングは密接に関連していますが、モデルデプロイメントのより広範なプロセス内の特定のコンポーネントです。デプロイメントには、インフラストラクチャのセットアップや監視など、モデルを本番環境に統合するワークフロー全体が含まれます。モデルサービングは、モデルを実行し、推論リクエストを効率的に処理するインフラストラクチャの一部を特に指します。

モデルサービングの主要コンポーネント

堅牢なモデルサービングシステムは、高速で信頼性の高い予測を提供するために連携して動作する、いくつかの統合されたコンポーネントで構成されています。

• モデル形式: 提供する前に、モデルを標準化された形式でパッケージ化する必要があります。ONNXのような形式は、異なるフレームワーク間での相互運用性を保証します。最高のパフォーマンスを得るために、モデルはNVIDIA GPU向けにTensorRTのようなツールを使用して最適化できます。
• Serving Framework：モデルをロードし、GPUのようなハードウェアリソースを管理し、推論リクエストを処理する特殊なソフトウェア。一般的なフレームワークには、TensorFlow Serving、PyTorch Serve、および高性能なNVIDIA Triton Inference Serverがあり、当社のTriton統合ガイドを通じてUltralyticsモデルで使用できます。
• APIエンドポイント: これは、クライアントアプリケーションがデータ（画像やテキストなど）を送信し、モデルの予測を受信できるようにする通信ゲートウェイです。RESTおよびgRPCは、この目的で使用される一般的なAPIプロトコルです。
• インフラストラクチャ: モデルが実行される物理的または仮想的なハードウェア。オンプレミスのサーバーから、クラウドコンピューティングプラットフォーム（Amazon SageMakerやGoogle Cloud AI Platformなど）まで多岐にわたります。低遅延が要求されるアプリケーションでは、モデルはエッジAIデバイス上で提供されることがよくあります。コンテナ化（Dockerのようなツールを使用）は、移植性とスケーラビリティに優れた提供環境を構築するために不可欠です。
• 監視とログ記録: モデルのパフォーマンスとシステムの健全性を継続的に追跡します。これには、推論レイテンシやスループットのようなメトリクスの監視、および時間の経過とともにモデルの精度を低下させる可能性があるデータドリフトのような問題の監視が含まれます。詳細については、モデル監視に関するガイドをご覧ください。

実際のアプリケーション

モデルのサービングは、数えきれないほどのAIを活用した機能の原動力です。

1. AIを活用した在庫管理: ある小売企業は、リアルタイム在庫管理にUltralytics YOLO11モデルを使用しています。このモデルはONNX形式でパッケージ化され、店舗内の小型エッジコンピュータで提供されます。カメラはビデオフィードをサービスエンドポイントに送信し、エンドポイントは物体検出を実行して棚にあるアイテムをカウントし、在庫が少なくなるとアラートを送信します。
2. クラウドでの医用画像解析: 病院システムは、高度な コンピュータビジョン モデルを 医用画像解析 用に展開します。モデルサイズが大きく、計算ニーズが高いため、複数の GPU を搭載した強力なクラウドサーバーで提供されます。放射線科医は、安全なポータルを通じて高解像度スキャンをアップロードし、それがサービング API を呼び出します。モデルは、潜在的な異常の識別に役立つ予測を返し、診断の速度と精度を向上させます。

MLOpsの役割

モデルのサービングは、機械学習運用（MLOps）の要です。優れたMLOps戦略は、データの前処理、モデルのトレーニングから、サービング、モニタリングまで、ライフサイクル全体が自動化され、信頼性が高く、スケーラブルであることを保証します。Ultralytics HUBのようなプラットフォームは、このワークフロー全体を簡素化するように設計されており、コンピュータビジョンモデルを効果的にトレーニング、バージョン管理、および提供するための統合ソリューションを提供します。