マネージドクラウド対自己ホスト型コンピュータービジョンデプロイメント

マネージドクラウドデプロイは、通常、コンピュータビジョンサービスを立ち上げるためのより高速な方法です。レイテンシ、データの境界、またはインフラストラクチャの制御が厳格な要件である場合、通常はセルフホストの方が優れた選択肢となります。難しい点は、チームがシステムのどの部分を制御したいかを定義する前に、この2つを比較してしまうことが多いということです。

ビジョンアプリケーションには、決定すべき場所が少なくとも4つあります：画像の保存場所、モデルのトレーニング場所、推論の実行場所、そして周辺アプリケーションの実行場所です。それらの決定が一致している必要はありません。チームはソース画像とトレーニングを独自のインフラストラクチャで維持し、エッジデバイスで推論を実行しつつ、実験の追跡やモデル管理にはマネージドプラットフォームを引き続き使用することができます。

Ultralytics YOLOモデルは、そのようなポータブルなワークフローをサポートします。Ultralytics Platformはデータとトレーニングのライフサイクルを管理でき、一方エクスポートされたモデルはアプリケーションに適合するインフラストラクチャ上で実行できます。したがって、正しい選択肢が常にクラウドかセルフホストかとは限りません。多くの場合、各コンポーネントに明確な境界を持たせたハイブリッドです。

マネージドクラウドとセルフホストの比較概要#

速度、変動する需要、および小規模なインフラストラクチャチームが最も重要な場合は、マネージドクラウドを選択してください。ワークロードが制御された環境内に留まる必要がある場合、またはネットワーク接続なしで推論を継続する必要がある場合は、セルフホストを選択してください。データ、トレーニング、および推論に異なる要件がある場合は、ハイブリッドを選択してください。

コンピュータビジョンにおけるマネージドクラウドの意味#

マネージドデプロイでは、プロバイダーがモデルサービングの背後にあるインフラストラクチャの一部またはすべてを運用します。チームはモデルを提供するか、マネージドモデルを選択し、エンドポイントを設定し、消費するリソースまたはリクエストに対して支払います。

プロバイダーは、エンドポイントのプロビジョニング、ヘルスチェック、オートスケーリング、サービング層のアップデート、および監視スタックとの統合を処理する場合があります。これによりプラットフォーム作業の大部分が削減されますが、アプリケーションの責任がなくなるわけではありません。チームは、モデルの品質、入力検証、ビジネスロジック、アクセス方針、およびどの画像がサービスに到達することを許可されるかの決定を引き続き所有します。

マネージドクラウドは、トラフィックが時間の経過とともに大幅に変化する場合、組織がすでにそのクラウドを使用しており、ネットワークのラウンドトリップがレイテンシ予算に適合する場合に最も強力です。また、ワークロードが理解される前に専用のGPUフリートを購入および運用することでコストが前倒しになるのを防ぐため、パイロット中にも役立ちます。

トレードオフは、プロバイダーのエンドポイントモデル、リージョン、クォータ、および価格体系への依存です。パイロットのボリュームでは安価だったサービスも、すべてのカメラがすべてのフレームをクラウドに送信する場合、最大の運用コストになる可能性があります。

コンピュータビジョンにおけるセルフホストの意味#

セルフホストデプロイとは、組織がサービングインフラストラクチャを運用することを意味します。これは、データセンター内のサーバー、Kubernetesクラスター、生産ラインの横にある産業用コンピューター、またはカメラに接続された組み込みデバイスである可能性があります。

組織はデータの流れとソフトウェアの変更時期を制御します。また、キャパシティプランニング、GPUドライバー、ランタイムの互換性、モデルロールアウト、可観測性、セキュリティアップデート、バックアップ、およびリカバリも所有します。「当社のハードウェアで実行される」ということは、それらの各ジョブに所有者が決定されるまでは運用モデルではありません。

セルフホストは、推論をオフラインで継続する必要がある場合、画像をサイト外に出すことができない場合、または予測可能な高ボリュームのワークロードにより専用コンピュートが経済的になる場合に最も強力です。また、クラウドのラウンドトリップでは満たせないレイテンシ予算内で結果を返す必要があるアプリケーションにとっても自然な選択です。

トレードオフは運用の深さです。1つのGPU上の動作するコンテナは、多くのサイトにわたる信頼性の高い本番サービスと同じではありません。

実際のコストを比較する#

クラウドエンドポイントのリクエスト価格とサーバーの購入価格を比較しないでください。同じ期間とワークロードにわたってシステム全体を比較してください。

マネージドクラウドの場合は、以下を含めてください：

• 推論コンピュートおよび任意の最小プロビジョニング済み容量；
• ストレージおよびデータ転送；
• 監視、ロギング、および保持された成果物；
• 開発およびステージングエンドポイント；
• バースト間でアクティブなままになるアイドル状態のリソース；および
• サービス統合とコスト制御のためのエンジニアリング時間。

セルフホストの場合は、以下を含めてください：

• サーバー、エッジデバイス、アクセラレータ、および予備容量；
• 設置、電源、冷却、およびサイトアクセス；
• オーケストレーション、監視、およびアップデートインフラストラクチャ；
• ドライバー、ランタイム、セキュリティ、およびインシデントのためのスタッフの時間；
• 交換用ハードウェアとサポート；および
• ピーク時や障害時に保持される容量。

ワークロードの形状によって答えが変わります。クラウドは、ハードウェアを購入することなく容量を追加できるため、不確実な需要やバースト的な需要に対して魅力的です。専用インフラストラクチャは、組織がすでにそれを実行する人員を確保しているという条件の下で、利用率が高く予測可能な場合に魅力的になります。

レイテンシと帯域幅を比較する#

コンピュータビジョンのワークロードは、データ移動に対して異常に敏感です。画像やビデオは通常のAPIペイロードよりもはるかに大きく、カメラはアプリケーションが分析する必要がある以上のフレームを生成する可能性があります。

アプリケーションのエンドツーエンドのレイテンシ予算から始めます。キャプチャ、エンコーディング、ネットワーク転送、キューイング、推論、および決定を機械やユーザーに返すまでの時間を含めます。結果がロボット、生産ライン、または安全アラートを制御する場合、モデル管理がクラウドに残っている場合でも、ローカル推論が必要になることがあります。

帯域幅は別の制約です。リモートエンドポイントへの継続的なビデオの送信は、コストを支配し、接続が不安定な場合に失敗する可能性があります。エッジシステムはローカルで推論を実行し、イベント、メタデータ、または選択されたフレームのみを上流に送信することができます。

プライバシーとデータの境界を比較する#

「オンプレミス」と「プライベート」は同義語ではありません。セルフホストシステムであってもセキュリティが不十分である可能性があり、マネージドサービスが強力な制御を提供する場合もあります。決定はデータマップから始まります：

• ソース画像がキャプチャされ保存される場所；
• 派生画像やクロップがサイト外に出るかどうか；
• ラベルやアノテーションが保存される場所；
• データから学習した情報をどのモデル成果物がエンコードするか；
• どのスタッフおよびシステムが各層にアクセスできるか；および
• ログ、リクエスト、および出力が保持される期間。

Ultralytics PlatformのOn Premise統合は、境界が具体的でなければならない理由を示しています。ソースおよび派生データセットのピクセルは、取り込み、プレビュー、およびトレーニングのために接続されたコンピューター上に残ります。クラス、ラベル、およびアノテーションはPlatformメタデータとして保存され、トレーニングメトリクスがPlatformにストリーミングされ、後続のワークフローのために最高のチェックポイントがアップロードされます。その設計は、すべての成果物がローカルに留まると主張することなく、データセットのピクセルをローカルに保持します。

コンプライアンス制御として扱う前に、現在のUltralytics Platform On Premise documentationを組織の要件に対して確認してください。

スケーリングと信頼性を比較する#

マネージドプラットフォームはエンドポイント容量を追加するために必要な作業を削減できますが、オートスケーリングは瞬時ではなく、すべてのサービスに制限があります。コールドスタート、キューの挙動、および必要なリージョンで利用可能な容量を測定してください。

セルフホストのスケーリングには意図的なエンジニアリングが必要です。チームは、モデルがどのようにパッケージ化されるか、リクエストがどのようにロードバランスされるか、GPUがどのようにスケジュールされるか、およびノード障害時に何が起こるかを決定します。Kubernetesはそのインフラストラクチャの調整に役立ちますが、正しいレプリカ数、ロールアウトポリシー、またはレイテンシターゲットを決定するわけではありません。

エッジフリートの場合、信頼性にはエンドポイントのアップタイム以上のものが含まれます。デバイスは接続を失う可能性があり、異なるハードウェアリビジョンで動作し、アップデートを逃す可能性があります。本番計画には、モデルバージョニング、段階的なロールアウト、ロールバック、およびすべてのサイトを訪問せずに障害を診断する方法が必要です。

3つの実用的なデプロイパターン#

マネージドトレーニングとマネージド推論#

チームがデータセットからエンドポイントまでの最短ルートを望み、クラウドのレイテンシが許容できる場合にこのパターンを使用します。インフラストラクチャの所有権を最小限に抑え、パイロット、内部ツール、および需要が変動するサービスに適合します。

主な制御は、コスト制限、リージョンデータの処理、エンドポイントアクセス、およびサービスが後で移動する必要がある場合のエクスポートパスです。

マネージドトレーニングとセルフホスト推論#

クラウドコンピュートがモデル開発を簡素化する一方で、推論をローカルで実行する必要がある場合にこのパターンを使用します。マネージド環境でトレーニングと評価を行い、テスト済みモデルをエクスポートし、エッジまたはデータセンターにデプロイします。

このパターンは、モデルの反復がマネージドコンピュートの恩恵を受ける一方で、本番の決定がネットワークのラウンドトリップに依存できないため、製造業やロボティクスで一般的です。

マネージドライフサイクルツールを使用したローカルデータとトレーニング#

ソースデータが制御されたインフラストラクチャ上に留まる必要がある一方で、チームがアノテーション、メトリクス、およびモデル管理のための共有インターフェースを引き続き望む場合にこのパターンを使用します。Ultralytics Platform On Premiseはこの分割のために設計されています：データセットのピクセルとトレーニングコンピュートは接続されたコンピューター上に残る一方、選択されたメタデータ、メトリクス、および完了したチェックポイントはPlatformに接続します。

境界を運用の言葉で文書化します。何がローカルに留まり、何がアップロードされ、どのクラウドワークフローが個別に送信された画像を処理するかを明記してください。

一般的なワークロードのための決定パス#

工場検査。 結果がライン速度で部品を停止または迂回させる必要がある場合は、ローカルまたはエッジ推論を優先してください。マネージドトレーニングは依然として意味を持つ場合があります。

リテールまたは施設分析。 継続的なビデオが帯域幅やプライバシーを困難にする場合は、エッジ前処理を使用してください。適切な場所でイベントや選択されたフレームをクラウドに送信します。

バッチ画像分析。 レイテンシがインタラクティブではなく、ジョブがバーストで到着する場合、マネージドクラウドは多くの場合に適しています。

エアギャップ環境または断続的に接続されるサイト。 推論と運用のために必要な完全なランタイムをセルフホストします。クラウドコントロールプレーンをクリティカルパスの一部にしないでください。

開発者向けビジョンAPI。 マネージドエンドポイントは、特にトラフィックが不確実な間、立ち上げまでの時間を短縮できます。ボリュームが増加する前に、リクエスト制限、可観測性、および終了パスを設計してください。

デプロイ前に終了パスを計画する#

ポータビリティは、モデルファイルをダウンロードするだけでは証明されません。完全なパスをテストしてください。

1. 移行先のハードウェアでサポートされているランタイムにモデルをエクスポートします。
2. 元のサービスの外部で前処理と後処理を再現します。
3. 固定されたテストセットで出力の同等性を検証します。
4. モニタリング、アクセス制御、ロールアウト手順を再作成します。
5. 移行先環境でのレイテンシとリソース使用量を測定します。
6. データ、ラベル、モデルのバージョン、監査記録がどのように移動するかを文書化します。

この作業は現在のデプロイメントの改善にも役立ちます。障害、価格改定、または新しいデータの要件によって急な移行が強制される前に、隠れた依存関係が明らかになります。