デプロイのための専用推論エンドポイント vs 共有推論
共有推論よりもスケーラブルで低遅延なビジョンAIデプロイメントを実現するために、Ultralytics Platformで専用の推論エンドポイントを選択すべきタイミングを探ります。
最近、私たちはデータセットの準備やモデルのトレーニングから推論、デプロイ、監視まで、コンピュータービジョンのワークフロー全体を1か所にまとめたエンドツーエンドソリューションであるUltralytics Platformを発表しました。
コンピュータビジョンコミュニティからのフィードバックに基づいて構築されたこのプラットフォームは、ビジョンAIアプリケーションのライフサイクル全体をサポートする統合機能を提供することで、開発の各段階を簡素化するように設計されています。
たとえば、モデルのトレーニングが完了したら、次のステップはそのモデルをデプロイして、実際のアプリケーションで推論を実行し予測を行えるようにすることです。プラットフォームでは、複数のデプロイオプションを提供することで、このプロセスを簡素化しています。
モデルをエクスポートして独自の環境で実行したり、迅速なテストのために共有推論を使用したり、スケーラブルな本番環境向けのアプリケーションのために専用エンドポイントをデプロイしたりできます。これらの各デプロイオプションを使用するとAI推論を実行できますが、それぞれ異なる段階やユースケース向けに設計されています。
図 1. Ultralytics Platformにより、スケーラブルなグローバルビジョンAIモデルのデプロイが可能になります（ソース）
モデルエクスポートにより独自のインフラストラクチャでモデルを実行するための完全な制御が可能になり、共有推論によりセットアップなしで簡単にテストや実験が行え、専用エンドポイントは信頼性の高い大規模な本番ワークロードのために構築されています。
一見すると、共有推論と専用エンドポイントは非常に似ているように見えるかもしれません。どちらもAPIリクエストをモデルに送信して構造化された予測を受け取ることができるため、ビジョンAIをアプリケーションに簡単に統合できます。
しかし、ワークロードが増大し、コンピュータビジョンアプリケーションがリアルタイムの推論リクエストを処理し始めると、これらのオプション間の違いが重要になります。本記事では、共有推論と専用エンドポイントについて詳しく解説し、比較、使い分けのタイミング、そしてアプリケーションのスケールに伴い専用エンドポイントがより良い選択肢となる理由について説明します。
共有推論を使用したデプロイの概要#
Shared inferenceは、インフラストラクチャのセットアップやGPUタイプ、フレームワーク統合、ランタイム設定について悩むことなく、モデルでAI推論を実行するための簡単な方法です。モデルのトレーニングやファインチューニングが完了したら、プラットフォームを介して直接予測に使用できます。
この設定では、モデルは米国、ヨーロッパ、アジア太平洋などのいくつかの主要リージョンにわたる共有のマルチテナントコンピューティングリソース上で実行されます。リクエストは利用可能なサービスに自動的にルーティングされるため、GPUインスタンスやランタイム環境を設定する必要はありません。すべてが自動的に処理されるため、簡単に使い始めることができます。
共有推論を使用する場合、PythonやCLIなどのツールを使用してREST API経由でモデルにリクエストを送信し、検出されたオブジェクト、信頼スコア、その他の予測詳細などの構造化されたJSON出力を受け取ります。これにより、モデルのテストやアプリケーションへの統合がスムーズになります。
システムが共有されているため、これは開発、テスト、および軽微な使用を目的として設計されています。予測の検証や初期の統合の構築には適しています。一方で、パフォーマンスはシステム負荷に応じて変動する可能性があり、使用量はAPIキーごとに1分あたり20リクエストに制限されているため、高スループットの本番ワークロードにはあまり適していません。
全体として、共有推論は初期段階の開発に最適であり、大規模なアプリケーションに移行する前にモデルを理解し改善することに重点を置いています。
専用エンドポイントを使用してモデルをグローバルにデプロイする#
Dedicated endpointsは、ビジョンAIモデルがリソースの分離された環境で実行される、シングルテナントの推論サービスです。インフラストラクチャを共有する代わりに、各エンドポイントにはCPUやメモリなどのリソースを設定可能な独自のランタイムがあり、パフォーマンスをより細かく制御できます。
モデルをdedicated endpointとしてデプロイすると、一意のAPI URLが割り当てられ、認証にAPIキーが使用されるため、アプリケーションへの統合が容易になります。これらのエンドポイントは43 global regionsにデプロイできるため、ユーザーの近くで推論を実行し、レイテンシを削減することができます。
図 2. 43のグローバルリージョンにdedicated endpointをデプロイできます（ソース）
主な利点の1つはオートスケーリングです。エンドポイントは着信リクエストに基づいて自動的に調整され、トラフィックが増加した場合にはスケールアップし、需要が減少した場合にはスケールダウンします。デフォルトで「ゼロへのスケール」が有効になっているため、エンドポイントはアイドル時にシャットダウンし、必要に応じて再起動でき、リソース使用量を最適化できます。
つまり、専用エンドポイントは本番ワークロード向けに設計されています。共有推論と比較して、一貫した低レイテンシ、高いスループット、および優れた信頼性を提供します。
また、専用エンドポイントにはレート制限がありません。リクエストは直接エンドポイントに送信されるため、処理可能なトラフィック量は固定の制限ではなく、設定とスケーリングによって決まります。
さらに、組み込みの監視、ログ、ヘルスチェック、および予測可能なランタイムと起動動作により、すべてのプランでパフォーマンスの追跡と安定したデプロイの維持が簡単になります。Freeプランではコールドスタートに通常5〜45秒かかりますが、Proプランのエンドポイントはウォーム状態が維持されるため、より高速で予測可能な推論パフォーマンスが得られます。
簡単に言えば、専用エンドポイントは信頼性が高くスケーラブルで高性能な推論を必要とするリアルタイムのビジョンAIアプリケーションに最適です。
共有推論と専用エンドポイントの比較：主な違い#
共有推論と専用エンドポイントの比較は以下の通りです：
- レイテンシ： 共有環境ではリソース共有のためにレイテンシが変動する可能性がありますが、専用エンドポイントはより一貫した低レイテンシのレスポンスを提供します。
- リージョン： 共有推論は一部のリージョン（米国、EU、AP）で利用可能ですが、専用エンドポイントは43のグローバルリージョンへのデプロイをサポートしています。
- スケーラビリティ： 共有推論ではスケーリングを設定できませんが、専用エンドポイントは着信トラフィックに基づいて自動的にスケーリングします。
- レート制限： 共有推論にはレート制限（APIキーごとに1分あたり20リクエストまたはAPI呼び出し）がありますが、専用エンドポイントにはプラットフォームのレート制限はありません。
- 価格： 共有推論はテストおよび開発用として追加料金なしで含まれていますが、専用エンドポイントはより多くの制御とスケーラビリティを提供し、リソース設定とデプロイのニーズに応じて料金が異なります。
専用エンドポイントが本番ワークロードに適している理由#
AIおよび機械学習アプリケーションがテストから実用段階へと移行するにつれて、パフォーマンス、スケーラビリティ、信頼性が不可欠になります。そのため、専用エンドポイントは共有推論よりも明確な利点を提供します。
専用エンドポイントを使用すると、トレーニング済みモデルやカスタムモデルが独自のコンピューティングリソース上で実行されるため、他のユーザーの影響を受けません。これにより、ビデオ分析や監視システムのようなリアルタイムアプリケーションにとって重要な低レイテンシを維持し、一貫性を保つことができます。
図 3. dedicated inference endpointを使用したデプロイの様子（ソース）
例えば、複数の店舗にわたるライブカメラフィードを処理する小売分析システムを考えてみてください。43のグローバルリージョンにエンドポイントをデプロイすることで、各店舗の近くで推論を実行でき、レイテンシを削減し、応答時間を改善できます。
リソースが共有され、リージョンが制限されている共有推論では、忙しい時間帯にパフォーマンスが変動する可能性があります。
専用エンドポイントは、より高いトラフィックを処理し、需要に基づいて自動的にスケールすることもできます。組み込みの監視、ログ、ヘルスチェックにより、より予測可能なパフォーマンスを提供し、大規模かつ継続的なAIワークロードに適しています。
ビジョンAIワークフローにおいて共有推論が果たす役割#
共有推論と専用エンドポイントの違いを調べる際、共有推論がコンピュータビジョンのワークフロー全体の中でどのように位置づけられるのか疑問に思うかもしれません。
小売分析の例をもう一度見てみましょう。ビジョンソリューションを複数の店舗にデプロイする前に、チームは通常、実際のデータでパフォーマンスをテストし、その結果に基づいて改善を行う必要があります。
共有推論を使用すると、店舗のカメラからサンプル画像やビデオフレームを送信し、インフラストラクチャをセットアップすることなく予測を迅速に確認できるため、このプロセスが簡単になります。これは、モデルの動作のテスト、誤った予測のデバッグ、照明や店舗レイアウトの変化などのさまざまな条件下での結果の検証に特に役立ちます。
このようにイテレーション（反復）を行うことで、チームは本番環境に移行する前にモデルの精度と信頼性を向上させることができます。テストシナリオでモデルが十分に機能するようになったら、リアルタイム利用のために複数の拠点へ専用エンドポイントとしてデプロイできます。
共有推論は、使用頻度が低い、または不定期なアプリケーションにも適しています。例えば、小規模な小売店が、完全にスケールされたデプロイを必要とせずに、時折客足の分析や特定の時間帯の顧客アクティビティの確認を行うために使用することが挙げられます。このような場合、オンデマンドで推論を実行するシンプルかつコスト効率の高い方法を提供します。
専用エンドポイントの実際のユースケース#
AIアプリケーションがテストを超えて進むにつれ、デプロイの選択がパフォーマンス、スケーラビリティ、ユーザーエクスペリエンスに直接影響を与えるようになります。専用エンドポイントは、安定したパフォーマンス、低レイテンシ、大規模なワークロードを処理できる能力を備えているため、業界全体で広く活用できます。
専用エンドポイントが実際のアプリケーションでどのように使用されるかを示す一般的なユースケースをいくつか紹介します：
- Retail and video analytics: 小売チェーンは、コンピュータービジョンを使用して、顧客の動線の追跡、人気商品の特定、店舗アクティビティのリアルタイム監視を行うことができます。dedicated endpointにより、ピーク時であっても複数の店舗ロケーションで高速かつ一貫した推論が維持されます。
- Manufacturing and quality inspection: 製造ラインでは、製品がシステム内を移動する際に、モデルで欠陥や異常を検出できます。dedicated endpointは継続的かつリアルタイムな推論をサポートし、チームが問題を早期に発見し、業務を遅らせることなく製品品質を維持するのに役立ちます。
- Healthcare and medical imaging: 医療機関や診断ラボは、ビジョンモデルを利用してX線やスキャンなどの医用画像を分析できます。dedicated endpointは、機密データや時間的制約のある診断を処理する際に不可欠な、信頼性の高い一貫したパフォーマンスを提供します。
- 倉庫および物流自動化： 大規模な倉庫では、ベルトコンベアや仕分けラインなど、複数の同一システムが運用されていることが多く、実質的に同じ設定のレプリカとして機能します。コンピュータビジョンモデルは各レプリカを監視し、詰まりや誤配送パッケージなどの問題を検出できます。専用エンドポイントは、すべてのレプリカにおいてリアルタイムで一貫した推論を保証します。
共有推論から専用エンドポイントへの移行#
Ultralytics Platformの主な利点の1つは、アプリケーションの成長に合わせて共有推論から専用エンドポイントへ移行するのが非常に簡単であることです。ツールを切り替えたり設定を再構築したりするのではなく、同じ環境内で本番環境向けのデプロイへスムーズに移行できます。
共有推論でモデルをテストした後、専用エンドポイントへの移行は非常に簡単な次のステップです。同じモデルをエンドポイントにデプロイし、希望するリージョンとコンピューティングリソースを選択して、アプリケーション内のエンドポイントURLを更新するだけです。全体の統合プロセスは同様であるため、リクエストの送信方法やレスポンスの処理方法に変更はほとんどありません。
図 4. Ultralytics Platformでのdedicated endpoint URLの表示（ソース）
つまり、数回のクリックでテストから本番環境へスケールアップできます。ワークロードが増加したり、アプリケーションにより一貫したパフォーマンスが必要になったりした場合には、既存のワークフローを中断することなく専用エンドポイントへ移行できます。
Ultralytics Platformでdedicated endpointを使用してモデルをデプロイする方法の詳細については、公式のUltralytics Platform docsをご覧ください。
重要なポイント#
共有推論はテストや実験のための優れた出発点ですが、本番ワークロードにはより高い一貫性とスケールが必要です。アプリケーションの成長に伴い、専用エンドポイントは実用レベルの利用をサポートするために必要なパフォーマンスと信頼性を提供します。これが、ほとんどの本番デプロイにとって最適な選択肢となる理由です。
コミュニティに参加し、GitHub repositoryを探索して、コンピュータービジョンモデルの詳細を確認してください。ソリューションページでAI in agricultureやcomputer vision in roboticsなどのアプリケーションについてお読みください。ライセンスオプションを確認して、ビジョンAIを始めましょう。
