デプロイのための専用推論エンドポイント vs 共有推論

最近、私たちはUltralytics Platformを導入しました。これは、データセットの準備やモデルのトレーニングから推論、デプロイ、監視に至るまで、コンピュータビジョンのワークフロー全体を1箇所に集約するエンドツーエンドのソリューションです。

コンピュータビジョンコミュニティからのフィードバックに基づいて構築されたこのプラットフォームは、ビジョンAIアプリケーションのライフサイクル全体をサポートする統合機能を提供することで、開発の各段階を簡素化するように設計されています。

例えば、モデルのトレーニングが完了した後の次のステップは、実際のアプリケーションで推論を実行し予測を行うためにモデルをデプロイすることです。プラットフォームでは、複数のデプロイオプションを提供することで、このプロセスを簡潔にしています。

モデルをエクスポートして独自の環境で実行したり、迅速なテストのために共有推論を使用したり、スケーラブルな本番環境向けのアプリケーションのために専用エンドポイントをデプロイしたりできます。これらの各デプロイオプションを使用するとAI推論を実行できますが、それぞれ異なる段階やユースケース向けに設計されています。

図1. Ultralytics Platformは、スケーラブルなグローバルビジョンAIモデルのデプロイを可能にします (ソース)

モデルエクスポートにより独自のインフラストラクチャでモデルを実行するための完全な制御が可能になり、共有推論によりセットアップなしで簡単にテストや実験が行え、専用エンドポイントは信頼性の高い大規模な本番ワークロードのために構築されています。

一見すると、共有推論と専用エンドポイントは非常に似ているように見えるかもしれません。どちらもAPIリクエストをモデルに送信して構造化された予測を受け取ることができるため、ビジョンAIをアプリケーションに簡単に統合できます。

しかし、ワークロードが増大し、コンピュータビジョンアプリケーションがリアルタイムの推論リクエストを処理し始めると、これらのオプション間の違いが重要になります。本記事では、共有推論と専用エンドポイントについて詳しく解説し、比較、使い分けのタイミング、そしてアプリケーションのスケールに伴い専用エンドポイントがより良い選択肢となる理由について説明します。

Link to this section共有推論を使用したデプロイの概要#

共有推論は、インフラストラクチャのセットアップやGPUの種類、フレームワークの統合、ランタイム設定を気にすることなく、モデルでAI推論を実行するためのシンプルな方法です。モデルのトレーニングやファインチューニングが完了したら、プラットフォームを通じて直接予測を行うことができます。

この設定では、モデルは米国、ヨーロッパ、アジア太平洋などのいくつかの主要リージョンにわたる共有のマルチテナントコンピューティングリソース上で実行されます。リクエストは利用可能なサービスに自動的にルーティングされるため、GPUインスタンスやランタイム環境を設定する必要はありません。すべてが自動的に処理されるため、簡単に使い始めることができます。

共有推論を使用する場合、PythonやCLIなどのツールを使用してREST API経由でモデルにリクエストを送信し、検出されたオブジェクト、信頼スコア、その他の予測詳細などの構造化されたJSON出力を受け取ります。これにより、モデルのテストやアプリケーションへの統合がスムーズになります。

システムが共有されているため、これは開発、テスト、および軽微な使用を目的として設計されています。予測の検証や初期の統合の構築には適しています。一方で、パフォーマンスはシステム負荷に応じて変動する可能性があり、使用量はAPIキーごとに1分あたり20リクエストに制限されているため、高スループットの本番ワークロードにはあまり適していません。

全体として、共有推論は初期段階の開発に最適であり、大規模なアプリケーションに移行する前にモデルを理解し改善することに重点を置いています。

Link to this section専用エンドポイントを使用してモデルをグローバルにデプロイする#

専用エンドポイントは、ビジョンAIモデルが分離されたコンピューティングリソース上で実行されるシングルテナント推論サービスです。インフラストラクチャを共有するのではなく、各エンドポイントはCPUやメモリなどの設定可能なリソースを備えた独自のランタイムを持ち、パフォーマンスをより細かく制御できます。

モデルを専用エンドポイントとしてデプロイすると、固有のAPI URLが割り当てられ、認証にAPIキーが使用されるため、アプリケーションへの統合が容易になります。これらのエンドポイントは43のグローバルリージョンにデプロイできるため、ユーザーに近い場所で推論を実行してレイテンシを削減できます。

図2. 43のグローバルリージョンに専用エンドポイントをデプロイできます (ソース)

主な利点の1つはオートスケーリングです。エンドポイントは着信リクエストに基づいて自動的に調整され、トラフィックが増加した場合にはスケールアップし、需要が減少した場合にはスケールダウンします。デフォルトで「ゼロへのスケール」が有効になっているため、エンドポイントはアイドル時にシャットダウンし、必要に応じて再起動でき、リソース使用量を最適化できます。

つまり、専用エンドポイントは本番ワークロード向けに設計されています。共有推論と比較して、一貫した低レイテンシ、高いスループット、および優れた信頼性を提供します。

また、専用エンドポイントにはレート制限がありません。リクエストは直接エンドポイントに送信されるため、処理可能なトラフィック量は固定の制限ではなく、設定とスケーリングによって決まります。

さらに、組み込みの監視、ログ、ヘルスチェック、および予測可能なランタイムと起動動作により、すべてのプランでパフォーマンスの追跡と安定したデプロイの維持が簡単になります。Freeプランではコールドスタートに通常5〜45秒かかりますが、Proプランのエンドポイントはウォーム状態が維持されるため、より高速で予測可能な推論パフォーマンスが得られます。

簡単に言えば、専用エンドポイントは信頼性が高くスケーラブルで高性能な推論を必要とするリアルタイムのビジョンAIアプリケーションに最適です。

Link to this section共有推論と専用エンドポイントの比較：主な違い#

共有推論と専用エンドポイントの比較は以下の通りです：

• レイテンシ： 共有環境ではリソース共有のためにレイテンシが変動する可能性がありますが、専用エンドポイントはより一貫した低レイテンシのレスポンスを提供します。
• リージョン： 共有推論は一部のリージョン（米国、EU、AP）で利用可能ですが、専用エンドポイントは43のグローバルリージョンへのデプロイをサポートしています。
• スケーラビリティ： 共有推論ではスケーリングを設定できませんが、専用エンドポイントは着信トラフィックに基づいて自動的にスケーリングします。
• レート制限： 共有推論にはレート制限（APIキーごとに1分あたり20リクエストまたはAPI呼び出し）がありますが、専用エンドポイントにはプラットフォームのレート制限はありません。
• 価格： 共有推論はテストおよび開発用として追加料金なしで含まれていますが、専用エンドポイントはより多くの制御とスケーラビリティを提供し、リソース設定とデプロイのニーズに応じて料金が異なります。

Link to this section専用エンドポイントが本番ワークロードに適している理由#

AIおよび機械学習アプリケーションがテストから実用段階へと移行するにつれて、パフォーマンス、スケーラビリティ、信頼性が不可欠になります。そのため、専用エンドポイントは共有推論よりも明確な利点を提供します。

専用エンドポイントを使用すると、トレーニング済みモデルやカスタムモデルが独自のコンピューティングリソース上で実行されるため、他のユーザーの影響を受けません。これにより、ビデオ分析や監視システムのようなリアルタイムアプリケーションにとって重要な低レイテンシを維持し、一貫性を保つことができます。

図3. 専用推論エンドポイントを使用したデプロイの様子 (ソース)

例えば、複数の店舗にわたるライブカメラフィードを処理する小売分析システムを考えてみてください。43のグローバルリージョンにエンドポイントをデプロイすることで、各店舗の近くで推論を実行でき、レイテンシを削減し、応答時間を改善できます。

リソースが共有され、リージョンが制限されている共有推論では、忙しい時間帯にパフォーマンスが変動する可能性があります。

専用エンドポイントは、より高いトラフィックを処理し、需要に基づいて自動的にスケールすることもできます。組み込みの監視、ログ、ヘルスチェックにより、より予測可能なパフォーマンスを提供し、大規模かつ継続的なAIワークロードに適しています。

Link to this sectionビジョンAIワークフローにおいて共有推論が果たす役割#

共有推論と専用エンドポイントの違いを調べる際、共有推論がコンピュータビジョンのワークフロー全体の中でどのように位置づけられるのか疑問に思うかもしれません。

小売分析の例をもう一度見てみましょう。ビジョンソリューションを複数の店舗にデプロイする前に、チームは通常、実際のデータでパフォーマンスをテストし、その結果に基づいて改善を行う必要があります。

共有推論を使用すると、店舗のカメラからサンプル画像やビデオフレームを送信し、インフラストラクチャをセットアップすることなく予測を迅速に確認できるため、このプロセスが簡単になります。これは、モデルの動作のテスト、誤った予測のデバッグ、照明や店舗レイアウトの変化などのさまざまな条件下での結果の検証に特に役立ちます。

このようにイテレーション（反復）を行うことで、チームは本番環境に移行する前にモデルの精度と信頼性を向上させることができます。テストシナリオでモデルが十分に機能するようになったら、リアルタイム利用のために複数の拠点へ専用エンドポイントとしてデプロイできます。

共有推論は、使用頻度が低い、または不定期なアプリケーションにも適しています。例えば、小規模な小売店が、完全にスケールされたデプロイを必要とせずに、時折客足の分析や特定の時間帯の顧客アクティビティの確認を行うために使用することが挙げられます。このような場合、オンデマンドで推論を実行するシンプルかつコスト効率の高い方法を提供します。

Link to this section専用エンドポイントの実際のユースケース#

AIアプリケーションがテストを超えて進むにつれ、デプロイの選択がパフォーマンス、スケーラビリティ、ユーザーエクスペリエンスに直接影響を与えるようになります。専用エンドポイントは、安定したパフォーマンス、低レイテンシ、大規模なワークロードを処理できる能力を備えているため、業界全体で広く活用できます。

専用エンドポイントが実際のアプリケーションでどのように使用されるかを示す一般的なユースケースをいくつか紹介します：

• 小売 およびビデオ分析： 小売チェーンはコンピュータビジョンを活用することで、顧客の動きを追跡し、人気商品を特定し、店舗内の活動をリアルタイムで監視できます。専用エンドポイントを利用すれば、繁忙時であっても複数の店舗拠点で高速かつ一貫した推論が可能になります。
• 製造 および品質検査： 製造ラインでは、製品がシステムを流れる際に、モデルが欠陥や異常を検出できます。専用エンドポイントは継続的なリアルタイム推論をサポートし、運用を遅延させることなく、早期の問題発見と製品品質の維持を支援します。
• ヘルスケア および医療画像： 医療機関や検査ラボは、ビジョンモデルを利用してX線やスキャン画像などの医療画像を解析できます。専用エンドポイントは、機密データの取り扱いや緊急性の高い診断において不可欠な、信頼性の高い一貫したパフォーマンスを提供します。
• 倉庫および物流自動化： 大規模な倉庫では、ベルトコンベアや仕分けラインなど、複数の同一システムが運用されていることが多く、実質的に同じ設定のレプリカとして機能します。コンピュータビジョンモデルは各レプリカを監視し、詰まりや誤配送パッケージなどの問題を検出できます。専用エンドポイントは、すべてのレプリカにおいてリアルタイムで一貫した推論を保証します。

Link to this section共有推論から専用エンドポイントへの移行#

Ultralytics Platformの主な利点の1つは、アプリケーションの成長に合わせて共有推論から専用エンドポイントへ移行するのが非常に簡単であることです。ツールを切り替えたり設定を再構築したりするのではなく、同じ環境内で本番環境向けのデプロイへスムーズに移行できます。

共有推論でモデルをテストした後、専用エンドポイントへの移行は非常に簡単な次のステップです。同じモデルをエンドポイントにデプロイし、希望するリージョンとコンピューティングリソースを選択して、アプリケーション内のエンドポイントURLを更新するだけです。全体の統合プロセスは同様であるため、リクエストの送信方法やレスポンスの処理方法に変更はほとんどありません。

図4. Ultralytics Platformで専用エンドポイントURLを表示 (ソース)

つまり、数回のクリックでテストから本番環境へスケールアップできます。ワークロードが増加したり、アプリケーションにより一貫したパフォーマンスが必要になったりした場合には、既存のワークフローを中断することなく専用エンドポイントへ移行できます。

Ultralytics Platformでの専用エンドポイントを使用したモデルのデプロイの詳細については、公式のUltralytics Platformドキュメントをご覧ください。

Link to this section重要なポイント#

共有推論はテストや実験のための優れた出発点ですが、本番ワークロードにはより高い一貫性とスケールが必要です。アプリケーションの成長に伴い、専用エンドポイントは実用レベルの利用をサポートするために必要なパフォーマンスと信頼性を提供します。これが、ほとんどの本番デプロイにとって最適な選択肢となる理由です。

私たちのコミュニティに参加し、GitHubリポジトリを探索して、コンピュータビジョンモデルについてさらに詳しく学びましょう。農業におけるAIやロボティクスにおけるコンピュータビジョンといった活用事例については、ソリューションページをご覧ください。また、ライセンスオプションを確認し、ビジョンAIを今すぐ始めましょう。