デプロイ向けの専用推論エンドポイントと共有推論の比較

最近、データセットの準備やモデルのトレーニングから、推論、デプロイ、監視まで、コンピュータービジョンのワークフロー全体を一元化するエンドツーエンドのソリューションとして、Ultralytics Platformをリリースしました。

コンピュータービジョンコミュニティからのフィードバックを基に構築されたこのプラットフォームは、ビジョンAIアプリケーションのライフサイクル全体を支援する統合機能を提供し、開発の各段階を簡素化できるよう設計されています。

たとえば、モデルをトレーニングした後は、実際のアプリケーションで推論を実行し、予測を行えるようにデプロイします。このプラットフォームでは、複数のデプロイオプションを用意しており、このプロセスを簡単に進められます。

モデルをエクスポートして独自の環境で実行したり、共有推論を利用してすばやくテストしたり、専用エンドポイントをデプロイしてスケーラブルな本番環境対応アプリケーションを構築したりできます。これらのデプロイオプションはいずれもAI推論を実行できますが、対象とする段階やユースケースが異なります。

図1. Ultralytics PlatformはスケーラブルなグローバルビジョンAIモデルのデプロイを可能にします（出典）

モデルのエクスポートを利用すると、独自のインフラストラクチャでモデルを実行するための完全な制御が可能になります。共有推論ではセットアップなしで簡単にテストや実験を行え、専用エンドポイントは信頼性の高い大規模な本番ワークロード向けに構築されています。

一見すると、共有推論と専用エンドポイントはよく似ているように見えるかもしれません。どちらもモデルにAPIリクエストを送信して構造化された予測結果を受け取れるため、ビジョンAIをアプリケーションに簡単に統合できます。

しかし、ワークロードが増加し、コンピュータービジョンアプリケーションがリアルタイムの推論リクエストを処理するようになると、これらの選択肢の違いがより重要になります。この記事では、共有推論と専用エンドポイントを詳しく比較し、それぞれの利用場面や、アプリケーションの拡大に伴って専用エンドポイントがより適した選択肢となる理由を解説します。

共有推論を使用したデプロイの概要#

共有推論は、インフラストラクチャのセットアップや、GPUの種類、フレームワーク統合、ランタイム設定を気にすることなく、モデルでAI推論を実行できるシンプルな方法です。モデルのトレーニングまたはファインチューニングが完了したら、プラットフォームから直接予測を行えます。

この構成では、米国、ヨーロッパ、アジア太平洋など、いくつかの主要地域にある共有マルチテナントの計算リソース上でモデルが実行されます。リクエストは利用可能なサービスに自動的にルーティングされるため、GPUインスタンスやランタイム環境を設定する必要はありません。すべてが自動で処理されるため、簡単に使い始められます。

共有推論を利用する場合は、PythonやCLIなどのツールを使ってREST API経由でモデルにリクエストを送信し、検出されたオブジェクト、信頼度スコア、その他の予測情報などを含む構造化されたJSON出力を受け取ります。これにより、モデルのテストやアプリケーションへの統合をスムーズに行えます。

共有システムは、開発、テスト、軽度の利用を想定して設計されています。予測の検証や初期段階の統合に適しています。一方で、システム負荷によって性能が変動する場合があり、APIキーごとに1分あたり20リクエストのレート制限があるため、高スループットの本番ワークロードにはあまり適していません。

全体として、共有推論は大規模なアプリケーションに移行する前にモデルを理解し、改善することを重視する初期段階の開発に最適です。

専用エンドポイントを使用してモデルをグローバルにデプロイする#

専用エンドポイントは、ビジョンAIモデルを分離された計算リソース上で実行するシングルテナントの推論サービスです。インフラストラクチャを共有するのではなく、各エンドポイントが独自のランタイムを持ち、CPUやメモリなどのリソースを設定できるため、性能をより細かく制御できます。

モデルを専用エンドポイントとしてデプロイすると、固有のAPI URLが割り当てられ、認証にはAPIキーを使用するため、アプリケーションに簡単に統合できます。これらのエンドポイントは世界43のリージョンにデプロイできるため、ユーザーに近い場所で推論を実行し、レイテンシを低減できます。

図2. 専用エンドポイントは世界43のリージョンにデプロイできます（出典）

主なメリットの1つはオートスケーリングです。エンドポイントは受信リクエストに応じて自動的に調整され、トラフィックが増加するとスケールアップし、需要が減少するとスケールダウンします。デフォルトでスケール・トゥ・ゼロが有効になっているため、アイドル時にはエンドポイントを停止し、必要に応じて再起動でき、リソース使用を最適化できます。

つまり、専用エンドポイントは本番ワークロード向けに設計されています。共有推論と比べて、一貫した低レイテンシ、高いスループット、優れた信頼性を提供します。

また、専用エンドポイントにはレート制限がありません。リクエストはエンドポイントに直接送信されるため、処理できるトラフィック量は固定制限ではなく、セットアップとスケーリングによって決まります。

さらに、組み込みの監視機能、ログ、ヘルスチェック、予測可能なランタイムと起動動作により、すべてのプランで性能を追跡し、安定したデプロイを維持できます。Freeプランではコールドスタートに通常5～45秒かかりますが、Proプランのエンドポイントはウォーム状態を維持するため、推論性能がより高速で予測しやすくなります。

簡単に言えば、専用エンドポイントは、信頼性、スケーラビリティ、高性能な推論を必要とするリアルタイムのビジョンAIアプリケーションに最適です。

共有推論と専用エンドポイント：主な違い#

共有推論と専用エンドポイントの違いを詳しく見てみましょう。

• レイテンシ：共有環境ではリソースの共有によりレイテンシが変動する場合がありますが、専用エンドポイントではより安定した低レイテンシの応答が得られます。
• リージョン：共有推論は限られたリージョン（米国、EU、AP）で利用できますが、専用エンドポイントは世界43のリージョンへのデプロイに対応しています。
• スケーラビリティ：共有推論ではスケーリングを設定できませんが、専用エンドポイントでは受信トラフィックに応じて自動的にスケールします。
• レート制限：共有推論にはAPIキーごとに1分あたり20リクエスト（またはAPI呼び出し）のレート制限がありますが、専用エンドポイントにはプラットフォームによるレート制限がありません。
• 料金：共有推論はテストと開発に追加料金なしで利用できます。一方、専用エンドポイントでは、リソース設定とデプロイのニーズに応じて、より細かな制御とスケーラビリティを利用できます。

専用エンドポイントが本番ワークロードに適している理由#

AIや機械学習のアプリケーションがテストから実利用へと移行するにつれて、性能、スケーラビリティ、信頼性が不可欠になります。そのため、専用エンドポイントは共有推論に対して明確なメリットを提供します。

専用エンドポイントでは、事前トレーニング済みモデルやカスタムモデルが独自の計算リソース上で実行されるため、他のユーザーの影響を受けません。これにより、動画分析や監視システムなどのリアルタイムアプリケーションで重要となる、低く安定したレイテンシを維持できます。

図3. 専用推論エンドポイントを使用したデプロイの例（出典）

たとえば、複数店舗のライブカメラ映像を処理する小売分析システムを考えてみましょう。世界43のリージョンにエンドポイントをデプロイすると、各店舗に近い場所で推論を実行でき、レイテンシが低減して応答時間が改善します。

リソースを共有し、利用可能なリージョンも限られる共有推論では、混雑時に性能が変動する場合があります。

専用エンドポイントは、より多くのトラフィックを処理し、需要に応じて自動的にスケールすることもできます。組み込みの監視機能、ログ、ヘルスチェックにより、より予測可能な性能を実現するため、大規模かつ継続的なAIワークロードに適しています。

ビジョンAIワークフローにおける共有推論の役割#

共有推論と専用エンドポイントの違いを確認する中で、コンピュータービジョンのワークフロー全体において共有推論がどのような役割を果たすのか、疑問に思うかもしれません。

小売分析の例をもう一度見てみましょう。複数店舗にビジョンソリューションをデプロイする前に、チームは通常、実データでの性能をテストし、その結果に基づいて改善する必要があります。

共有推論を使うと、インフラストラクチャをセットアップせずに、店舗のカメラからサンプル画像や動画フレームを送信して予測をすばやく確認できるため、このプロセスを簡単に進められます。モデルの動作のテスト、誤った予測のデバッグ、照明や店舗レイアウトの変化など異なる条件下での結果の検証に特に役立ちます。

このように反復を重ねることで、チームは本番環境に移行する前にモデルの精度と信頼性を向上させられます。テストシナリオでモデルが十分な性能を発揮したら、複数の拠点でリアルタイムに利用できるよう、専用エンドポイントにデプロイできます。

共有推論は、利用頻度が低いアプリケーションにも適しています。たとえば、小規模な小売店では、大規模なデプロイを必要とせず、通行量を時折分析したり、特定の時間帯の顧客の動きを確認したりするために利用できます。このような場合、必要に応じて推論を実行できるシンプルで費用対効果の高い方法となります。

専用エンドポイントの実世界でのユースケース#

AIアプリケーションがテスト段階を超えて利用されるようになると、デプロイ方法の選択が性能、スケーラビリティ、ユーザーエクスペリエンスに直接影響します。専用エンドポイントは、安定した性能、低レイテンシ、大規模なワークロードへの対応力を備えているため、さまざまな業界で幅広く利用できます。

専用エンドポイントを実際のアプリケーションで活用する一般的なユースケースをいくつかご紹介します。

• 小売業と動画分析：小売チェーンでは、コンピュータービジョンを使用して顧客の動きを追跡し、人気商品を特定し、店舗の状況をリアルタイムで監視できます。専用エンドポイントにより、繁忙時間帯でも複数店舗で高速かつ安定した推論を実現できます。
• 製造業と品質検査：生産ラインでは、製品がシステム内を移動する間にモデルが欠陥や異常を検出できます。専用エンドポイントは継続的なリアルタイム推論を支援し、業務を滞らせることなく、チームが問題を早期に発見して製品の品質を維持できるようにします。
• 医療と医用画像：医療機関や診断ラボでは、ビジョンモデルを活用してX線画像やスキャン画像などの医用画像を分析できます。専用エンドポイントは安定した信頼性の高い性能を提供するため、機密データや時間的制約のある診断を扱う際に重要です。
• 倉庫・物流の自動化：大規模な倉庫では、ベルトコンベヤーや仕分けラインなど、同一のシステムが複数稼働しており、実質的に同じ構成の複製として機能していることがよくあります。コンピュータービジョンモデルで各複製を監視することで、詰まりや誤配送などの問題を検出できます。専用エンドポイントは、すべての複製でリアルタイムに一貫した推論を実現します。

共有推論から専用エンドポイントへの移行#

Ultralytics Platformの主なメリットの1つは、アプリケーションの成長に合わせて、共有推論から専用エンドポイントへ簡単に移行できることです。ツールを切り替えたりセットアップを再構築したりせず、同じ環境内で本番環境に対応したデプロイへ移行できます。

共有推論でモデルをテストした後は、専用エンドポイントへの移行が次の簡単なステップとなります。同じモデルをエンドポイントにデプロイし、希望するリージョンと計算リソースを選択して、アプリケーション内のエンドポイントURLを更新できます。全体的な統合方法はほぼ変わらないため、リクエストの送信方法やレスポンスの処理方法をほとんど変更する必要はありません。

図4. Ultralytics Platformでの専用エンドポイントURLの表示（出典）

つまり、数回クリックするだけで、テストから本番環境へスケールできます。ワークロードが増加したり、アプリケーションにより安定した性能が必要になったりした場合も、既存のワークフローを中断することなく専用エンドポイントへ移行できます。

Ultralytics Platformで専用エンドポイントを使用してモデルをデプロイする方法については、公式のUltralytics Platformドキュメントをご覧ください。

重要なポイント#

共有推論はテストや実験を始めるのに最適ですが、本番ワークロードではより高い一貫性とスケーラビリティが求められます。アプリケーションの成長に伴い、専用エンドポイントは実運用を支える性能と信頼性を提供します。そのため、ほとんどの本番デプロイに最適な選択肢です。

コミュニティに参加し、GitHubリポジトリでコンピュータービジョンモデルについて詳しくご覧ください。ソリューションのページでは、農業におけるAIやロボティクスにおけるコンピュータービジョンなどの活用例をご紹介しています。ライセンスオプションを確認して、ビジョンAIを始めましょう。