YOLOのライセンス
Ultralytics Platform

デプロイ向けの専用推論エンドポイントと共有推論の比較

共有推論と比べて、スケーラブルで低レイテンシなビジョンAIのデプロイにUltralytics Platformの専用推論エンドポイントを選ぶべき場面をご紹介します。

Abirami VinaAbirami Vina11 分で読めます
共有推論と比べて、スケーラブルで低レイテンシなビジョンAIのデプロイにUltralytics Platformの専用推論エンドポイントを選ぶべき場面をご紹介します。

最近、データセットの準備やモデルのトレーニングから、推論、デプロイ、監視まで、コンピュータービジョンのワークフロー全体を一元化するエンドツーエンドのソリューションとして、Ultralytics Platformをリリースしました。

コンピュータービジョンコミュニティからのフィードバックを基に構築されたこのプラットフォームは、ビジョンAIアプリケーションのライフサイクル全体を支援する統合機能を提供し、開発の各段階を簡素化できるよう設計されています。

たとえば、モデルをトレーニングした後は、実際のアプリケーションで推論を実行し、予測を行えるようにデプロイします。このプラットフォームでは、複数のデプロイオプションを用意しており、このプロセスを簡単に進められます。

モデルをエクスポートして独自の環境で実行したり、共有推論を利用してすばやくテストしたり、専用エンドポイントをデプロイしてスケーラブルな本番環境対応アプリケーションを構築したりできます。これらのデプロイオプションはいずれもAI推論を実行できますが、対象とする段階やユースケースが異なります。

スケーラブルなグローバルビジョンAIモデルのデプロイを可能にするUltralytics Platform

図1. Ultralytics PlatformはスケーラブルなグローバルビジョンAIモデルのデプロイを可能にします(出典)

モデルのエクスポートを利用すると、独自のインフラストラクチャでモデルを実行するための完全な制御が可能になります。共有推論ではセットアップなしで簡単にテストや実験を行え、専用エンドポイントは信頼性の高い大規模な本番ワークロード向けに構築されています。

一見すると、共有推論と専用エンドポイントはよく似ているように見えるかもしれません。どちらもモデルにAPIリクエストを送信して構造化された予測結果を受け取れるため、ビジョンAIをアプリケーションに簡単に統合できます。

しかし、ワークロードが増加し、コンピュータービジョンアプリケーションがリアルタイムの推論リクエストを処理するようになると、これらの選択肢の違いがより重要になります。この記事では、共有推論と専用エンドポイントを詳しく比較し、それぞれの利用場面や、アプリケーションの拡大に伴って専用エンドポイントがより適した選択肢となる理由を解説します。

共有推論を使用したデプロイの概要#

共有推論は、インフラストラクチャのセットアップや、GPUの種類、フレームワーク統合、ランタイム設定を気にすることなく、モデルでAI推論を実行できるシンプルな方法です。モデルのトレーニングまたはファインチューニングが完了したら、プラットフォームから直接予測を行えます。

この構成では、米国、ヨーロッパ、アジア太平洋など、いくつかの主要地域にある共有マルチテナントの計算リソース上でモデルが実行されます。リクエストは利用可能なサービスに自動的にルーティングされるため、GPUインスタンスやランタイム環境を設定する必要はありません。すべてが自動で処理されるため、簡単に使い始められます。

共有推論を使用する場合、PythonやCLIなどのツールを使ってREST API経由でモデルにリクエストを送信し、検出されたオブジェクト、信頼度スコア、その他の予測詳細などを含む構造化されたJSON出力を受け取ります。これにより、モデルのテストやアプリケーションへの統合が容易になります。

共有システムは、開発、テスト、軽度の利用を想定して設計されています。予測の検証や初期段階の統合に適しています。一方で、システム負荷によって性能が変動する場合があり、APIキーごとに1分あたり20リクエストのレート制限があるため、高スループットの本番ワークロードにはあまり適していません。

全体として、共有推論は大規模なアプリケーションに移行する前にモデルを理解し、改善することを重視する初期段階の開発に最適です。

専用エンドポイントを使用してモデルをグローバルにデプロイする#

専用エンドポイントは、ビジョンAIモデルを分離された計算リソース上で実行するシングルテナントの推論サービスです。インフラストラクチャを共有するのではなく、各エンドポイントが独自のランタイムを持ち、CPUやメモリなどのリソースを設定できるため、性能をより細かく制御できます。

モデルを専用エンドポイントとしてデプロイすると、固有のAPI URLが割り当てられ、認証にはAPIキーが使用されるため、アプリケーションに簡単に統合できます。エンドポイントは42のグローバルリージョンにデプロイできるため、ユーザーの近くで推論を実行してレイテンシを低減できます。

42のグローバルリージョンにおける専用エンドポイントのデプロイ

図2. 専用エンドポイントは42のグローバルリージョンにデプロイできます(出典)

専用エンドポイントは本番環境のワークロード向けに設計されています。共有推論と比べて、安定した低レイテンシ、高いスループット、優れた信頼性を提供します。

また、専用エンドポイントにはプラットフォームのレート制限がありません。リクエストはエンドポイントに直接送信されるため、処理できるトラフィック量は固定の上限ではなく、エンドポイントのリソースによって決まります。

これに加えて、組み込みのモニタリング、ログ、ヘルスチェック、予測可能なランタイムと起動時の動作により、すべてのプランでパフォーマンスの追跡と安定したデプロイの維持が容易になります。デフォルトのリソースサイズでは、エンドポイントはアイドル状態になるとスケールゼロになるため、アイドル期間後の最初のリクエストは起動に最大約1分かかることがあります。カスタムのリソースサイズではインスタンスが常時起動状態に保たれるため、より高速で予測しやすい推論パフォーマンスが得られます。

簡単に言えば、専用エンドポイントは、信頼性、スケーラビリティ、高性能な推論を必要とするリアルタイムのビジョンAIアプリケーションに最適です。

共有推論と専用エンドポイント:主な違い#

共有推論と専用エンドポイントの違いを詳しく見てみましょう。

  • レイテンシ:共有環境ではリソースの共有によりレイテンシが変動する場合がありますが、専用エンドポイントではより安定した低レイテンシの応答が得られます。
  • リージョン: 共有推論は一部のリージョン(US、EU、AP)で利用できますが、専用エンドポイントは42のグローバルリージョンにデプロイできます。
  • スケーラビリティ: 共有推論ではスケーリングを設定できませんが、専用エンドポイントではCPUとメモリのリソースを選択できます。
  • レート制限: 共有推論にはレート制限(APIキーごとに1分あたり20件のリクエストまたはAPI呼び出し)がありますが、専用エンドポイントにはプラットフォームのレート制限がありません。
  • 料金:共有推論はテストと開発に追加料金なしで利用できます。一方、専用エンドポイントでは、リソース設定とデプロイのニーズに応じて、より細かな制御とスケーラビリティを利用できます。

専用エンドポイントが本番ワークロードに適している理由#

AIや機械学習のアプリケーションがテストから実利用へと移行するにつれて、性能、スケーラビリティ、信頼性が不可欠になります。そのため、専用エンドポイントは共有推論に対して明確なメリットを提供します。

専用エンドポイントでは、事前トレーニング済みモデルやカスタムモデルが独自の計算リソース上で実行されるため、他のユーザーの影響を受けません。これにより、動画分析や監視システムなどのリアルタイムアプリケーションで重要となる、低く安定したレイテンシを維持できます。

専用推論エンドポイントを使用したデプロイの例

図3. 専用推論エンドポイントを使用したデプロイの例(出典)

たとえば、複数店舗のライブカメラ映像を処理する小売分析システムを考えてみてください。42のグローバルリージョンにエンドポイントをデプロイすれば、各店舗に近い場所で推論を実行でき、レイテンシを低減して応答時間を改善できます。

リソースを共有し、利用可能なリージョンも限られる共有推論では、混雑時に性能が変動する場合があります。

専用エンドポイントは、より多くのトラフィックにも対応できます。組み込みのモニタリング、ログ、ヘルスチェックを備えているため、より予測しやすいパフォーマンスを提供し、大規模で継続的なAIワークロードに適しています。

ビジョンAIワークフローにおける共有推論の役割#

共有推論と専用エンドポイントの違いを確認する中で、コンピュータービジョンのワークフロー全体において共有推論がどのような役割を果たすのか、疑問に思うかもしれません。

小売分析の例をもう一度見てみましょう。複数店舗にビジョンソリューションをデプロイする前に、チームは通常、実データでの性能をテストし、その結果に基づいて改善する必要があります。

共有推論を使うと、インフラストラクチャをセットアップせずに、店舗のカメラからサンプル画像や動画フレームを送信して予測をすばやく確認できるため、このプロセスを簡単に進められます。モデルの動作のテスト、誤った予測のデバッグ、照明や店舗レイアウトの変化など異なる条件下での結果の検証に特に役立ちます。

このように反復を重ねることで、チームは本番環境に移行する前にモデルの精度と信頼性を向上させられます。テストシナリオでモデルが十分な性能を発揮したら、複数の拠点でリアルタイムに利用できるよう、専用エンドポイントにデプロイできます。

共有推論は、利用頻度が低いアプリケーションにも適しています。たとえば、小規模な小売店では、大規模なデプロイを必要とせず、通行量を時折分析したり、特定の時間帯の顧客の動きを確認したりするために利用できます。このような場合、必要に応じて推論を実行できるシンプルで費用対効果の高い方法となります。

専用エンドポイントの実世界でのユースケース#

AIアプリケーションがテスト段階を超えて利用されるようになると、デプロイ方法の選択が性能、スケーラビリティ、ユーザーエクスペリエンスに直接影響します。専用エンドポイントは、安定した性能、低レイテンシ、大規模なワークロードへの対応力を備えているため、さまざまな業界で幅広く利用できます。

専用エンドポイントを実際のアプリケーションで活用する一般的なユースケースをいくつかご紹介します。

  • 小売業と動画分析:小売チェーンでは、コンピュータービジョンを使用して顧客の動きを追跡し、人気商品を特定し、店舗の状況をリアルタイムで監視できます。専用エンドポイントにより、繁忙時間帯でも複数店舗で高速かつ安定した推論を実現できます。
  • 製造業と品質検査:生産ラインでは、製品がシステム内を移動する間にモデルが欠陥や異常を検出できます。専用エンドポイントは継続的なリアルタイム推論を支援し、業務を滞らせることなく、チームが問題を早期に発見して製品の品質を維持できるようにします。
  • 医療と医用画像:医療機関や診断ラボでは、ビジョンモデルを活用してX線画像やスキャン画像などの医用画像を分析できます。専用エンドポイントは安定した信頼性の高い性能を提供するため、機密データや時間的制約のある診断を扱う際に重要です。
  • 倉庫・物流の自動化:大規模な倉庫では、ベルトコンベヤーや仕分けラインなど、同一のシステムが複数稼働しており、実質的に同じ構成の複製として機能していることがよくあります。コンピュータービジョンモデルで各複製を監視することで、詰まりや誤配送などの問題を検出できます。専用エンドポイントは、すべての複製でリアルタイムに一貫した推論を実現します。

共有推論から専用エンドポイントへの移行#

Ultralytics Platformの主なメリットの1つは、アプリケーションの成長に合わせて、共有推論から専用エンドポイントへ簡単に移行できることです。ツールを切り替えたりセットアップを再構築したりせず、同じ環境内で本番環境に対応したデプロイへ移行できます。

共有推論でモデルをテストした後は、専用エンドポイントへの移行が次の簡単なステップとなります。同じモデルをエンドポイントにデプロイし、希望するリージョンと計算リソースを選択して、アプリケーション内のエンドポイントURLを更新できます。全体的な統合方法はほぼ変わらないため、リクエストの送信方法やレスポンスの処理方法をほとんど変更する必要はありません。

Ultralytics Platformでの専用エンドポイントURLの表示

図4. Ultralytics Platformでの専用エンドポイントURLの表示(出典)

つまり、数回クリックするだけで、テストから本番環境へスケールできます。ワークロードが増加したり、アプリケーションにより安定した性能が必要になったりした場合も、既存のワークフローを中断することなく専用エンドポイントへ移行できます。

Ultralytics Platformで専用エンドポイントを使用してモデルをデプロイする方法については、公式のUltralytics Platformドキュメントをご覧ください。

重要なポイント#

共有推論はテストや実験を始めるのに最適ですが、本番ワークロードではより高い一貫性とスケーラビリティが求められます。アプリケーションの成長に伴い、専用エンドポイントは実運用を支える性能と信頼性を提供します。そのため、ほとんどの本番デプロイに最適な選択肢です。

コミュニティに参加し、GitHubリポジトリでコンピュータービジョンモデルについて詳しくご覧ください。ソリューションのページでは、農業におけるAIやロボティクスにおけるコンピュータービジョンなどの活用例をご紹介しています。ライセンスオプションを確認して、ビジョンAIを始めましょう。

執筆者

Abirami Vina
Abirami Vina

コンテンツクリエイター · Ultralytics

コンピュータービジョンエンジニアとしてキャリアをスタートさせたAbirami Vinaは、ビジョンAIと機械学習の強固な基盤を築きました。Ultralyticsのコンテンツクリエイターであり、Scribe of AIの創設者兼チーフライターとして、AIに特化した企業向けの高品質な技術コンテンツを制作しています。AIを理解しやすく魅力的なものにするという情熱に基づき、最先端のテクノロジーと実社会への影響をつなぐ仕事に取り組んでいます。

コメント

質問したり、結果を共有したり、ほかの人をサポートしたりできます。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう