Ultralytics Platform：コンピュータービジョンモデルをあらゆるリージョンにデプロイ

今週初め、UltralyticsはUltralytics Platformを発表しました。データ準備やモデル開発からデプロイまで、ビジョンAIワークフローの全段階を効率化することで、コンピュータービジョン（CV）システムのリリースを迅速化するために設計された、新しいエンドツーエンド環境です。

Ultralytics Platformの開発を後押しした主な理由の1つは、コンピュータービジョンソリューションをアイデアから実社会への貢献につなげるには、優れたモデルを構築するだけでは不十分だということです。モデルをトレーニングして検証に合格した後は、アプリケーションが画像を送信して予測を受け取り、実環境で安定して推論を実行できるように、モデルをデプロイする必要があります。

機械学習ライフサイクルのこの段階で、コンピュータービジョンモデルは実験段階を超え、実用的なシステムを支えるようになります。データセットの準備、アノテーション、モデルの学習、テストなどの前段階が順調に進んでいても、モデルを確実にデプロイする手段がなければ、その成果を役立てることはできません。

多くのコンピュータービジョンプロジェクトでは、デプロイがワークフローの中でも特に複雑な工程の1つになるのが実情です。

チームは多くの場合、推論APIを設定し、計算リソースを管理し、レイテンシを抑えるためにユーザーの近くへモデルをデプロイし、システムの本番稼働後は性能を監視する必要があります。

Ultralytics Platformは、モデルのエクスポート形式、共有推論サービス、世界各地の専用エンドポイントなど、複数のデプロイ方法を提供することで、このプロセスを効率化し、自動化します。マネージドインフラストラクチャと組み込みの監視機能により、チームは学習済みモデルから本番環境対応のコンピュータービジョンシステムへ簡単に移行できます。

図1. Ultralytics Platformを使ったモデルのデプロイ例（出典）

この記事では、Ultralytics Platformの専用エンドポイントを使って、あらゆるリージョンにコンピュータービジョンモデルをデプロイする方法を解説します。

CVモデルのデプロイとは？#

Ultralytics Platformを使ったディープラーニングモデルのデプロイ方法を説明する前に、コンピュータービジョンモデルのデプロイが実際に何を意味するのか、詳しく見ていきましょう。

コンピュータービジョンのモデルデプロイとは、学習済みモデルを実環境で使える状態にするプロセスです。学習環境だけで実行するのではなく、アプリケーションが画像や動画を送信し、その結果として予測を受け取れるようにモデルを設定します。

たとえば、モデルは画像内の物体を検出したり、画像セグメンテーションを実行したり、倉庫内のアイテムを特定したり、動画内のパターンを認識したりできます。ほとんどの実環境システムでは、APIまたは推論エンドポイントを通じてこれらを実行します。

アプリケーションがモデルに画像を送信すると、モデルは画像を処理し、数ミリ秒以内に予測を返します。これにより、Ultralytics YOLOのようなコンピュータービジョンモデルを使ったリアルタイムアプリケーションが可能になります。

ユースケースに応じて、モデルはさまざまな環境にデプロイできます。クラウドで実行され、多数のアプリケーションからアクセスできるモデルもあれば、オンプレミスのカメラ、ロボット、または高速なローカル予測が必要な組み込みシステムなどのエッジデバイスで実行されるモデルもあります。

Ultralytics PlatformでのAIモデルのデプロイ方法#

Ultralytics Platformは、モデルのデプロイ時にコンピュータービジョンコミュニティが直面する多くの課題に対応し、アプリケーションのニーズに応じた柔軟な推論実行方法を提供します。

プラットフォームで利用できるモデルのデプロイ方法を簡単に紹介します。

• モデルのエクスポート: ONNX、TensorRT、CoreML、TFLiteなど、22種類の形式にモデルをエクスポートできます。これにより、Raspberry PiやNVIDIA Jetsonなどのエッジデバイス、モバイルアプリ、Dockerコンテナ、カスタムインフラなど、幅広い環境でモデルを実行できます。
• 共有推論: プラットフォームでは、管理された共有推論サービスを通じて予測を実行でき、モデルの迅速なテストに最適です。
• 専用エンドポイント: 固有のAPI URLを持つ独立したサービスとしてモデルを簡単にデプロイできます。42のグローバルリージョンで実行でき、ゼロへのスケーリング、モニタリング、ヘルスチェックに対応しているため、本番環境でのデプロイに適しています。

専用エンドポイントを使ったデプロイ#

Ultralytics Platformで事前学習済みモデルやカスタム学習したコンピュータービジョンモデルを本番環境で実行する方法の中でも、特にスケーラブルなのが専用エンドポイントです。専用エンドポイントを使うと、学習済みモデルを独立したサービスとしてデプロイできるため、アプリケーションから画像を送信し、API経由で予測を受け取れます。

モデルを学習環境やローカルのノートブックだけで実行するのではなく、エンドポイントとしてデプロイすると、実際のアプリケーションから利用できるようになります。たとえば、倉庫システムは荷物の画像を物体検出のために送信でき、スマートカメラは動画フレームを分析でき、ロボットシステムは予測を使って動作を制御できます。

各専用エンドポイントはシングルテナントサービスとして実行されるため、モデルを実行するインフラストラクチャは他のユーザーと共有されません。これにより、より予測しやすい性能が得られ、本番環境でモデルがどのように動作するかを監視しやすくなります。

専用推論エンドポイントの仕組みを理解する#

専用エンドポイントは、モデルをホストするサービスと考えることができます。Ultralytics Platformは、アプリケーションの接続先となる固有のエンドポイントURLを提供します。

アプリケーションがそのURLにリクエストを送信すると、画像や、信頼度しきい値や画像サイズなどのオプションパラメーターに加え、認証用のAPIキーが含まれます。

サービスはモデルを使って画像の推論を実行し、構造化されたレスポンスで予測結果を返します。この仕組みにより、開発者は標準的なWebツールを使ってコンピュータービジョンモデルを実際のシステムに統合できます。

アプリケーションはPython、JavaScript、cURL、その他のHTTPクライアントを使ってリクエストを送信できるため、モデルをダッシュボード、ロボットシステム、クラウドアプリケーションに簡単に接続できます。エンドポイントは独立して実行されるため、スケーリング、監視、グローバルデプロイにも対応でき、チームによる信頼性の高い本番環境向けコンピュータービジョンシステムの構築を支援します。

マルチリージョンデプロイによりリアルタイム推論が向上します#

Ultralytics Platformの専用エンドポイントの大きな利点は、42のグローバルリージョンにモデルをデプロイできることです。これらのリージョンは、北米、南米、ヨーロッパ、アジア太平洋、中東、アフリカなど、世界各地に広がっています。

図2. Ultralytics Platformは42のグローバルリージョンをサポートしています（出典）

アプリケーションの実行場所に近いリージョンにモデルをデプロイすると、アプリケーションが画像を送信して予測を受け取るまでの時間であるレイテンシを低減できます。また、データ処理をデータの発生元に近い場所で行うことで、組織がデータプライバシーやデータ所在地の要件を満たすのにも役立ちます。

ロボティクスシステム、モノのインターネット（IoT）デバイス、産業検査パイプライン、スマートシティインフラなど、リアルタイム推論に依存する多くのコンピュータービジョンアプリケーションでは、低レイテンシが重要です。

たとえば、主にヨーロッパでアプリケーションが使用されている場合、ヨーロッパのリージョンにモデルをデプロイすると、遠隔地のリージョンでモデルを実行する場合と比べて、応答時間を大幅に短縮できます。

Ultralytics Platformで任意のリージョンにデプロイする方法#

特定のリージョンへのモデルのデプロイは簡単で、通常は数分で完了します。プラットフォームがインフラのセットアップを処理するため、開発者はモデルをアプリケーションに統合することに集中できます。手順を見ていきましょう。

ステップ1：モデルをトレーニングまたはアップロードする#

デプロイする前に、プロジェクトでトレーニング済みモデルを利用できるようにする必要があります。Ultralytics Platformで直接トレーニングしたモデル、別の場所でトレーニングした後にアップロードしたモデル、またはコミュニティプロジェクトから複製したモデルを使用できます。「Explore」タブでは、他のユーザーが共有した公開プロジェクトをワンクリックで自分のアカウントにコピーできます。

モデルの準備ができたら、プロジェクト内のモデルページを開いて次に進みます。

ステップ2：「Deploy」タブを開く#

モデルの「Deploy」タブに移動します。このプラットフォームセクションでは、デプロイを設定して開始できます。

そのページには、リージョンの一覧表と、世界中の利用可能なデプロイ先を示すインタラクティブマップが表示されます。プラットフォームは現在地からのレイテンシを測定し、リージョンをそれに応じて並べ替えるため、最適なリージョンを選びやすくなります。

図3. Ultralytics Platformでレイテンシ順に並べ替えられたリージョン（出典）

ステップ3：デプロイ先のリージョンを選択する#

ユーザーやアプリケーションの場所に基づいてリージョンを選択します。リクエストの送信元に近い場所にモデルをデプロイすると、応答時間を大幅に短縮できます。

ステップ4：エンドポイントをデプロイする#

リージョンを選択して設定を確認したら、「Deploy」をクリックします。

プラットフォームはデプロイ環境を準備し、モデルイメージを取得してサービスを起動した後、エンドポイントが利用可能な状態であることを確認するヘルスチェックを実行します。この処理には通常、約1～2分かかります。

デプロイが完了すると、プラットフォームは一意のエンドポイントURLを生成します。アプリケーションはこのURLを使って推論リクエストを送信できます。

図4. デプロイ済みエンドポイントの例（出典）

ステップ5：推論リクエストの送信を開始する#

エンドポイントが稼働すると、アプリケーションは提供されたREST APIエンドポイントを使い、AuthorizationヘッダーにAPIキーを渡してモデルに画像を送信できます。エンドポイントは各リクエストを処理し、検出されたオブジェクト、バウンディングボックス、その他のタスク固有の出力などの予測を返します。

モデルのデプロイについて詳しくは、Ultralyticsの公式Ultralytics Platformドキュメントをご覧ください。

デプロイ済みエンドポイントのモデル性能とメトリクスを監視する#

コンピュータービジョンモデルをデプロイしたら、システムの信頼性と堅牢性を維持するうえで、モデルの性能監視が重要になります。十分にトレーニングされたモデルでも、本番環境で継続的に監視し、すばやく応答し、受信リクエストを適切に処理し、正確な予測を提供し続けていることを確認する必要があります。

Ultralytics Platformには組み込みの監視ツールがあり、デプロイ済みエンドポイントの性能をチームが把握できます。プラットフォームの「Deploy」ページは監視ダッシュボードとして機能し、稼働中のすべてのエンドポイントを一元的に表示するとともに、システムの健全性や使用状況を追跡するための主要なメトリクスを提供します。

Platformで監視できるメトリクスの例を以下に示します。

• P95レイテンシ： 推論リクエストのサーバー側応答時間の95パーセンタイルを測定するメトリクスです。大半の推論リクエストにかかる時間を把握し、性能の低下を特定できます。
• エラー率： 選択した監視期間内に失敗したリクエスト、またはエラーを返したリクエストの割合です。エラー率を監視すると、デプロイや受信リクエストに関する問題をチームがすばやく検出できます。
• リクエスト総数： 選択した期間（たとえば過去24時間）にデプロイ済みエンドポイント全体で処理された推論リクエストの総数を示すメトリクスです。チームがトラフィック量やモデルの使用頻度を把握するのに役立ちます。

これらのメトリクスに加えて、プラットフォームはエンドポイントのヘルスチェックとデプロイログも提供します。ヘルスチェックではエンドポイントが正常に応答しているかを確認でき、ログでは最近のリクエストやシステムの動作に関する詳細情報を確認できます。

重要なポイント#

コンピュータービジョンモデルのデプロイは、学習済みモデルを実世界のアプリケーションを支えるシステムに変えるための重要なステップです。Ultralytics Platformを使用すると、チームは42のグローバルリージョンに専用エンドポイントを通じて簡単にモデルをデプロイし、API経由でリアルタイム推論を実行し、単一の環境からパフォーマンスを監視できます。柔軟なデプロイオプション、組み込みのモニタリング、スケーラブルなインフラを組み合わせることで、開発者が学習済みの機械学習モデルから信頼性の高いコンピュータービジョンアプリケーションへ、より迅速に移行できるよう支援します。

成長を続けるコミュニティにぜひご参加ください！AIについて詳しく知るには、GitHubリポジトリをご覧ください。コンピュータービジョンソリューションの構築をお考えの場合は、ライセンスオプションをご確認ください。医療分野におけるコンピュータービジョンのメリットを探り、物流分野のAIがどのような変化をもたらしているかをご覧ください！