Ultralytics Platformでデプロイ済みコンピュータビジョンモデルを監視

画像やビデオを分析するcomputer vision modelsのテストは、必ずしも本番環境での実行と同じではありません。開発中、このようなモデルやアルゴリズムは、条件が制御され予測可能な、クリーンで十分に準備されたデータセットでテストされます。

デプロイされると、状況はより動的になります。モデルは現実世界のトラフィックにさらされ、リクエスト量が増減したり、応答時間が変化したり、時折障害が発生したりする可能性があります。

この段階では、エンドポイントが利用可能で応答性が高く、変化する条件下でも安定しているかなど、システムが確実に稼働しているかどうかに焦点が移ります。

そのため、監視が不可欠です。監視は、リクエスト数、レイテンシ、エラー率、システム全体の健全性などのメトリクスを通じて、デプロイされたエンドポイントが本番環境でどのように動作しているかを明確に可視化します。

これを容易にするために、適切なツールを整えることはモデル自体と同じくらい重要になります。最近、Ultralyticsは、データやトレーニングからデプロイ、モニタリングに至るまでの完全なコンピュータビジョンワークフローを統合した新しいエンドツーエンド環境であるUltralytics Platformを発表しました。

図 1. モニタリング機能を備えたUltralytics Platformのデプロイメントダッシュボード（Source）

このワークフローにモニタリングが直接組み込まれているため、ユーザーは別のツールに頼ることなく、エンドポイントのヘルスを追跡し、リクエストの動作を検証し、信頼性の高いシステムを維持できます。この記事では、Ultralytics Platformを使用してmonitor deployed modelのエンドポイントを監視し、本番システムを円滑に稼働させ続ける方法について説明します。それでは始めましょう！

AIモデル監視の概要#

AIモデルのライフサイクルにおいて、監視とは、モデルが稼働を開始し、現実世界のリクエストを処理するようになった後のデプロイされたシステムの挙動を観測することを指します。トレーニングや検証では機械学習モデル（MLモデル）が準備されたデータセットでどの程度機能するかを示しますが、監視はデプロイされたエンドポイントが本番環境でどのように動作するかに焦点を当てます。

監視の重要な部分は、信頼性と応答性を反映するシステムレベルのメトリクスを追跡することです。レイテンシや稼働時間（アップタイム）などのメトリクスは、システムがどれだけ適切にリクエストを処理しているかを示す助けとなります。レイテンシはリクエストの処理と応答の返却にかかる時間を測定し、稼働時間はエンドポイントがどれだけ一貫して利用可能な状態を維持しているかを示します。

もう1つの重要な側面はオブザーバビリティ（可観測性）であり、リクエストがどのように処理されているかを可視化します。画像やビデオフレームなどの入力がデプロイされたモデルに送信されるたびに、それは推論リクエストとして処理されます。

ログは、これらのリクエストをタイムスタンプ、応答時間、ステータスコードなどの詳細と共にキャプチャします。これらのログにより、リクエストの追跡、問題のデバッグ、障害発生時の調査が容易になります。特に、繰り返し発生するエラー、遅いレスポンス、予期しないシステム挙動などのパターンを特定するのに役立ちます。

メトリクスとログを組み合わせることで、監視はユーザーが本番環境でシステムがどのように稼働しているかを理解し、問題が発生した際に迅速に対応する助けとなります。

モデルパフォーマンスメトリクスとシステムメトリクスの比較#

本番環境の監視に入る前に、モデルパフォーマンスメトリクスとシステムメトリクスの違いについて説明します。

通常、モデル監視は精度（accuracy）、適合率（precision）、再現率（recall）、mAP（mean average precision）などの評価メトリクス（モデルメトリクスとも呼ばれます）に関連付けられます。これらのメトリクスは、モデルの挙動を記述し、本番データや入力データとの関連でモデル予測の品質を評価するために使用されます。これらは、新しいデータ内のエッジケースや外れ値を特定するのに特に役立ちます。

しかし、これは本番環境のデプロイ済みシステムの監視とは異なります。この文脈では、監視はモデル予測を直接評価するのではなく、システムがどのように稼働しているかに焦点を当てます。

デプロイ監視では、モデルメトリクスではなく、リクエスト数、レイテンシ、エラー率、稼働時間などのシステムレベルのシグナルに依存します。これらのメトリクスは、エンドポイントが入力データをどのように処理し、どれだけ一貫して応答し、本番環境でどのように動作するかを可視化します。

コンピュータビジョンプロジェクトにおけるモデル監視の役割#

次に、コンピュータビジョンのデプロイにおいて、なぜ監視システムが必要なのかを示す実例を見ていきましょう。

pose estimation（人間の身体の動きを識別および分析するために使用されるコンピュータビジョンタスク）を使用するビジョンソリューションを考えてみましょう。これは、建設作業員の安全コンプライアンスを監視するためのものです。初期のモデルデプロイ時において、このようなシステムは、視界がクリアで標準的なシナリオが揃った制御された条件下ではうまく機能する場合があります。

しかし、実際の建設現場では複雑さが増します。一日を通じてリクエスト数は変動し、ネットワークの状態が不安定になる可能性があり、複数のカメラやエンドポイントが同時にデータを送信している場合もあります。システムが適切に監視されていないと、これらの要因により、応答が遅くなったり、時折障害が発生したりする可能性があります。

図 2. 建設現場で作業員を監視するために使用される姿勢推定（Source）

このような本番環境では、システムがどれだけ確実に稼働しているかを理解することが重要になります。監視機能により、エンドポイントが利用可能かどうか、受信リクエストに対してどれだけ迅速に応答しているか、そして時間の経過とともにトラフィックをどれだけ一貫して処理しているかを可視化できます。

例えば、レイテンシの増加は負荷の増大やリソースの制限を示している可能性があり、エラー率の上昇はリクエスト処理やシステムの安定性に問題があることを示している可能性があります。ログは、個々のリクエストがどのように処理され、どこで障害が発生したかを示すことで、より多くのコンテキストを提供します。

これらのシグナルを追跡することで、AI愛好家やデータサイエンティストは問題を早期に特定し、より効果的にトラブルシューティングを行い、現実世界の状況が変化してもシステムを確実に稼働し続けることができます。

Ultralytics Platformを使用してデプロイされたビジョンモデルを監視する#

多くのディープラーニングワークフローでは、ログ、メトリクス、システム健全性のために個別のツールを使用して監視が行われることがよくあります。このような断片化されたセットアップでは、本番環境でデプロイされたエンドポイントがどのように動作しているかを明確に把握することが難しく、デプロイ管理の複雑さが増します。

Ultralytics Platformは、データ取り込みやアノテーションからトレーニング、デプロイ、モニタリングに至るまで、完全なcomputer vision workflowをカバーする統合環境にモニタリングを直接組み込むことで、これを簡素化します。

この統合されたセットアップにより、ユーザーは外部のログシステムや追加のダッシュボードを設定することなく、デプロイされたエンドポイントが現実世界のトラフィックをどのように処理するかを追跡できます。すべてが1か所で利用できるため、システムの挙動を観察し、時間の経過とともに信頼性の高いデプロイを維持することが容易になります。

モニタリング機能には、Deploy tabから直接アクセスできます。単一のダッシュボードから、ユーザーは主要なメトリクスを追跡し、リクエストレベルの動作を分析し、トレンドを視覚化できます。これらの組み込みの視覚化機能により、ツールを切り替えることなく、ソリューションのパフォーマンスを容易に把握できます。

監視、デプロイ、モデル管理をより広範なワークフロー内で統合することで、プラットフォームは複雑さを軽減します。これにより、デプロイの管理、システムパフォーマンスの最適化、信頼性の維持に、よりシームレスに集中できるようになります。

Ultralytics Platformの組み込み監視機能#

本番環境のデプロイにおいて、監視は、時間の経過とともに状況が変化する中でシステムがどのように稼働しているかを明確に可視化できるかどうかに依存します。これは単にいくつかのメトリクスを追跡することを超え、環境全体でデプロイされたエンドポイントがどのように動作するかを理解し、複数のデプロイを効果的に管理することを含みます。

ビジョンAIコミュニティからの一般的なコンピュータビジョンの課題に関するフィードバックに基づき、Ultralytics Platformには、監視をより実用的かつスケーラブルにするいくつかの機能が含まれています。

これらの主要な機能の概要を以下に示します。

• グローバルなデプロイ可視化: デプロイページには、アクティブなエンドポイントと実行中のエンドポイントを示す視覚的インジケータ付きのデプロイ地域を表示する対話型の世界地図が含まれており、地理的な分布と地域ごとのアクティビティを監視できます。
• 柔軟なダッシュボードビュー: デプロイダッシュボードには、カードビュー、コンパクトグリッド、名前、地域、ステータス、リクエストなどで並べ替え可能なテーブルビューなど、複数の表示モードが用意されており、構造化された監視と比較をサポートします。
• 複数のエンドポイントの監視: ダッシュボードは、概要カードとデプロイリストを使用して、すべてのデプロイにわたる監視データを集約します。
• データ保持ポリシー: 監視データは一定期間保持され、メトリクスは30日間、ログは7日間利用可能であり、最新のパフォーマンス分析やデバッグワークフローをサポートします。
• 外部監視のサポート: デプロイエンドポイントは、Datadog、New Relic、アップタイム監視サービスなどの外部ツールを使用して監視したり、カスタム監視やヘルスチェックのためにAPIエンドポイントを介してアクセスしたりできます。

次に、これらの機能の一部をより詳細に説明し、本番環境でデプロイされたエンドポイントを監視するためにどのように使用できるかを見ていきます。

Ultralytics Platformを使用して主要なパフォーマンスメトリクスを追跡する方法#

モデルがデプロイされると、監視は主要なシステムメトリクスの追跡から始まります。精度や再現率などのメトリクスは開発中に役立ちますが、本番環境の監視では、応答時間やエラー率などのシステムレベルのシグナルに焦点を当てます。これらは、エンドポイントが現実世界のトラフィックをどれだけ確実に処理しているかについて、測定可能なインサイトを提供します。

Ultralytics Platformは、エンドポイントのアクティビティとシステムの挙動を明確に把握できる一元化されたダッシュボードを提供します。特に、デプロイダッシュボードには、エンドポイントがどのように使用され、受信リクエストにどのように応答するかを示す4つの主要なメトリクスが含まれています。

これらのメトリクスの詳細を以下に示します。

• 合計リクエスト数: 24時間周期ですべてのエンドポイントに対して行われたリクエストの合計数。これは使用パターンと全体的な需要を特定するのに役立ちます。
• アクティブなデプロイ: 現在実行中でリクエストを処理しているエンドポイントの数。
• P95レイテンシ: リクエストの95%が完了するまでの応答時間。これは遅い応答を考慮に入れることで、パフォーマンスのより現実的な見方を提供します。
• エラー率: 全リクエスト数に対する失敗したリクエストの割合。このメトリクスは問題を特定し、異常を検出するために使用できます。

簡単に言えば、これらのメトリクスは、デプロイされたエンドポイントが本番環境でどのように動作しているかを明確に示します。使用パターンを分析することで、チームや個人はトラフィックの分布を把握し、ピーク時の負荷を特定し、利用の拡大に伴いシステムが確実に応答性と信頼性を維持できるようにすることができます。

ログを通じてモデルデプロイの挙動を理解する#

メトリクスはシステムパフォーマンスの高レベルな概要を提供しますが、ログはデプロイされたエンドポイントが個々のリクエストをどのように処理するかについてのより詳細な情報を提供します。ログには、エンドポイントに送信された各リクエストとそれに対する応答が記録されます。

これらは、問題の追跡、障害の調査、リクエストがどのように処理されたかを理解するために役立ちます。Ultralytics Platform内では、任意のデプロイを選択して、ログを含む詳細を表示できます。

図 3. Ultralytics Platform内のログの例（Source）

プラットフォーム内のログエントリは構造化された形式で表示されるため、各リクエスト中に何が起こったかを理解しやすくなります。各エントリには、イベントの重要度を示す深刻度レベルと、発生時刻を示すタイムスタンプが含まれています。

また、イベントを記述するメッセージと、ステータスコードやレイテンシなどのHTTP関連の詳細も含まれています。この情報は、リクエストの追跡、トラブルシューティングのサポート、問題のデバッグをより効果的に行うのに役立ちます。さらに、ログは深刻度別にグループ化されるため、ユーザーは注意が必要なデプロイに優先順位を付けることができます。

Ultralytics Platformでのエンドポイントの健全性と信頼性の分析#

監視には、適切に実行されているか、時間通りに応答しているか、エラーなしに一貫してリクエストを処理しているかなど、デプロイされたエンドポイント全体の健全性を理解することも含まれます。Ultralytics Platformは各デプロイの健全性ステータスを明確に示しており、エンドポイントが期待どおりに動作していることを確認するのが容易です。

プラットフォームには、各デプロイに対する視覚的な健全性インジケータが含まれており、個々のデプロイカードに表示されます。

例えば、緑色のインジケータはエンドポイントが正常で通常どおり応答していることを示し、赤色のインジケータは問題やダウンタイムを示します。回転するアイコンは、システムが現在デプロイのステータスを確認中であることを示します。

エンドポイントの健全性を継続的に追跡することで、問題を早期に検出し、一貫したパフォーマンスを維持し、本番環境で実行されているアプリケーションに対して安定したエクスペリエンスを保証することが可能になります。

監視データとパフォーマンス向上の関連性#

モデル監視は単なるメトリクスの追跡ではありません。時間の経過とともに継続的な改善をサポートするフィードバックループを作成します。エンドポイントが現実世界のトラフィックを処理するにつれて、メトリクスやログにパターンが現れ始め、レイテンシの増加、エラー率の上昇、システムの一貫性のない挙動などの問題を明らかにできます。

監視は注意が必要な領域を浮き彫りにします。例えば、一貫して高いレイテンシは、リソースのより良い割り当てやスケーリングが必要であることを示している可能性があり、エラー率の上昇はリクエスト処理やシステムの安定性に問題があることを示している可能性があります。

これらの問題が特定されたら、信頼性を向上させるための措置を講じることができます。これには、インフラストラクチャの調整、リソースのスケーリング、リクエスト処理方法の問題修正などが含まれます。これらの変更後、パフォーマンスが向上したことを確認するためにシステムを監視し続けることができます。

監視を継続的な改善と結びつけることで、ユーザーは利用の拡大や状況の変化に応じて、堅牢なシステムを維持できます。

実例の探索：航空における荷物搬送の監視#

実際のシナリオにおけるモニタリングの影響をより深く理解するために、それがaviation ground operationsの自動化にどのように適用されるかを見ていきましょう。

航空機の地上業務中の手荷物の積み込みおよび積み下ろしを監視するように設計されたビジョンシステムを考えてみます。このセットアップでは、Ultralytics YOLO26のようなオブジェクト検出モデルを使用して、手荷物がコンベアベルトや取り扱い機器から落下しているかどうかを検出できます。

テストや初期デプロイ中、リアルタイムシステムはうまく機能し、荷物を正確に識別し、迅速に応答するかもしれません。

しかし、実際の空港環境では、状況ははるかに予測しにくくなります。一日を通して照明が変化し、複数のカメラが同時にデータをストリーミングし、繁忙期にはリクエスト数が急増します。これらの要因によりレイテンシが上昇したりエラーが発生したりする可能性があり、システムへの可視性がなければ、このような問題は見過ごされがちです。

ここで監視が価値を発揮します。リクエスト数、レイテンシ、エラー率などのメトリクスを詳細なログとともに追跡することで、チームはエンドポイントの速度低下や障害発生を迅速に把握できます。ピーク時にレイテンシが上昇した場合はリソースのスケーリングが必要であることを示している可能性があり、突然のエラー上昇は特定のカメラやリクエスト処理の問題を示している可能性があります。これらのシグナルに基づいて行動することでシステムの信頼性が保たれ、状況が変化しても荷物搬送を正確に監視し続けることができます。

重要なポイント#

監視こそが、開発の制御された条件から離れ、現実世界のトラフィックを処理し始めた後も、デプロイされたコンピュータビジョンモデルを信頼できるものに保つ鍵です。リクエスト数、レイテンシ、エラー率、稼働時間などのシステムレベルのシグナルと、詳細なログに焦点を当てることで、監視は問題を早期に検出し、本番システムをスムーズに稼働させるために必要な可視性を提供します。

Ultralytics Platformはデプロイワークフローに直接監視機能が組み込まれており、個別のツールに頼ることなく、エンドポイントの健全性を追跡し、リクエストの挙動を調査し、信頼性の高いシステムを維持することを容易にします。データ、トレーニング、デプロイ、監視を1か所にまとめることで、このプラットフォームはチームが実験段階から信頼できる現実世界のデプロイへと移行するのを支援します。

成長を続けるcommunityに参加し、GitHub repositoryを探索してビジョンAIについてさらに学びましょう。今すぐビジョンAIで開発を行うには、licensing optionsをご確認ください。ソリューションページにアクセスして、AI in manufacturingやAI in healthcareがどのように未来を形作っているかを発見してください。