Ultralytics Platformモニタリング：ビジョンAIのデプロイを順調に維持する

コンピュータビジョンモデルのデプロイは重要な節目ですが、本番環境での成功はその後の運用にかかっています。トラフィックが増加し、現実世界の条件が変化するにつれて、チームはエンドポイントが引き続き応答性、信頼性、有用性を維持しているかどうかを把握する必要があります。

Ultralytics PlatformにおけるMonitoringにより、チームはデータ、トレーニング、デプロイの管理に使用するのと同じ環境から、デプロイされたUltralytics YOLOモデルの可視性を得ることができます。稼働状態の追跡、予測トレンドの検査、問題のトラブルシューティングを行い、有用な本番環境のサンプルを将来のモデル改善のためのデータに変換します。

ビジョンAIモデルのモニタリングとは何ですか？#

ビジョンAIモデルのモニタリングは、デプロイされたエンドポイントとその予測が本番環境でどのように動作しているかをチームが理解するのに役立ちます。

Ultralytics Platformは、以下の2つの重要な疑問に対処します。

• エンドポイントは確実に動作していますか？リクエスト、P95レイテンシ、エラー率、ヘルスステータス、ログを追跡します。
• モデルは何を検出し、何を予測していますか？サポートされている環境では、サンプルの予測や、クラス数、信頼度、推論時間、予測位置などの統計情報を検査します。

これらのインサイトを組み合わせることで、エンドポイントの可用性単体よりも明確な全体像が得られます。トラフィックパターン、応答時間、または予測分布が変化している間も、エンドポイントはオンラインのまま維持されることがあります。モニタリングにより、そのようなシグタルの調査が容易になります。

デプロイの健康状態を一目で把握する#

Deployページは、エンドポイントの中央モニタリングダッシュボードとして機能します。概要カードには、過去24時間のHTTPリクエスト、アクティブなデプロイ、エラー率、P95レイテンシが要約されます。

これらのメトリクスを使用して、チームは次のことが行えます。

• 需要の把握: エンドポイントのトラフィックが増加しているか、減少しているか、予期せぬ変化をしているかを確認します。
• パフォーマンス問題の特定: P95レイテンシを使用して、アプリケーションに影響を与える可能性のある応答の遅延を調査します。
• 障害の検出: HTTPエラー率の上昇を見つけ出し、デプロイログを使用して原因を診断します。
• 可用性の確認: 個々のエンドポイントが正常であり、応答しているかどうかを確認します。
• デプロイの比較: カード表示、コンパクト表示、またはソート可能なテーブル表示を通じてエンドポイントを確認します。

エラー率が5%を超えるとエラー率カードが強調表示され、チームがすべてのエンドポイントを個別に検査しなくても運用上の問題が目立つようになります。

ヘルスチェックとログでより迅速にトラブルシューティングを行う#

エンドポイントに問題が発生したとき、チームには高レベルのメトリクス以上のものが必要です。準備完了状態の各デプロイには、健康状態インジケータと最近のログへのアクセスが含まれています。

ヘルスチェックでは、エンドポイントが応答しているかどうかが示され、その応答レイテンシが報告されます。また、本番トラフィックが送信される前に、ゼロにスケーリングされたエンドポイントをウォームアップするのにも役立ちます。

ログは、タイムスタンプ、重大度レベル、メッセージ、HTTP詳細を通じて追加のコンテキストを提供します。これにより、チームは別のロギングインターフェースにすぐに移行することなく、失敗したリクエスト、予期しない応答、またはパフォーマンスの変化を調査できます。

メトリクス、ヘルスチェック、およびログを各デプロイに接続することにより、Ultralytics Platformは問題の特定からその理解に至るまでのより直接的なパスを作成します。

ライブの予測動作を検査する#

モニタリング対応ランタイムを実行している有料の稼働時間課金型専用エンドポイントには、一時的なサンプルと予測統計を備えた追加のMonitoringタブが提供されます。

一時的なサンプルギャラリーには、予測オーバーレイを含む処理済み画像のローリングサンプルが表示されます。チームはこれらのサンプルを使用して、モデルが何を見ているかをスポットチェックし、その出力を検査し、さらにレビューする価値のある入力を特定できます。

利用可能な予測統計はモデルタスクによって異なり、以下が含まれます。

• 経時的な処理済み画像と予測
• 平均モデル推論時間
• 頻繁に予測されるクラス
• 画像ごとの予測
• 予測信頼度と信頼度の傾向
• 予測の寸法
• 予測位置の空間ヒートマップ

これらのシグナルは、信頼度の低下、クラス分布の予期せぬ変動、または画像の珍しい部分に現れる予測など、調査する価値のある変化を明らかにすることがあります。

信頼度はモデルの確実性を示し、正解率を示すものではありません。チームは、モデルの精度を評価する際に、サンプルを検査し、レビューされたラベルと予測を比較する必要があります。

本番環境のサンプルをより良いトレーニングデータに変える#

モニタリングは、本番環境でのインサイトが次の開発サイクルに情報を提供できる場合に、さらに価値を高めます。

サンプルが困難な条件、珍しいオブジェクト、または潜在的なカバレッジのギャップを明らかにした場合、適切な権限を持つワークスペースメンバーはそれを互換性のあるデータセットに直接保存できます。画像とその予測は標準のデータセット取り込みワークフローを通過し、そこでデータがトレーニングに使用される前にラベルをレビューできます。

これにより、接続された改善ループが作成されます。

1. データセットを使用してUltralytics YOLOモデルをTrainする。
2. 専用エンドポイントにそれをDeployする。
3. エンドポイントの健康状態と予測動作をMonitorする。
4. 有用または問題のある本番環境のサンプルをInspectする。
5. データセット内で選択したサンプルをSaveし、reviewする。
6. 現実世界の条件に基づくデータを使用して、Retrainおよびredeployする。

本番環境での観察結果を別のシステムで孤立させる代わりに、チームはそれらをUltralytics Platformで既に管理されているデータセットやモデルに接続できます。

複雑さを追加することなく、運用の可視性を実現するように構築されています#

本番環境のコンピュータビジョンワークフローでは、デプロイ、メトリクス、ログ、モデル検査、データ管理に個別のシステムが関与することがよくあります。それらのシステム間を移動すると、調査が遅くなり、モデルの動作と将来の改善を結びつけることが難しくなる可能性があります。

Ultralytics Platformは、これらのステージをまとめます。チームは、複数のツール間でコンテキストを再構築することなく、トレーニングからデプロイへの移行、エンドポイントの健康状態のレビュー、サンプリングされた予測の検査、および有用なサンプルの保存を行うことができます。

たとえば、製造チームは欠陥の予測が画像の予期される領域に現れているかどうかを検査できます。ロジスティクスチームは、運用の条件が進化するにつれて、頻繁に検出されるクラスの変化をレビューできます。リテールチームは、レイテンシの増加を調査し、エンドポイントの設定または入力画像サイズの注意が必要かどうかを判断できます。

いずれの場合も、モニタリングは、チームが「何かが変化した」という状態から、より情報に基づいた次のステップへ移行するのを支援します。

モニタリングデータと適格性#

リクエスト、レイテンシ、エラー、ヘルスチェック、ログを含む運用モニタリングは、デプロイのエクスペリエンスから利用できます。

ライブ予測統計と一時的なサンプルには、モニタリング対応ランタイムを備えた準備完了の有料専用エンドポイントが必要です。古いエンドポイントは、Monitoringタブが利用可能になる前にアップデートする必要がある場合があります。

予測サンプルと統計情報は、サービングインスタンスのメモリに保持されます。エンドポイントが停止、再起動、再デプロイされたり、リソースが変更されたり、モデルが置き換えられたりすると、それらがクリアされる場合があります。エンドポイントを変更する前に、保持したいサンプルをデータセットに保存してください。

デプロイしたモデルのモニタリングを開始する#

Ultralytics Platform Monitoringは、デプロイ後もビジョンAIを管理するために必要な可視性をチームに提供します。エンドポイントのメトリクス、ログ、ヘルスチェック、予測インサイト、およびデータセットのフィードバックを1つのワークフローに統合することで、チームが問題をより早く特定し、信頼性の高い本番システムに向けたより明確なパスを構築するのに役立ちます。

Ultralytics Platformにサインインし、Deployを開き、準備完了のエンドポイントを選択してその健康状態とパフォーマンスを確認します。Monitoring documentationで機能の可用性、予測統計、およびデータ保持の詳細を探索してください。