Ultralytics Platformのモニタリング：ビジョンAIのデプロイを適切に管理

コンピュータービジョンモデルのデプロイは重要な節目ですが、本番環境での成功はその後の運用にかかっています。トラフィックが増加し、実環境の条件が変化する中で、チームはエンドポイントの応答性、信頼性、有用性が保たれているかを把握する必要があります。

Ultralytics Platformのモニタリングにより、チームはデータ、トレーニング、デプロイを管理する環境と同じ環境から、デプロイ済みのUltralytics YOLOモデルを可視化できます。運用状態を追跡し、予測傾向を確認し、問題をトラブルシューティングして、本番環境で役立つ例を今後のモデル改善に向けたデータに変換できます。

ビジョンAIモデルのモニタリングとは#

ビジョンAIモデルのモニタリングにより、チームはデプロイ済みエンドポイントと、その予測が本番環境でどのように動作するかを把握できます。

Ultralytics Platformは、次の2つの重要な問いに対応します。

• エンドポイントは安定して稼働していますか？リクエスト数、P95レイテンシ、エラー率、ヘルスステータス、ログを追跡できます。
• モデルは何を見て、何を予測していますか？サンプル予測や、クラス数、信頼度、推論時間、対応している場合は予測位置などの統計情報を確認できます。

これらの情報を組み合わせることで、エンドポイントの稼働状況だけを見るよりも明確な全体像を把握できます。トラフィックパターン、応答時間、予測分布が変化しても、エンドポイントは稼働し続ける場合があります。モニタリングにより、そうした兆候を調査しやすくなります。

デプロイの状態をひと目で把握#

Deployページは、エンドポイントを一元的にモニタリングするダッシュボードとして機能します。概要カードには、過去24時間のHTTPリクエスト数、アクティブなデプロイ数、エラー率、P95レイテンシが表示されます。

これらのメトリクスを利用して、チームは次のことができます。

• 需要を把握: エンドポイントのトラフィックが増加、減少、または予期せず変化しているか確認できます。
• 性能の問題を特定: P95レイテンシを使用して、アプリケーションに影響する可能性のある応答遅延を調査できます。
• 障害を検知: HTTPエラー率の上昇を把握し、デプロイログを使って原因を診断できます。
• 可用性を確認: 個々のエンドポイントが正常で、応答しているかを確認できます。
• デプロイを比較: カード表示、コンパクト表示、並べ替え可能なテーブル表示でエンドポイントを確認できます。

エラー率が5%を超えるとエラーレートカードが強調表示されるため、チームが各エンドポイントを個別に確認しなくても、運用上の問題を見つけやすくなります。

ヘルスチェックとログでトラブルシューティングを迅速化#

エンドポイントに問題が発生した場合、チームには概要レベルのメトリクスだけでは不十分です。準備完了状態の各デプロイには、ヘルスインジケーターと最近のログへのアクセスが含まれます。

ヘルスチェックでは、エンドポイントが応答しているかを確認し、応答レイテンシを報告します。また、本番トラフィックを送信する前に、ゼロまでスケールしたエンドポイントをウォームアップする際にも役立ちます。

ログには、タイムスタンプ、重大度レベル、メッセージ、HTTPの詳細情報が記録され、追加のコンテキストを確認できます。これにより、別のログインターフェースにすぐ移動しなくても、チームはリクエストの失敗、予期しない応答、性能の変化を調査できます。

メトリクス、ヘルスチェック、ログを各デプロイに結び付けることで、Ultralytics Platformは問題の検知から原因の把握までをより直接的につなげます。

リアルタイムの予測動作を確認#

稼働時間に応じて課金される有料の専用エンドポイントのうち、モニタリング対応ランタイムを実行するものでは、期間限定のサンプルと予測統計を表示する追加のMonitoringタブを利用できます。

期間限定のサンプルギャラリーには、予測オーバーレイ付きの処理済み画像が順次表示されます。チームはこれらのサンプルを使って、モデルが認識している内容をスポットチェックし、出力を確認し、さらに検討すべき入力を特定できます。

利用できる予測統計はモデルのタスクによって異なり、次の情報が含まれる場合があります。

• 時間経過に伴う処理済み画像と予測
• モデルの平均推論時間
• 予測頻度の高いクラス
• 画像ごとの予測数
• 予測の信頼度と信頼度の傾向
• 予測の寸法
• 予測位置の空間ヒートマップ

これらの兆候から、信頼度の低下、クラス分布の予期しない変化、画像内の通常とは異なる位置に現れる予測など、調査すべき変化を見つけられます。

信頼度はモデルの確信度を示すものであり、正しさを示すものではありません。モデルの精度を評価する際は、チームがサンプルを確認し、予測をレビュー済みのラベルと比較する必要があります。

本番環境のサンプルをより良いトレーニングデータに変換#

本番環境から得た知見を次の開発サイクルに活用できると、モニタリングの価値はさらに高まります。

サンプルから困難な条件、珍しいオブジェクト、またはカバレッジ不足の可能性が見つかった場合、適切な権限を持つワークスペースメンバーは、そのサンプルを互換性のあるデータセットに直接保存できます。その後、画像と予測は標準的なデータセット取り込みワークフローに渡され、トレーニングに使用する前にラベルを確認できます。

これにより、次のような改善ループが実現します。

1. データセットを使用してUltralytics YOLOモデルをトレーニングします。
2. 専用エンドポイントにデプロイします。
3. エンドポイントの状態と予測動作をモニタリングします。
4. 有用な、または問題のある本番環境のサンプルを確認します。
5. 選択したサンプルをデータセットに保存してレビューします。
6. 実環境の条件を反映したデータを使用して再トレーニングし、再デプロイします。

本番環境での観察結果を別のシステムに孤立させるのではなく、チームはそれらをUltralytics Platformで既に管理しているデータセットやモデルに結び付けられます。

複雑さを増やさずに運用状況を可視化#

本番環境のコンピュータービジョンワークフローでは、デプロイ、メトリクス、ログ、モデルの確認、データ管理に別々のシステムを使用することがよくあります。システム間の移動は調査を遅らせ、モデルの動作と今後の改善を関連付けにくくします。

Ultralytics Platformは、これらの段階をひとつにまとめます。チームは、複数のツールにわたってコンテキストを再構築することなく、トレーニングからデプロイに進み、エンドポイントの状態を確認し、サンプル予測を調べ、有用なサンプルを保存できます。

たとえば、製造業のチームは、欠陥予測が画像内の想定された領域に現れているかを確認できます。物流チームは、運用条件の変化に伴う頻出検出クラスの変化を確認できます。小売チームは、レイテンシの増加を調査し、エンドポイントの設定と入力画像サイズのどちらに注意が必要かを判断できます。

いずれの場合も、モニタリングは「何かが変わった」という状態から、情報に基づいた次のステップへ進むのに役立ちます。

モニタリングデータと利用条件#

リクエスト、レイテンシ、エラー、ヘルスチェック、ログを含む運用モニタリングは、デプロイ画面から利用できます。

リアルタイムの予測統計と期間限定のサンプルを利用するには、準備完了状態で有料の専用エンドポイントと、モニタリング対応ランタイムが必要です。Monitoringタブを利用できるようにするには、古いエンドポイントの更新が必要な場合があります。

予測サンプルと統計情報は、サービングインスタンスのメモリに保持されます。エンドポイントの停止、再起動、再デプロイ、リソースの変更、またはモデルの置き換え時に消去される可能性があります。保持したいサンプルは、エンドポイントを変更する前にデータセットに保存してください。

デプロイ済みモデルのモニタリングを開始#

Ultralytics Platform Monitoringは、デプロイ後のビジョンAIを管理するために必要な可視性をチームに提供します。エンドポイントのメトリクス、ログ、ヘルスチェック、予測に関する知見、データセットへのフィードバックをひとつのワークフローにまとめることで、チームが問題をより迅速に特定し、信頼性の高い本番システムへの道筋を明確にできるよう支援します。

Ultralytics Platformにサインインし、Deployを開いて、準備完了状態のエンドポイントを選択すると、その状態と性能を確認できます。機能の利用条件、予測統計、データ保持の詳細については、Monitoringのドキュメントをご覧ください。