Ultralytics Platformでデプロイされたコンピュータビジョンモデルをモニタリングする

画像や動画を分析するコンピュータビジョンモデルのテストは、必ずしも本番環境での実行と同じではありません。開発中、そのようなモデルやアルゴリズムは、条件が制御され予測可能な、クリーンで十分に準備されたデータセット上でテストされます。

デプロイ後は状況がより動的になります。モデルは現実世界のトラフィックにさらされ、リクエスト量が変わったり、応答時間が変化したり、時折障害が発生したりすることがあります。

この段階では、エンドポイントが利用可能で、応答性が高く、変化する条件下でも安定しているなど、システムが確実に動作しているかどうかに焦点が移ります。

そのため、モニタリングが不可欠です。リクエスト量、レイテンシ、エラー率、全体的なシステムヘルスといったメトリクスを通じて、本番環境におけるデプロイ済みエンドポイントの動作を明確に把握できます。

これを容易にするためには、適切なツールを導入することがモデルそのものと同じくらい重要になります。最近、Ultralyticsは、データやトレーニングからデプロイ、モニタリングに至るまで、コンピュータビジョンの全ワークフローを統合した新しいエンドツーエンド環境であるUltralytics Platformを導入しました。

図1. モニタリング機能を備えたUltralytics Platformのデプロイメントダッシュボード (ソース)

このワークフローに組み込まれたモニタリング機能により、ユーザーは個別のツールに頼ることなく、エンドポイントの健全性を追跡し、リクエストの動作を検査し、信頼性の高いシステムを維持できます。この記事では、Ultralytics Platformを使用してデプロイ済みモデルのエンドポイントをモニタリングし、本番システムを円滑に稼働させ続ける方法を探ります。さあ、始めましょう！

Link to this sectionAIモデルモニタリングの概要#

AIモデルのライフサイクルにおいて、モニタリングとは、モデルがライブ環境に投入され、実際のトラフィックを処理するようになった際に、デプロイされたシステムがどのように動作するかを観察することを指します。トレーニングや検証では、MLモデルが準備されたデータセットに対してどのように機能するかを示しますが、モニタリングはデプロイされたエンドポイントが本番環境でどのように動作するかに焦点を当てます。

モニタリングの重要な部分は、信頼性と応答性を反映するシステムレベルのメトリクスを追跡することです。レイテンシや稼働率などのメトリクスは、システムが着信リクエストをどの程度うまく処理しているかを示すのに役立ちます。レイテンシはリクエストを処理してレスポンスを返すまでにかかる時間を測定し、稼働率はエンドポイントがどれだけ一貫して利用可能であるかを示します。

もう一つの重要な側面はオブザーバビリティ（可観測性）であり、これはリクエストがどのように処理されているかを見える化します。画像や動画フレームなどの入力がデプロイされたモデルに送信されるたびに、それは推論リクエストとして処理されます。

ログには、これらのリクエストとともに、タイムスタンプ、応答時間、ステータスコードなどの詳細が記録されます。これらのログにより、リクエストの追跡、問題のデバッグ、障害発生時の調査が容易になります。これは特に、繰り返し発生するエラー、低速なレスポンス、予期しないシステムの挙動といったパターンを特定するのに役立ちます。

メトリクスとログを組み合わせることで、モニタリングは、ユーザーが本番環境でシステムがどのように動作しているかを理解し、問題が発生した際に迅速に対応できるよう支援します。

Link to this sectionモデルパフォーマンスメトリクスとシステムメトリクスの比較#

本番環境のモニタリングに入る前に、モデルパフォーマンスメトリクスとシステムメトリクスの違いについて説明します。

通常、モデルモニタリングは、精度（accuracy）、適合率（precision）、再現率（recall）、mAP（mean average precision）などの評価メトリクス（モデルメトリクスとも呼ばれる）と関連付けられます。これらのメトリクスは、モデルの挙動を説明し、本番データや入力データとの関連でモデルの予測品質を評価するために使用されます。これらは、新しいデータ内のエッジケースや外れ値を特定するのに特に役立ちます。

しかし、これは本番環境でのデプロイ済みシステムのモニタリングとは異なります。この文脈でのモニタリングは、モデルの予測を直接評価することよりも、システムがどのように実行されているかに焦点を当てます。

モデルメトリクスの代わりに、デプロイメントモニタリングは、リクエスト量、レイテンシ、エラー率、稼働率などのシステムレベルのシグナルに依存します。これらのメトリクスは、エンドポイントが入力データをどのように処理し、どの程度一貫して応答し、本番環境でどのように動作しているかについての可視性を提供します。

Link to this sectionコンピュータビジョンプロジェクトにおけるモデルモニタリングの役割#

次に、コンピュータビジョンのデプロイメントにおいてモニタリングシステムが必要であることを強調する実世界の例を見てみましょう。

人間の身体の動きを特定・分析するために使用されるコンピュータビジョンタスクである姿勢推定を利用して、建設現場の作業員の安全コンプライアンスを監視するビジョンソリューションを検討します。モデルの初期デプロイ時には、このようなシステムは、視界が良好で標準的なシナリオといった制御された条件下ではうまく機能する可能性があります。

しかし、実際の建設現場ではさらなる複雑さが生じます。リクエスト量は一日を通して変動し、ネットワークの状態は不安定になる可能性があり、複数のカメラやエンドポイントが同時にデータを送信しているかもしれません。システムが適切にモニタリングされていない場合、これらの要因によって応答が遅延したり、時折障害が発生したりする可能性があります。

図2. 建設現場で作業員を監視するために使用される姿勢推定 (ソース)

このような本番環境では、システムがどの程度確実に動作しているかを理解することが重要になります。モニタリングにより、エンドポイントが利用可能か、着信リクエストにどれだけ迅速に応答するか、時間の経過とともにトラフィックをどれだけ一貫して処理しているかについての可視性が提供されます。

例えば、レイテンシの増加は負荷の増大やリソースの制約を示唆する可能性があり、エラー率の上昇はリクエスト処理やシステムの安定性に問題があることを示している可能性があります。ログは、個々のリクエストがどのように処理され、どこで障害が発生しているかを示すことで、さらなるコンテキストを追加します。

これらのシグナルを追跡することで、AI愛好家やデータサイエンティストは問題を早期に特定し、より効果的にトラブルシューティングを行い、現実世界の条件が変化してもシステムが確実に動作し続けることを保証できます。

Link to this sectionUltralytics Platformを使用したデプロイ済みビジョンモデルのモニタリング#

多くのディープラーニングワークフローでは、モニタリングはログ記録、メトリクス、システムヘルス管理のために別々のツールを使用して処理されることがよくあります。このような断片化されたセットアップでは、デプロイされたエンドポイントが本番環境でどのように動作しているかを明確に把握することが難しくなり、デプロイメント管理の複雑さが増します。

Ultralytics Platformは、データ取り込みやアノテーションから、トレーニング、デプロイメント、モニタリングまで、コンピュータビジョンワークフロー全体をカバーする統一された環境にモニタリングを直接組み込むことで、これを簡素化します。

この統合されたセットアップにより、ユーザーは外部のログシステムや追加のダッシュボードをセットアップすることなく、デプロイされたエンドポイントが現実世界のトラフィックをどのように処理するかを追跡できます。すべてが一箇所で利用できるため、システムの挙動を観察し、時間の経過とともに信頼性の高いデプロイメントを維持することが容易になります。

モニタリング機能には、Deployタブから直接アクセスできます。単一のダッシュボードから、ユーザーは主要なメトリクスを追跡し、リクエストレベルの挙動を分析し、傾向を可視化できます。これらの組み込みビジュアライゼーションにより、ツールを切り替えることなくソリューションのパフォーマンスを把握しやすくなります。

モニタリング、デプロイメント、モデル管理をより広範なワークフロー内にまとめることで、プラットフォームは複雑さを軽減します。これにより、デプロイメントの管理、システムパフォーマンスの最適化、信頼性の維持に注力することがよりシームレスになります。

Link to this sectionUltralytics Platformの組み込みモニタリング機能#

実際のデプロイメントにおいて、モニタリングは、時間が経過し条件が変化する中でシステムがどのように実行されているかを明確に把握できるかどうかに依存します。これは単にいくつかのメトリクスを追跡するだけでなく、環境全体でデプロイされたエンドポイントがどのように動作するかを理解し、複数のデプロイメントを効果的に管理することを含みます。

ビジョンAIコミュニティからの一般的なコンピュータビジョンの課題に関するフィードバックに触発され、Ultralytics Platformには、モニタリングをより実践的かつスケーラブルにするいくつかの機能が含まれています。

これらの主要機能の概要を以下に示します：

• グローバルなデプロイメントの可視化： Deployページには、アクティブなエンドポイントと進行中のエンドポイントを視覚的に示すデプロイメントリージョンを表示するインタラクティブな世界地図が含まれており、ユーザーは地理的な分布と地域の活動をモニタリングできます。
• 柔軟なダッシュボードビュー： デプロイメントダッシュボードは、カードビュー、コンパクトグリッド、名前・リージョン・ステータス・リクエストなどの列で並べ替え可能なテーブルビューなど、複数の表示モードを提供し、構造化されたモニタリングと比較をサポートします。
• 複数のエンドポイントのモニタリング： ダッシュボードは、概要カードとデプロイメントリストを使用して、すべてのデプロイメントにわたるモニタリングデータを集約します。
• データ保持ポリシー： モニタリングデータは定義された期間保持され、メトリクスは30日間、ログは7日間利用可能であり、最近のパフォーマンス分析やデバッグワークフローをサポートします。
• 外部モニタリングのサポート： デプロイメントエンドポイントは、Datadog、New Relic、アップタイムモニタリングサービスなどの外部ツールを使用してモニタリングしたり、カスタムモニタリングやヘルスチェックのためにAPIエンドポイント経由でアクセスしたりできます。

次に、これらの機能の一部を詳しく説明し、本番環境でデプロイされたエンドポイントをモニタリングするためにどのように使用できるかを見ていきます。

Link to this sectionUltralytics Platformを使用して主要なパフォーマンスメトリクスを追跡する方法#

モデルをデプロイしたら、モニタリングは主要なシステムメトリクスの追跡から始まります。開発中は精度や再現率などのメトリクスが有用ですが、本番環境のモニタリングでは応答時間やエラー率のようなシステムレベルのシグナルに焦点を当てます。これらは、エンドポイントが現実世界のトラフィックをどの程度確実に処理しているかについての測定可能な洞察を提供します。

Ultralytics Platformは、エンドポイントの活動とシステムの挙動を明確に把握できる中央ダッシュボードを提供します。特に、デプロイメントダッシュボードには、エンドポイントがどのように使用され、着信リクエストにどのように応答するかを示す4つの主要なメトリクスが含まれています。

これらのメトリクスの詳細は以下の通りです：

• 合計リクエスト数： 24時間以内にすべてのエンドポイントに対して行われたリクエストの総数。これは、使用パターンと全体的な需要を特定するのに役立ちます。
• アクティブなデプロイメント： 現在稼働中でリクエストに応答しているエンドポイントの数。
• P95レイテンシ： リクエストの95%が完了するまでの応答時間。これにより、遅い応答を考慮に入れ、パフォーマンスのより現実的な見方を得ることができます。
• エラー率： 合計リクエスト数に対する失敗したリクエストの割合です。このメトリクスは問題を特定するのに役立ち、異常を検出するために使用できます。

簡単に言えば、これらのメトリクスは、デプロイされたエンドポイントが本番環境でどのように動作しているかを明確に示します。使用パターンを分析することで、チームや個人はトラフィックの分布を把握し、ピーク時の負荷を特定し、利用の拡大に合わせてシステムが応答し信頼性を保てるようにすることができます。

Link to this sectionログを通じてモデルのデプロイメントの挙動を理解する#

メトリクスはシステムパフォーマンスの高レベルな見方を提供しますが、ログはデプロイされたエンドポイントが個々のリクエストをどのように処理するかについてのより詳細な見方を提供します。ログには、エンドポイントに送信された各リクエストとそれに対応する応答が記録されます。

これらは、問題を追跡し、失敗を調査し、リクエストがどのように処理されたかを理解するのに役立ちます。Ultralytics Platform内では、任意のデプロイメントを選択して、ログを含む詳細を表示できます。

図3. Ultralytics Platform内のログの例 (ソース)

プラットフォーム上のログエントリは構造化された形式で表示されるため、各リクエスト中に何が起こったかを理解しやすくなっています。各エントリには、イベントの重要性を示す重大度レベルと、発生時刻を示すタイムスタンプが含まれています。

また、イベントを説明するメッセージや、ステータスコードやレイテンシなどのHTTP関連の詳細も含まれています。この情報は、リクエストの追跡、トラブルシューティングのサポート、および問題のより効果的なデバッグに役立ちます。さらに、ログは重大度別にグループ化されるため、ユーザーは注意が必要なデプロイメントを優先的に処理できます。

Link to this sectionUltralytics Platformでのエンドポイントの健全性と信頼性の分析#

モニタリングには、デプロイされたエンドポイントが適切に実行されているか、時間通りに応答しているか、エラーなしで一貫してリクエストを処理しているかなど、エンドポイント全体の健全性を理解することも含まれます。Ultralytics Platformは各デプロイメントの健全性ステータスを明確に示し、エンドポイントが期待通りに動作していることを簡単に検証できるようにします。

プラットフォームには、各デプロイメントの視覚的な健全性インジケータが含まれており、個々のデプロイメントカードに表示されます。

例えば、緑色のインジケータはエンドポイントが正常で正常に応答していることを示し、赤色のインジケータは問題やダウンタイムを示唆します。回転するアイコンは、システムがデプロイメントのステータスを積極的にチェックしていることを示します。

時間の経過とともにエンドポイントの健全性を追跡することで、問題を早期に検出し、一貫したパフォーマンスを維持し、本番環境で実行されているアプリケーションに対して安定したエクスペリエンスを保証することが可能になります。

Link to this sectionモニタリングデータとパフォーマンス向上の関連性#

モデルモニタリングは単にメトリクスを追跡するだけではありません。それは時間の経過とともに継続的な改善をサポートするフィードバックループを作成します。エンドポイントが現実世界のトラフィックを処理するにつれて、レイテンシの増加、エラー率の上昇、一貫性のないシステムの挙動といった問題が明らかになるパターンがメトリクスやログに現れ始めます。

モニタリングは注意が必要な領域を浮き彫りにします。例えば、一貫して高いレイテンシは、リソースのより良い割り当てやスケーリングが必要であることを示唆している可能性があり、エラー率の上昇はリクエスト処理やシステムの安定性に問題があることを示している可能性があります。

これらの問題が特定されたら、信頼性を向上させるための措置を講じることができます。これには、インフラストラクチャの調整、リソースのスケーリング、リクエスト処理方法の問題修正などが含まれます。これらの変更後、システムは引き続きモニタリングされ、パフォーマンスが向上したことを確認できます。

モニタリングと継続的な改善を連携させることで、利用の拡大や状況の変化に合わせて堅牢なシステムを維持できます。

Link to this section実世界の例の探索：航空における手荷物取り扱いのモニタリング#

実世界でのモニタリングの影響をより深く理解するために、航空地上業務の自動化にどのように適用されるかを探ります。

航空機の地上業務中の手荷物の積み込みと積み下ろしを監視するために設計されたビジョンシステムを検討してください。このセットアップでは、Ultralytics YOLO26のような物体検出モデルを使用して、手荷物がコンベアベルトや取り扱い機器から落下するかどうかを検出できます。

テスト中や初期のデプロイ段階では、リアルタイムシステムはうまく機能し、手荷物を正確に特定して迅速に応答する可能性があります。

しかし、実際の空港環境では、状況ははるかに予測が困難です。一日を通して照明が変化し、複数のカメラが同時にデータをストリーミングし、忙しい時間帯にはリクエスト量が急増します。これらの要因によりレイテンシが上昇したり、エラーが発生したりする可能性があり、システムが見えていなければ、そのような問題は見過ごされがちです。

ここでモニタリングが価値を発揮します。リクエスト量、レイテンシ、エラー率などのメトリクスを詳細なログと一緒に追跡することで、チームはエンドポイントの速度低下や失敗を迅速に確認できます。ピーク時にレイテンシが上昇する場合はリソースのスケーリングが必要であることを示唆している可能性があり、突然のエラー上昇は特定のカメラやリクエスト処理の問題を示している可能性があります。これらのシグナルに基づいて行動することで、状況が変化しても手荷物の取り扱いを正確にモニタリングし続けられるよう、システムの信頼性を維持できます。

Link to this section重要なポイント#

モニタリングは、デプロイされたコンピュータビジョンモデルが開発の制御された環境を離れ、現実世界のトラフィックを処理し始めたときに信頼性を保つために必要なものです。リクエスト量、レイテンシ、エラー率、稼働率といったシステムレベルのシグナルに、詳細なログを組み合わせて焦点を当てることで、モニタリングは問題を早期に検出し、本番システムを円滑に稼働させるために必要な可視性を提供します。

デプロイメントワークフローに直接組み込まれたモニタリング機能により、Ultralytics Platformは、個別のツールに頼ることなく、エンドポイントの健全性を追跡し、リクエストの挙動を検査し、信頼性の高いシステムを維持することを容易にします。データ、トレーニング、デプロイメント、モニタリングを一箇所に統合することで、プラットフォームはチームが実験から信頼性の高い現実世界のデプロイメントへと移行することを支援します。

拡大を続ける私たちのコミュニティに参加し、GitHubリポジトリを探索して、ビジョンAIについてさらに学びましょう。今すぐビジョンAIを使って構築を開始するには、ライセンスオプションをご確認ください。製造業におけるAIやヘルスケアにおけるAIがどのように未来を形作っているのか、当社のソリューションページにアクセスしてご確認ください。