Ultralytics Platformでデプロイ済みのコンピュータービジョンモデルを監視する

画像や動画を分析するコンピュータービジョンモデルのテストは、本番環境での実行と必ずしも同じではありません。開発中、こうしたモデルやアルゴリズムは、条件が管理され予測可能な、整備されたクリーンなデータセットでテストされます。

デプロイ後は、状況がより動的になります。モデルは実環境のトラフィックにさらされ、リクエスト数が変動したり、応答時間が変化したり、ときには障害が発生したりする可能性があります。

この段階では、状況が変化してもエンドポイントが利用可能で、応答性と安定性を保ち、システムが確実に稼働しているかどうかが重視されます。

そのため、モニタリングが欠かせません。リクエスト数、レイテンシ、エラー率、システム全体の健全性などの指標を通じて、本番環境にデプロイされたエンドポイントの動作を明確に把握できます。

これを容易にするには、モデル自体と同じくらい、適切なツールを用意することが重要です。最近、Ultralyticsは、データやトレーニングからデプロイ、モニタリングまで、コンピュータービジョンのワークフロー全体を統合する、エンドツーエンドの新しい環境であるUltralytics Platformを発表しました。

図1. モニタリング機能を備えたUltralytics Platformのデプロイダッシュボード（出典）

このワークフローにモニタリングが直接組み込まれているため、別のツールに頼らずにエンドポイントの健全性を追跡し、リクエストの動作を確認して、システムの信頼性を維持できます。この記事では、Ultralytics Platformを使ってデプロイ済みモデルのエンドポイントをモニタリングし、本番システムを円滑に稼働させる方法を紹介します。それでは始めましょう。

AIモデルのモニタリングの概要#

AIモデルのライフサイクルにおいて、モニタリングとは、モデルが稼働して実環境からのリクエストに応答するようになった後、デプロイ済みシステムの動作を観察することです。トレーニングと検証では、機械学習モデル（MLモデル）が準備済みデータセットでどのような性能を発揮するかを確認しますが、モニタリングでは、本番環境でデプロイ済みエンドポイントがどのように動作するかに注目します。

モニタリングの重要な要素は、信頼性と応答性を示すシステムレベルの指標を追跡することです。レイテンシや稼働時間などの指標は、システムが受信リクエストをどれだけ適切に処理しているかを示します。レイテンシは、リクエストを処理して応答を返すまでにかかる時間を測定し、稼働時間は、エンドポイントがどれだけ継続的に利用可能であるかを示します。

もう一つの重要な側面はオブザーバビリティです。オブザーバビリティにより、リクエストがどのように処理されるかを把握できます。画像や動画フレームなどの入力がデプロイ済みモデルに送信されるたびに、推論リクエストとして処理されます。

ログには、これらのリクエストとともに、タイムスタンプ、応答時間、ステータスコードなどの詳細が記録されます。ログを使うと、リクエストの追跡、問題のデバッグ、障害発生時の調査が容易になります。エラーの繰り返し、応答の遅延、予期しないシステム動作などのパターンを特定する際にも特に役立ちます。

指標とログを組み合わせることで、モニタリングは本番環境でシステムがどのように稼働しているかを把握し、問題が発生した際に迅速に対応するのに役立ちます。

モデルのパフォーマンス指標とシステム指標の違い#

本番環境でのモニタリングについて詳しく見る前に、モデルのパフォーマンス指標とシステム指標の違いを説明します。

通常、モデルのモニタリングは、精度、適合率、再現率、mAP（平均適合率）などの評価指標（モデル指標とも呼ばれます）に関連付けられます。これらの指標は、モデルの動作を説明し、モデルの予測品質を評価するために使われ、多くの場合、本番環境のデータや入力データとの関連で分析されます。新しいデータに含まれるエッジケースや外れ値の特定にも、特に役立ちます。

ただし、これは本番環境にデプロイされたシステムのモニタリングとは異なります。この場合、モニタリングではモデルの予測を直接評価するのではなく、システムがどのように稼働しているかに注目します。

デプロイのモニタリングでは、モデル指標の代わりに、リクエスト数、レイテンシ、エラー率、稼働時間などのシステムレベルのシグナルを利用します。これらの指標により、エンドポイントが入力データをどのように処理し、どれだけ一貫して応答し、本番環境でどのように動作しているかを把握できます。

コンピュータービジョンプロジェクトにおけるモデルモニタリングの役割#

次に、コンピュータービジョンのデプロイでモニタリングシステムが必要となる理由を示す、実環境の例を見てみましょう。

建設作業員の安全規則への準拠を監視するために、姿勢推定を使用するビジョンソリューションを考えてみましょう。姿勢推定は、人の身体の動きを特定して分析するコンピュータービジョンタスクです。このようなシステムは、最初のモデルデプロイ時には、視界が良好で標準的な状況が想定される、管理された条件下で高い性能を発揮する可能性があります。

しかし、実際の建設現場にはさらなる複雑さがあります。リクエスト数は時間帯によって変動し、ネットワーク状況が不安定になることもあり、複数のカメラやエンドポイントから同時にデータが送信される場合もあります。システムが適切にモニタリングされていないと、こうした要因によって応答が遅くなったり、ときには障害が発生したりする可能性があります。

図2. 建設現場で作業員を監視するための姿勢推定の利用（出典）

このような本番環境では、システムがどれだけ確実に動作しているかを把握することが重要になります。モニタリングにより、エンドポイントが利用可能か、受信リクエストにどれだけ速く応答するか、時間の経過とともにトラフィックをどれだけ安定して処理するかを確認できます。

たとえば、レイテンシの増加は負荷の上昇やリソースの制約を示している可能性があり、エラー率の上昇はリクエスト処理やシステムの安定性に問題があることを示す場合があります。ログを確認すると、個々のリクエストがどのように処理され、どこで障害が発生したかを把握でき、さらに詳しい状況を確認できます。

こうしたシグナルを追跡することで、AIに関心のある方やデータサイエンティストは、問題を早期に特定し、より効果的にトラブルシューティングを行い、実環境の変化に応じてシステムを確実に稼働させ続けることができます。

Ultralytics Platformを使用したデプロイ済みビジョンモデルのモニタリング#

多くのディープラーニングワークフローでは、ログ、指標、システムの健全性の管理に別々のツールが使われています。このように分断された構成では、本番環境でデプロイ済みエンドポイントがどのように動作しているかを明確に把握しにくく、デプロイの管理も複雑になります。

Ultralytics Platformは、データの取り込みやアノテーションから、トレーニング、デプロイ、モニタリングまでを含むコンピュータービジョンのワークフロー全体を統合した環境に、モニタリングを直接組み込むことで、この課題を解決します。

この統合環境では、外部のログシステムや追加のダッシュボードを設定することなく、デプロイ済みエンドポイントが実環境のトラフィックをどのように処理しているかを追跡できます。すべての情報を一か所で確認できるため、システムの動作を把握し、長期にわたって信頼性の高いデプロイを維持しやすくなります。

モニタリング機能には、Deployタブから直接アクセスできます。単一のダッシュボードで、主要な指標の追跡、リクエストごとの動作の分析、傾向の可視化が可能です。こうした組み込みの可視化機能を使うと、ツールを切り替えずにソリューションの性能を把握しやすくなります。

より広範なワークフローの中でモニタリング、デプロイ、モデル管理を一体化することで、プラットフォームは複雑さを軽減します。これにより、デプロイの管理、システム性能の最適化、信頼性の維持に、よりシームレスに取り組めます。

Ultralytics Platformに組み込まれたモニタリング機能#

実環境でのデプロイでは、時間の経過とともに状況が変化する中で、システムがどのように稼働しているかを明確に把握できることが重要です。モニタリングは、いくつかの指標を追跡するだけではありません。さまざまな環境におけるデプロイ済みエンドポイントの動作を理解し、複数のデプロイを効果的に管理することも含まれます。

コンピュータービジョンでよくある課題に関するビジョンAIコミュニティからのフィードバックを受けて、Ultralytics Platformには、モニタリングの実用性と拡張性を高める複数の機能が搭載されています。

主な機能の概要を紹介します。

• グローバルなデプロイ状況の可視化: Deployページにはインタラクティブな世界地図があり、稼働中および処理中のエンドポイントを視覚的に示しながら、デプロイ先のリージョンを表示します。これにより、地理的な分布や地域ごとの稼働状況をモニタリングできます。
• 柔軟なダッシュボード表示: デプロイダッシュボードには、カード表示、コンパクトなグリッド表示、名前、リージョン、ステータス、リクエスト数などの列を並べ替えられるテーブル表示など、複数の表示モードが用意されており、体系的なモニタリングと比較を支援します。
• 複数エンドポイントのモニタリング: ダッシュボードでは、概要カードとデプロイ一覧を使って、すべてのデプロイのモニタリングデータを集約します。
• データ保持ポリシー: モニタリングデータは定められた期間保持され、指標は30日間、ログは7日間利用できます。これにより、直近のパフォーマンス分析やデバッグのワークフローを支援します。
• 外部モニタリングのサポート: デプロイのエンドポイントは、Datadog、New Relic、稼働時間のモニタリングサービスなどの外部ツールを使ってモニタリングできます。また、カスタムモニタリングやヘルスチェックのために、APIエンドポイント経由でアクセスすることもできます。

次に、これらの機能のいくつかを詳しく見て、デプロイ済みエンドポイントの本番環境での監視にどのように活用できるかを確認します。

Ultralytics Platformを使用して主要なパフォーマンス指標を追跡する方法#

モデルをデプロイした後は、主要なシステム指標の追跡から監視を始めます。精度や再現率などの指標は開発中に役立ちますが、本番環境の監視では応答時間やエラー率などのシステムレベルのシグナルに重点を置きます。これらの指標から、エンドポイントが実際のトラフィックをどれほど確実に処理しているかを定量的に把握できます。

Ultralytics Platformには、エンドポイントのアクティビティとシステムの動作を明確に把握できる一元化されたダッシュボードがあります。特に、デプロイメントダッシュボードには、エンドポイントの利用状況と受信リクエストへの応答を示す4つの主要な指標が表示されます。

これらの指標を詳しく見てみましょう。

• リクエスト総数: 24時間以内にすべてのエンドポイントで行われたリクエストの総数です。利用パターンと全体的な需要の把握に役立ちます。
• アクティブなデプロイメント: 現在稼働し、リクエストを処理しているエンドポイントの数です。
• P95レイテンシ: リクエストの95%が完了するまでの応答時間です。応答が遅いケースも考慮されるため、より現実的なパフォーマンスを把握できます。
• エラー率: 全リクエスト数に対する失敗したリクエストの割合です。この指標は問題の特定に役立ち、異常の検出にも利用できます。

簡単に言えば、これらの指標から、本番環境でデプロイ済みエンドポイントがどのように動作しているかを明確に把握できます。チームや個人は利用パターンを分析することで、トラフィックの分布を理解し、負荷がピークに達する時間帯を特定するとともに、利用の増加に伴ってもシステムの応答性と信頼性が維持されていることを確認できます。

ログを通じてモデルのデプロイメント動作を理解する#

指標からシステムパフォーマンスの概要を把握できる一方、ログからはデプロイ済みエンドポイントが個々のリクエストをどのように処理したかを詳しく確認できます。ログには、エンドポイントに送信された各リクエストと、それに対応する応答が記録されます。

ログは問題の追跡、失敗の調査、リクエスト処理の把握に役立ちます。Ultralytics Platformでは、任意のデプロイメントを選択して、ログを含む詳細を確認できます。

図3. Ultralytics Platformのログの例（出典）

プラットフォームではログエントリーが構造化された形式で表示されるため、各リクエスト中に何が起きたかを理解しやすくなっています。各エントリーには、イベントの重要度を示す重大度レベルと、イベントが発生した日時を示すタイムスタンプが含まれます。

また、イベントの内容を説明するメッセージと、ステータスコードやレイテンシなどのHTTP関連情報も含まれます。これらの情報は、リクエストの追跡、トラブルシューティング、問題の効率的なデバッグに役立ちます。さらに、ログは重大度別に分類されるため、ユーザーは対応が必要なデプロイメントを優先できます。

Ultralytics Platformでエンドポイントの健全性と信頼性を分析する#

監視では、デプロイ済みエンドポイント全体の健全性を把握することも重要です。正常に稼働しているか、時間どおりに応答しているか、エラーなく一貫してリクエストを処理しているかを確認します。Ultralytics Platformでは、各デプロイメントの健全性ステータスを明確に確認できるため、エンドポイントが想定どおりに動作していることを簡単に検証できます。

プラットフォームでは、各デプロイメントの健全性を示す視覚的なインジケーターが、個別のデプロイメントカードに表示されます。

たとえば、緑色のインジケーターはエンドポイントが正常で通常どおり応答していることを示し、赤色のインジケーターは問題またはダウンタイムを示します。回転するアイコンは、システムがデプロイメントのステータスを確認中であることを示します。

エンドポイントの健全性を継続的に追跡することで、問題を早期に検出し、一貫したパフォーマンスを維持するとともに、本番環境で稼働するアプリケーションの安定した利用体験を確保できます。

監視データとパフォーマンス改善のつながり#

モデルの監視は、指標の追跡だけではありません。時間をかけた継続的な改善を支えるフィードバックループを作ります。エンドポイントが実際のトラフィックを処理するにつれ、指標やログにパターンが現れ、レイテンシの増加、エラー率の上昇、システム動作の不安定さなどの問題が明らかになることがあります。

監視によって、注意が必要な領域を特定できます。たとえば、レイテンシが一貫して高い場合は、リソース配分の見直しやスケーリングが必要な可能性があります。一方、エラー率の上昇は、リクエスト処理やシステムの安定性に問題があることを示している場合があります。

これらの問題が特定されたら、信頼性を高めるための対策を講じることができます。インフラストラクチャの調整、リソースのスケーリング、リクエスト処理方法に関する問題の修正などが考えられます。こうした変更を行った後もシステムを監視し、パフォーマンスが改善したことを確認できます。

監視と継続的な改善を結び付けることで、利用の増加や状況の変化に応じて、ユーザーは堅牢なシステムを維持できます。

実例を見る：航空業界における手荷物処理の監視#

実際のシナリオで監視がもたらす効果をよりよく理解するために、航空地上業務の自動化にどのように適用されるかを見てみましょう。

航空機の地上業務中に手荷物の積み込みと積み下ろしを監視するビジョンシステムを考えてみましょう。このシステムでは、Ultralytics YOLO26のような物体検出モデルを使用して、手荷物がコンベヤーベルトやハンドリング機器から落下したかどうかを検出できます。

テストや初期デプロイメントでは、リアルタイムシステムは良好に動作し、手荷物を正確に識別して迅速に応答することがあります。

しかし、稼働中の空港では状況がはるかに予測しにくくなります。照明は一日を通して変化し、複数のカメラが同時にデータをストリーミングし、混雑する時間帯にはリクエスト量が急増します。こうした要因によってレイテンシが増加したりエラーが発生したりする可能性がありますが、システムを可視化できなければ、問題を見逃しやすくなります。

ここで監視が役立ちます。詳細なログと併せて、リクエスト量、レイテンシ、エラー率などの指標を追跡することで、エンドポイントの処理が遅くなったり失敗したりした際に、チームはすぐに把握できます。ピーク時にレイテンシが上昇した場合はリソースをスケーリングする必要性が示されている可能性があり、エラーが急増した場合は特定のカメラやリクエスト処理に問題がある可能性があります。こうしたシグナルに基づいて対処することで、状況が変化しても手荷物処理を正確に監視し続けられるよう、システムの信頼性を維持できます。

重要なポイント#

デプロイ済みのコンピュータービジョンモデルが、開発時の管理された環境を離れて実際のトラフィックを処理し始めた後も信頼性を保てるのは、監視があるからです。リクエスト量、レイテンシ、エラー率、稼働時間などのシステムレベルのシグナルと詳細なログに注目することで、監視は問題を早期に検出し、本番システムを円滑に稼働させるために必要な可視性を提供します。

デプロイメントのワークフローに監視機能を直接組み込んだUltralytics Platformを使えば、別のツールに頼らずに、エンドポイントの健全性を追跡し、リクエストの動作を調査し、システムの信頼性を維持しやすくなります。データ、トレーニング、デプロイメント、監視を一か所に集約することで、プラットフォームはチームが実験から信頼できる実運用環境へのデプロイメントへと進むのを支援します。

成長を続けるコミュニティに参加し、GitHubリポジトリを確認して、ビジョンAIについてさらに学びましょう。今すぐビジョンAIを使って開発するには、ライセンスの選択肢をご覧ください。製造業におけるAIと医療分野におけるAIがどのように未来を形作っているか、ソリューションページでご確認ください。