Inference Latency

推論遅延とは、機械学習 (ML)モデルが画像やテキストプロンプトなどの入力を受け取ってから、対応する出力や予測を生成するまでの時間遅延を表します。人工知能 (AI)の文脈において、この指標は通常ミリ秒 (ms) で測定され、システムの応答性の重要な指標となります。コンピュータービジョンアプリケーションを構築する開発者にとって、遅延の理解と最小化は、特にスマートフォンや組み込みデバイスのようなリソース制約のある環境にモデルをデプロイする場合、スムーズでインタラクティブなユーザー体験を創出するために不可欠です。

推論レイテンシが重要な理由#

推論遅延の重要性は、具体的なユースケースによって大きく異なります。毎日のサーバーレポートの分析といったバッチ処理タスクでは数秒の遅延が許容される場合もありますが、インタラクティブなアプリケーションでは多くの場合許容されません。低遅延はリアルタイム推論の基礎であり、システムはデータを処理して瞬時に反応する必要があります。

遅延を削減することで、AIエージェントが人間と自然に対話でき、自動化システムが安全に動作することが保証されます。高遅延は、動作の重いインターフェース、ユーザー定着率の低下、あるいは安全性が重要なシナリオにおいては危険な運用上の障害につながる可能性があります。エンジニアは多くの場合、精度を向上させることのできるモデルの複雑性と、実行速度との間のトレードオフのバランスを取る必要があります。

レイテンシに影響を与える要因#

単一の推論パスに要する合計時間に寄与する技術的コンポーネントはいくつかあります。

• モデルアーキテクチャ: ニューラルネットワーク (NN)の設計は主要な要素です。層の深いモデルは、一般的に浅いモデルよりも多くの計算を必要とします。YOLO26のような最新のアーキテクチャは、最小限の計算オーバーヘッドで高い精度を実現するように特別に最適化されています。
• ハードウェア性能: 処理ユニットの選択は速度に大きな影響を与えます。CPUは多用途ですが、GPU (グラフィックス処理ユニット)やTPU (Tensor処理ユニット)のような特殊なハードウェアは、ディープラーニングの核心である行列演算を並列化するように設計されており、遅延を大幅に削減します。
• 入力サイズ: 高解像度の4Kビデオフレームの処理には、標準的な640p画像の処理よりも時間がかかります。開発者は、速度と小さな詳細を検出する能力のバランスを取るために、データ前処理の際に入力のサイズをリサイズすることがよくあります。
• 最適化技術: モデル量子化（重みを低精度に変換すること）やモデルプルーニング（不要な接続を削除すること）などの手法は、実行速度を向上させる効果的な方法です。NVIDIA TensorRTなどのツールを使用することで、特定のハードウェア向けにモデルをさらに最適化できます。

実社会での応用#

推論レイテンシの影響は、速度が絶対条件となる実用的な例を通して最もよく説明できます。

1. 自動運転: 自動車分野におけるAIの領域において、自動運転車は歩行者、他の車両、信号機を検知するために常に周囲をスキャンする必要があります。物体検出システムの遅延が大きい場合、障害物が出現したときに車が時間内にブレーキをかけられない可能性があります。高速道路の速度では100ミリ秒の遅延であっても数メートルの移動距離につながるため、低遅延は重要な安全要件となります。

2. 高頻度取引: 金融機関は、市場のトレンドを分析し取引を実行するために予測モデリングを使用します。これらのアルゴリズムは、膨大な量のデータを処理し、マイクロ秒単位で意思決定を行わなければなりません。この領域では、低遅延が競争上の優位性に直接つながり、企業が競合他社よりも先に、つかの間の市場の機会を活用することが可能になります。

Pythonでのレイテンシ測定#

Ultralyticsモデルの推論速度は、ベンチマークモードを使用して簡単に測定できます。これは、特定のハードウェア制約に適したモデルサイズを選択する際に役立ちます。

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Benchmark the model on CPU to measure latency
# This provides a breakdown of preprocess, inference, and postprocess time
model.benchmark(data="coco8.yaml", imgsz=640, device="cpu")

推論レイテンシとスループットの比較#

遅延とスループットは、モデルデプロイにおいて関連しつつも異なる概念であるため、これらを区別することが重要です。

• 推論レイテンシは、単一の予測にかかる時間を測定します（例：「この画像の処理に20msかかった」）。これは、シングルユーザーのリアルタイムアプリケーションにおける重要な指標です。
• スループットは、時間あたりの予測のボリュームを測定します（例: 「システムは1秒あたり500枚の画像を処理した」）。高スループットは多くの場合、バッチサイズを増加させることで達成され、これにより多くの入力が同時に処理されます。しかし、バッチ処理を行うと、キューで待機している個々のアイテムの遅延が実際に増加する可能性があります。

一方を最適化すると、多くの場合他方が犠牲になります。例えば、エッジAIアプリケーションは通常、即座のフィードバックを確保するために遅延を優先し、一方クラウドベースのデータマイニングタスクは、大規模なデータセットを効率的に処理するためにスループットを優先する場合があります。

最適化戦略#

開発者は遅延を最小限に抑えるためにさまざまな戦略を採用します。ONNXやOpenVINOなどの最適化されたフォーマットへモデルをエクスポートすることで、標準的なCPU上で大幅な速度向上の成果を得ることができます。モバイルデプロイにおいては、モデルをTFLiteやCoreMLに変換することで、iOSおよびAndroidデバイス上で効率的に実行できるようになります。さらに、MobileNetや最新のUltralytics YOLO26のような軽量アーキテクチャを使用することで、基盤となるモデルが設計上効率的であることが保証されます。ユーザーはまた、複雑な手動設定を行うことなく、Ultralytics プラットフォームを活用してモデルをこれらの最適化されたフォーマットにシームレスにデプロイすることができます。