Inference Latency

推論レイテンシとは、機械学習 (ML)モデルが画像やテキストプロンプトなどの入力を受け取ってから、それに対応する出力や予測を生成するまでの時間的な遅延を指します。人工知能 (AI)の文脈では、この指標は通常ミリ秒 (ms) で測定され、システムの応答性を示す重要な指標となります。コンピュータビジョンアプリケーションを構築する開発者にとって、特にスマートフォンや組み込みデバイスのようなリソースが制限された環境にモデルをデプロイする場合、円滑でインタラクティブなユーザー体験を実現するにはレイテンシを理解し、最小化することが不可欠です。

Link to this section推論レイテンシが重要な理由#

推論レイテンシの重要性は、特定のユースケースに大きく依存します。夜間サーバーレポートの分析といったバッチ処理タスクでは数秒の遅延が許容される場合もありますが、インタラクティブなアプリケーションでは許容されないことが一般的です。低レイテンシはリアルタイム推論の要であり、システムはデータを処理し、即座に応答する必要があります。

レイテンシを低減することで、AIエージェントは人間と自然に対話でき、自動化システムは安全に動作するようになります。レイテンシが高いと、インターフェースの「カクつき」やユーザー維持率の低下を招いたり、安全性が重要なシナリオでは危険な運用上の障害につながったりする可能性があります。エンジニアは、精度を向上させるモデルの複雑さと、実行速度との間のトレードオフを調整しなければならないことがよくあります。

Link to this sectionレイテンシに影響を与える要因#

単一の推論パスに要する合計時間に寄与する技術的コンポーネントはいくつかあります。

• モデルアーキテクチャ: ニューラルネットワーク (NN)の設計は主要な要因です。層が深いモデルは、一般的に浅いモデルよりも多くの計算を必要とします。YOLO26のような最新のアーキテクチャは、最小限の計算オーバーヘッドで高い精度を実現するように最適化されています。
• ハードウェア性能: 処理ユニットの選択は速度に多大な影響を及ぼします。CPUは汎用的ですが、GPU (Graphics Processing Unit)やTPU (Tensor Processing Unit)といった専用ハードウェアは、ディープラーニングの中心となる行列演算を並列化するように設計されており、レイテンシを大幅に削減します。
• 入力サイズ: 高解像度の4Kビデオフレームの処理は、標準的な640p画像の処理よりも時間がかかります。開発者は、データ前処理中に速度と小さな詳細を検出する能力との間で最適なバランスを見つけるために、入力をリサイズすることがよくあります。
• 最適化技術: モデル量子化（重みを低精度に変換する）やモデルプルーニング（不要な接続を削除する）といった手法は、実行速度を上げるために効果的です。NVIDIA TensorRTのようなツールを使用すると、特定のハードウェアに合わせてモデルをさらに最適化できます。

Link to this section実社会での応用#

推論レイテンシの影響は、速度が絶対条件となる実用的な例を通して最もよく説明できます。

1. 自動運転: 自動車分野のAIにおいて、自動運転車は歩行者、他の車両、交通信号などを常に環境スキャンする必要があります。物体検出システムのレイテンシが高いと、障害物が出現した際に車が時間内にブレーキをかけられない可能性があります。高速走行時に100ミリ秒の遅延が発生するだけでも数メートルの移動距離が生じるため、低レイテンシは安全上の重要な要件となります。

2. 高頻度取引: 金融機関は予測モデリングを使用して市場トレンドを分析し、取引を実行します。これらのアルゴリズムは膨大なデータを処理し、マイクロ秒単位で意思決定を行わなければなりません。この分野では、レイテンシの低さが直接的な競争優位性につながり、競合他社が反応する前に市場のわずかな機会を捉えることができます。

Link to this sectionPythonでのレイテンシ測定#

Ultralyticsモデルの推論速度は、ベンチマークモードを使用して簡単に測定できます。これは、特定のハードウェア制約に適したモデルサイズを選択する際に役立ちます。

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Benchmark the model on CPU to measure latency
# This provides a breakdown of preprocess, inference, and postprocess time
model.benchmark(data="coco8.yaml", imgsz=640, device="cpu")

Link to this section推論レイテンシとスループットの比較#

レイテンシはモデルデプロイメントにおいてスループットと関連していますが、異なる概念であるため、これらを区別することが重要です。

• 推論レイテンシは、単一の予測にかかる時間を測定します（例：「この画像の処理に20msかかった」）。これは、シングルユーザーのリアルタイムアプリケーションにおける重要な指標です。
• スループットは、一定時間内の予測量を測定します（例：「システムは1秒間に500枚の画像を処理した」）。高いスループットは多くの場合、バッチサイズを増やすことで達成され、多数の入力を同時に処理します。しかし、バッチ処理はキューで待機している個々のアイテムのレイテンシを実際に「増加」させる可能性があります。

一方を最適化すると、もう一方が犠牲になることがよくあります。例えば、Edge AIアプリケーションは即時のフィードバックを保証するためにレイテンシを優先する傾向がありますが、クラウドベースのデータマイニングタスクでは、膨大なデータセットを効率的に処理するためにスループットを優先する場合があります。

Link to this section最適化戦略#

Developers employ various strategies to minimize latency. Exporting models to optimized formats like ONNX or OpenVINO can yield significant speed improvements on standard CPUs. For mobile deployments, converting models to TFLite or CoreML ensures they run efficiently on iOS and Android devices. Furthermore, using lightweight architectures like MobileNet or the latest Ultralytics YOLO26 ensures that the foundational model is efficient by design. Users can also leverage the Ultralytics Platform to seamlessly deploy models to these optimized formats without complex manual configuration.