用語集

推論レイテンシー

低推論レイテンシーでAIパフォーマンスを最適化。リアルタイム応答を強化するための重要な要因、実際の応用例、テクニックを学びます。

推論レイテンシとは、学習済みの機械学習（ML）モデルが入力を受け取り、対応する出力または予測を返すまでにかかる時間のことです。ミリ秒（ms）単位で測定され、人工知能（AI）の分野、特に即時のフィードバックを必要とするアプリケーションでは重要なパフォーマンス指標となる。低レイテンシは、動的な実環境で動作する応答性の高い効果的なAIシステムを構築するために不可欠です。

推論遅延が重要な理由

低い推論レイテンシは、リアルタイム推論を可能にする鍵であり、予測が有用であるためには厳しい時間枠内で配信されなければならない。多くのシナリオでは、数ミリ秒の遅延がアプリケーションを非効率または危険にさらす可能性がある。例えば、自動運転車は衝突を避けるために歩行者や障害物を瞬時に識別する必要があり、対話型AIアシスタントは自然な会話の流れを維持するためにユーザーからの問い合わせに素早く応答する必要があります。低遅延を実現することは、モデル展開における中心的な課題であり、ユーザーエクスペリエンスとアプリケーションの実現可能性に直接影響します。

実世界での応用

推論レイテンシは、多くのコンピュータビジョンアプリケーションの成功の決め手となる。以下に2つの例を挙げます：

自律走行：自動車業界では、自律走行車の物体検知システムは、カメラやセンサーからのデータを最小限の遅延で処理する必要があります。遅延が少ないことで、車両は歩行者が道路に踏み出したことを検知し、時間内にブレーキをかけることができます。
医療診断：ヘルスケアでは、AIモデルが医療画像を分析して病気を特定する。Ultralytics YOLO11のようなモデルが医療画像の腫瘍検出に使用される場合、推論レイテンシーが低いため、放射線技師はほぼ瞬時に分析結果を受け取ることができます。この迅速なフィードバックループが診断プロセスを加速し、患者への迅速な治療決定につながります。

推論遅延に影響を与える要因

モデルが推論を実行する速さには、いくつかの要因が影響する：

モデルの複雑さ：より大きく複雑なニューラルネットワーク（NN）は、より多くの計算を必要とするため、待ち時間が長くなる。バックボーンから検出ヘッドまで、アーキテクチャーの選択が重要な役割を果たします。YOLO11とYOLOv10のような異なるモデルを比較することで、これらのトレードオフを確認することができます。
ハードウェア：ハードウェアの処理能力は極めて重要だ。GPU（グラフィックス・プロセッシング・ユニット）、TPU（テンソル・プロセッシング・ユニット）、またはエッジ上の専用AIアクセラレーター（NVIDIA Jetsonや Google Coral Edge TPUなど）のような特殊なハードウェアは、標準的なCPU（中央演算処理装置）に比べてレイテンシーを大幅に削減できる。
ソフトウェアの最適化：NVIDIA TensorRTや IntelのOpenVINOのような最適化された推論エンジンを使うことで、パフォーマンスを劇的に向上させることができる。PyTorchや TensorFlowなどのフレームワークも最適化ツールを提供しています。ONNXのような効率的なフォーマットにモデルをエクスポートすることで、異なるエンジン間での展開が容易になります。
バッチサイズ：複数の入力を一度に処理する（バッチ処理）ことで、全体的なスループットは向上するが、個々の推論の待ち時間が長くなることが多い。リアルタイム・アプリケーションでは通常、バッチ・サイズは1である。
モデル最適化技術：モデルの量子化（数値精度を下げる）やモデルの刈り込み（冗長なパラメーターを取り除く）といった手法は、モデルのサイズと計算負荷を減らし、レイテンシーを直接的に下げる。これらは、より広範なモデル最適化戦略の重要な構成要素です。