リアルタイム推論

リアルタイム推論とは、訓練された機械学習モデルが生きた入力データ 学習された機械学習モデルが、生きた入力データ ほぼ瞬時に予測を生成するプロセスである。この文脈で「リアルタイム」とは、入力されるデータの流れに追いつくのに十分な処理速度であることを意味する。 処理速度が入力データの流れに追いつくのに十分であり、システムが即座に判断を下せることを意味する。この この能力は、現代のコンピュータ・ビジョン・アプリケーションの基礎である。 コンピュータ・ビジョン・アプリケーションの要である。 デバイスが最小限の遅延で環境を認識し、反応することを可能にします。

低遅延の重要性

リアルタイム性能を評価する主な指標は次のとおりである。 推論レイテンシである。 これは、モデルが入力を受け取ってから出力を生成するまでの経過時間を測定するものである。システムがリアルタイムとみなされるためには、このレイテンシがユースケースの特定のタイミング制約を満たすのに十分低くなければならない。 このレイテンシは、ユースケースの特定のタイミング制約を満たすのに十分低くなければならない。例えば ビデオ理解システムは は、各フレームの処理におよそ33ミリ秒かかる。推論に時間がかかると、フレーム はドロップされ、システムは遅延する。

この速度を達成するには、多くの場合、GPUや専用ハードウェアのような特殊なハードウェアを利用する必要がある。 GPUや専用の エッジAIアクセラレーターのような NVIDIA ような専用ハードウェアを利用する必要があります。さらに エンジニアはしばしば モデル最適化技術 を採用し、精度を大幅に犠牲にすることなく計算の複雑さを軽減しています。

リアルタイム推論とバッチ推論

リアルタイム・ワークフローとバッチ推論を区別することは重要である。 バッチ推論と区別することが重要である。 リアルタイム推論が、到着したデータポイントを個別に処理して待ち時間を最小化するのに対して、バッチ推論 はデータを大きな塊にまとめ、後でまとめて処理する。

• リアルタイム推論：スピードと即時性を優先。自律走行車 アプリケーションに不可欠。 顔認識ロック解除のようなインタラクティブなアプリケーションに不可欠です。
• バッチ推論：高いスループットと計算効率を優先。過去のデータセットの解析や夜間の 過去のデータセットの分析や夜間サーバーレポートの作成など、緊急性の高くないタスクに適している。 サーバーレポートの生成など、緊急性のないタスクに適しています。

実際のアプリケーション

一瞬の判断が必要な複雑なタスクを自動化することで、瞬時に予測を生成する能力は、いくつかの業界に変革をもたらした。 を自動化することで、さまざまな業界に変革をもたらしました。

• 自律システム：自動車のAI分野では 自動運転車はリアルタイム推論に大きく依存している。 リアルタイム推論に大きく依存している。物体検出モデルは 物体検出モデルは 歩行者、交通標識、他の車両を瞬時に識別し、安全にナビゲートしなければならない。この処理パイプラインに大幅な遅れが生じると 危険な事故につながる可能性があります。
• スマート・マニュファクチャリング：現代の工場は 自動化された品質管理を行う 品質管理を行う。生産ラインに設置されたカメラは、以下のようなモデルを使用している。 Ultralytics YOLO11のような機種を使用しています。 ベルトコンベア上の製品を検査します。このシステムは 異常検知で欠陥を即座に発見、 不良品が包装に到達する前にリジェクトするメカニズムが作動する。

スピードの最適化

リアルタイム・アプリケーションに必要な速度を達成するために、開発者は最適化された推論エンジンを使ってモデルを展開することが多い。 エンジンを使ってモデルを展開することが多い。フレームワーク TensorRTNVIDIA ようなフレームワーク や OpenVINOのようなフレームワークは パフォーマンスを大幅に加速することができる。さらに モデルの重みの精度を モデルの重みの精度を浮動小数点数から整数値に下げるモデル量子化などの技術により、メモリフットプリントを大幅に削減し、組み込みシステムの実行速度を向上させることができます。 組み込みシステムでの実行速度を向上させることができます。

以下のPython サンプルは、ウェブカメラのフィードに対してリアルタイム推論を実行する方法を示しています。 ultralytics 図書館

from ultralytics import YOLO

# Load the official YOLO11 nano model, optimized for speed
model = YOLO("yolo11n.pt")

# Run inference on the default webcam (source=0)
# 'stream=True' creates a generator for memory-efficient real-time processing
# 'show=True' displays the video feed with prediction overlays
results = model.predict(source="0", stream=True, show=True)

# Process the generator to keep the stream running
for result in results:
    pass

リアルタイムAIの未来

5G接続が拡大し、ハードウェアがより強力になるにつれて、 リアルタイムAIの範囲が広がっている。次のような概念 モノのインターネット（IoT） のような概念は、よりインテリジェントになりつつあり、単なるデータコレクターから能動的な意思決定者へと移行しつつある。今後の発展 今後発表されるYOLO26のような将来の開発は、これらの境界をさらに押し広げることを目指している。 さらに小型で高速なネイティブ・エンド・ツー・エンド・モデルを提供することで、スマート・シティや医療機器に以下のことを保証する。 スマートシティと医療機器は リアルタイムでシームレスに動作することを保証する。