リアルタイム推論

リアルタイム推論とは、トレーニング済みの機械学習（ML）モデルを使用して、遅延を最小限に抑えながら新しいライブデータに対して予測を行うプロセスです。AIおよびコンピュータビジョン（CV）のコンテキストでは、これはシステムがビデオストリームなどの情報を処理し、ほぼ瞬時に出力を生成できることを意味します。目標は、推論レイテンシを十分に低くして、結果が意思決定にすぐに役立つようにすることです。この機能は、タイミングが重要なアプリケーションにとって非常に重要であり、自動車からヘルスケアまで、さまざまな業界がAIを活用する方法を変革します。

リアルタイム推論 vs. バッチ推論

リアルタイム推論を、バッチ推論と区別することが重要です。主な違いは、データの処理方法にあります。

• リアルタイム推論： データが生成または受信されるとすぐに、通常は一度に1つの入力または小さなストリームでデータを処理します。優先事項は、入力と出力の間の遅延（レイテンシ）を最小限に抑えることです。これは、インタラクティブで時間に敏感なシステムに不可欠です。
• バッチ推論： 一定期間にわたってデータを収集し、大規模なバッチで一度にすべてを処理することを含みます。このアプローチは、遅延を最小限に抑えるよりも、スループット（一定期間に処理されるデータ量）を最大化することを優先します。バッチ処理は、日次レポートの生成や大規模なデータセットの定期的な分析のような、緊急性の低いタスクに適しています。

どちらもトレーニング済みのモデルを使用して予測を行いますが、そのユースケースは結果の緊急性に基づいて根本的に異なります。

実世界での応用

瞬時の意思決定を可能にする機能により、さまざまな分野で幅広い強力なアプリケーションが可能になります。

1. 自律システム: 自動運転車では、リアルタイム推論は安全性の問題です。モデルは、安全にナビゲートして衝突を回避するために、歩行者、他の車両、および道路標識を識別するために、ミリ秒単位で物体検出を実行する必要があります。同様に、ドローンやロボットは、ナビゲーションや環境との相互作用のためにそれに依存しています。
2. スマートマニュファクチャリング: 生産ラインでは、AIを搭載したカメラがリアルタイムの品質管理を実行できます。Ultralytics YOLO11のようなモデルは、コンベヤーベルト上を移動する製品の欠陥を検出し、すぐに取り除くことができます。これは、現代の製造業におけるAIの中核となるコンポーネントです。
3. インタラクティブヘルスケア：外科手術中、モデルはカメラからのライブビデオを分析して、外科医にリアルタイムのガイダンスを提供できます。診断設定では、リアルタイムの医用画像解析により、医師はライブスキャン中に異常をより迅速に特定できます。
4. スマート監視: 最新のセキュリティシステムは、リアルタイム推論を使用してビデオフィードを分析し、不正侵入や放置された荷物などの潜在的な脅威を特定し、即座にアラートをトリガーします。これにより、単純な記録からアクティブなインテリジェント監視に移行します。

リアルタイムパフォーマンスの実現

モデルをリアルタイムコンピューティングアプリケーションで十分に高速に実行するには、多くの場合、大幅な最適化が必要です。

• モデルの最適化： モデル量子化（モデルの重みの精度を低下させる）やモデルの枝刈り（モデルの冗長な部分を削除する）のような手法は、計算負荷とメモリ使用量を削減します。
• ハードウェアアクセラレーション： GPU、TPU（Tensor Processing Unit）、またはエッジデバイス上の専用AIアクセラレータ（例：NVIDIA Jetson、Google Coral Edge TPU）などの特殊なハードウェアを利用すると、計算を大幅に高速化できます。エッジコンピューティング自体が、遅延を最小限に抑えてローカルでデータを処理するために重要です。
• 効率的な推論エンジン： TensorRT、OpenVINO、ONNX Runtimeなどのソフトウェアライブラリとランタイム、およびPyTorchやTensorFlowなどのフレームワークは、トレーニング済みモデルに最適化された実行パスを提供します。推論エンジンは、予測のためにモデルを効率的に実行するように特別に設計されています。

Ultralytics YOLOのようなモデルは、効率と精度を念頭に置いて設計されており、リアルタイムの物体検出タスクに適しています。Ultralytics HUBのようなプラットフォームは、モデルのトレーニング、最適化（ONNXやTensorRT形式へのエクスポートなど）、およびデプロイのためのツールを提供し、さまざまなデプロイオプションにわたるリアルタイム推論ソリューションの実装を容易にします。