リアルタイム推論

リアルタイム推論とは、訓練された機械学習（ML）モデルを使用して、新しいライブデータに対して最小限の遅延で予測を行うプロセスである。AIや コンピュータビジョン（CV）の文脈では、これはシステムがビデオストリームのような情報を処理し、ほぼ瞬時に出力を生成できることを意味する。目標は、推論のレイテンシーを十分に低くして、結果がすぐに意思決定に役立つようにすることである。この能力は、タイミングが重要なアプリケーションにとって極めて重要であり、自動車からヘルスケアまで、AIを活用する業界を変革する。

リアルタイム推論とバッチ推論バッチ推論

リアルタイム推論とバッチ推論を区別することは重要である。重要な違いは、データの処理方法にある。

• リアルタイム推論：通常、一度に1つの入力または小さなストリームを処理する。入力と出力の間の遅延（レイテンシー）を最小化することが優先される。これはインタラクティブで時間に敏感なシステムには不可欠である。
• バッチ推論：一定期間データを収集し、それを一度に大量にバッチ処理する。このアプローチは、レイテンシーを最小化することよりも、スループット（時間をかけて処理されるデータ量）を最大化することを優先する。バッチ処理は、日々のレポート作成や大規模データセットの定期的な分析など、緊急性のないタスクに適している。

どちらも訓練されたモデルを使って予測を行うが、結果の緊急性に基づいて、その使用ケースは根本的に異なる。

実社会での応用

即座に意思決定ができるため、さまざまな分野で幅広い強力な応用が可能になる。

1. 自律システム： 自動運転車では、リアルタイム推論は安全性の問題である。モデルは、歩行者、他の車両、道路標識をミリ秒単位で識別するために物体検出を実行し、安全にナビゲートして衝突を回避しなければならない。同様に、ドローンやロボットも、ナビゲーションや環境とのインタラクションに依存しています。
2. スマート・マニュファクチャリング：生産ラインでは、AIを搭載したカメラがリアルタイムの品質管理を行うことができる。Ultralytics YOLO11のようなモデルは、ベルトコンベア上を移動する製品の欠陥を検出し、即座に除去することができます。これは製造業における最新のAIの中核をなす要素である。
3. インタラクティブ・ヘルスケア：外科手術中に、モデルがカメラからのライブ映像を解析し、外科医にリアルタイムのガイダンスを提供することができる。診断の場面では、医用画像をリアルタイムで解析することで、医師がライブスキャン中に異常をより早く特定することができる。
4. スマートな監視：最新のセキュリティシステムは、リアルタイム推論を使用してビデオフィードを分析し、不正侵入や放置された荷物などの潜在的な脅威を特定し、即座に警告を発します。これにより、単なる録画からアクティブでインテリジェントな監視へと進化します。

リアルタイム・パフォーマンスの達成

リアルタイム・コンピューティング・アプリケーションでモデルを十分に高速に動作させるには、多くの場合、大幅な最適化が必要になる：

• モデルの最適化： モデルの量子化（モデルの重みの精度を下げる）やモデルの刈り込み（モデルの冗長な部分を削除する）などの技術により、計算負荷とメモリ使用量を削減します。
• ハードウェアアクセラレーション： GPU、TPU（Tensor Processing Unit）、エッジデバイス上の専用AIアクセラレーター（NVIDIA Jetson、Google Coral Edge TPUなど）などの専用ハードウェアを活用することで、計算を劇的に高速化できる。エッジコンピューティング自体は、最小限の遅延でローカルにデータを処理するために極めて重要である。
• 効率的な推論エンジン： TensorRT、OpenVINO、ONNX Runtimeなどのソフトウェアライブラリやランタイム、PyTorchや TensorFlowなどのフレームワークは、学習済みモデルの最適化された実行パスを提供する。推論エンジンは、予測モデルを効率的に実行するために特別に設計されています。

Ultralytics YOLOのようなモデルは、効率性と精度を念頭に設計されており、リアルタイムの物体検出タスクに適しています。Ultralytics HUBのようなプラットフォームは、モデルのトレーニング、最適化（ONNXやTensorRTフォーマットへのエクスポートなど）、デプロイを行うツールを提供し、様々なデプロイメントオプションにおけるリアルタイム推論ソリューションの実装を容易にします。