リアルタイム推論

リアルタイム推論を理解する

実際には、リアルタイム推論とは、以下のようなMLモデルを展開することを意味する。 Ultralytics YOLOモデルのようなMLモデルを配置し、個々のデータ入力（ビデオフレームやセンサーの読み取り値など）を分析し、最小限の遅延で出力を生成できるようにすることです。重要なパフォーマンス指標は推論レイテンシ（入力を受けてから予測を生成するまでにかかる時間）です。低遅延を達成するには、モデル自体の最適化や、特殊なハードウェアやソフトウェアの活用など、いくつかの戦略が必要になることが多い。

リアルタイム推論とバッチ推論

主な違いは、データの処理方法とそれに伴うレイテンシー要件にある：

• リアルタイム推論：各予測の遅延を最小化することに重点を置きながら、データが到着するごとにポイント・バイ・ポイントでデータを処理する。インタラクティブなシステムや即時応答が必要なアプリケーションに不可欠。自動運転車の障害物検知を考えてみよう。
• バッチ推論：多くの場合、定期的にスケジューリングされた大きなチャンクまたはバッチでデータを処理する。レイテンシーよりもスループット（大量のデータを効率的に処理する）に最適化されている。日次レポートの作成や大規模データセットのオフライン分析などのタスクに適している。Google Cloudはバッチ予測に関する洞察を提供します。

リアルタイム推論の応用

リアルタイム推論は、瞬時の意思決定が重要な現代の人工知能（AI）アプリケーションの多くに力を与えている：

• 自律システム： 自動運転車や ロボット工学の AIでは、環境のナビゲーション、障害物の検出（物体検出）、瞬時の運転判断にリアルタイムの推論が欠かせない。
• セキュリティと監視 セキュリティ・システムは、リアルタイム推論を使用して、侵入を検知したり、不審な行動を特定したり、群衆を即座に監視したりする。
• ヘルスケア手技や診断中に即座に医療画像を解析することで、患者の転帰や診断精度を大幅に向上させることができます。
• 製造業 製造業におけるリアルタイム品質管理は、生産ラインでの欠陥を即座に検出し、無駄を省いて効率を向上させる。
• インタラクティブ・アプリケーション：バーチャルアシスタント、リアルタイム言語翻訳、コンテンツ推薦システムは、シームレスなユーザー体験を提供するために低遅延推論に依存している。

リアルタイム・パフォーマンスの達成

リアルタイム・アプリケーションでモデルを十分に高速に動作させるには、多くの場合、大幅な最適化が必要になる：

• モデルの最適化： モデルの量子化（モデルの重みの精度を下げる）やモデルの刈り込み（モデルの冗長な部分を削除する）などの技術により、計算負荷とメモリ使用量を削減します。
• ハードウェアアクセラレーション： GPU、TPU（Tensor Processing Unit）、エッジデバイス上の専用AIアクセラレーター（NVIDIA Jetson、Google Coral EdgeTPU）などの専用ハードウェアを活用することで、計算を劇的に高速化できる。エッジコンピューティング自体は、最小限の遅延でローカルにデータを処理するために極めて重要である。
• 効率的な推論エンジン：ソフトウェア・ライブラリと TensorRT, OpenVINOONNX Runtimeなどのソフトウェアライブラリやランタイム、そして PyTorchまたは TensorFlowなどのフレームワークは、学習済みモデルの最適化された実行パスを提供する。推論エンジンは、予測モデルを効率的に実行するために特別に設計されている。

以下のようなモデル Ultralytics YOLO11のようなモデルは、効率と精度を念頭に置いて設計されているため、リアルタイムの物体検出タスクに適している。Ultralytics HUBのようなプラットフォームは、学習、最適化（例：ONNXへのエクスポート）、最適化（例：ONNXへのエクスポート）、最適化（例：ONNXへのエクスポート）のためのツールを提供します。 ONNXやTensorRT 形式へのエクスポートなど）、モデルのデプロイを行うツールを提供し、さまざまなデプロイメントオプションにわたるリアルタイム推論ソリューションの実装を容易にします。