Inference Engine

An inference engine is a specialized software component designed to execute trained machine learning models and generate predictions from new data. Unlike the training phase, which focuses on learning patterns through computationally intensive processes like backpropagation, an inference engine is strictly optimized for the operational phase known as model deployment. Its primary goal is to run computations as efficiently as possible, minimizing inference latency and maximizing throughput on target hardware, whether that be a scalable cloud server or a battery-powered Edge AI device. By stripping away the overhead required for training, these engines allow complex neural networks to function in real-time applications.

Link to this section推論エンジンがパフォーマンスを最適化する方法#

学習環境から推論エンジンへの移行には、通常、モデルの構造を合理化するためのいくつかの最適化ステップが含まれます。モデルにはもはや学習の必要がないため、エンジンは勾配更新に必要なデータを破棄し、モデルの重みを事実上固定することができます。推論エンジンで使用される一般的な手法には、メモリへのアクセスを削減するために複数の操作を単一のステップに統合するレイヤー融合や、重みを高精度浮動小数点形式から低精度整数（例：INT8）に変換するモデル量子化などがあります。

これらの最適化により、Ultralytics YOLO26のような高度なアーキテクチャは、精度を大幅に損なうことなく、驚異的な速度で実行されます。多くの場合、異なるエンジンは特定のハードウェアエコシステムに合わせて調整されており、最大限のパフォーマンスを引き出せるようになっています。

• NVIDIA TensorRT: ハードウェア固有のカーネルを利用し、ネットワークグラフを最適化することで、NVIDIA GPU上で高性能な推論を実現します。
• Intel OpenVINO: Optimizes deep learning performance on Intel architectures, including CPUs and integrated graphics, making it ideal for edge computing.
• ONNX Runtime: ONNX形式のモデルをサポートするクロスプラットフォームのアクセラレータであり、異なるフレームワークとハードウェアバックエンドの架け橋となります。

Link to this section実社会での応用#

推論エンジンは現代の多くのAI利便性を支える目に見えないドライバーであり、コンピュータービジョンシステムが環境に対して即座に反応することを可能にしています。

1. 自動運転車: 自動運転車では、物体検出モデルが歩行者、交通標識、その他の車両をミリ秒単位で識別する必要があります。車のハードウェア上でローカルに実行される推論エンジンは、この処理がリアルタイム推論速度で行われることを保証します。クラウド接続に依存すると危険な遅延が発生するためです。

2. スマートマニュファクチャリング: 工場ではインダストリアルIoTカメラを使用して組立ライン上の製品を検査しています。推論エンジンはビデオフィードを処理して異常検知を実行し、欠陥を即座にフラグ立てします。この自動化により無駄が削減され、生産を遅らせることなく厳格な品質管理が保証されます。

Link to this section推論エンジンと学習フレームワークの比較#

It is helpful to distinguish between the software used to create the model and the engine used to run it. A Training Framework (like PyTorch or TensorFlow) provides the tools for designing architectures, calculating loss, and updating parameters via supervised learning. It prioritizes flexibility and debugging capabilities.

対照的に、推論エンジンは学習フレームワークから完成した成果物を受け取り、実行速度とメモリ効率を優先します。学習フレームワーク内で推論を実行することも可能ですが、特にTensorFlow LiteやApple Core MLのようなツールを使用してモバイル端末や組み込みデバイスにデプロイする場合、専用エンジンを使用するほどの効率は得られません。

Link to this sectionYOLO26での推論エンジンの使用#

ultralyticsパッケージは推論エンジンの複雑さの多くを抽象化し、ユーザーがシームレスに予測を実行できるようにします。内部では、画像のプリプロセスとモデルの実行を処理します。スケールアップを目指すユーザーのために、Ultralytics Platformは、学習から様々な推論エンジンと互換性のある最適化された形式へのモデルエクスポートまで、プロセスを簡素化します。

以下の例は、学習済みYOLO26モデルをロードし、画像に対して推論を実行する方法を示しています。

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Run inference on an image from a URL
# The 'predict' method acts as the interface to the inference process
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()