Inference Engine

Движок вывода (inference engine) — это специализированный программный компонент, предназначенный для выполнения обученных моделей машинного обучения и генерации предсказаний на основе новых данных. В отличие от фазы обучения, которая сосредоточена на изучении закономерностей с помощью ресурсоемких процессов, таких как backpropagation, движок вывода строго оптимизирован для операционной фазы, известной как model deployment. Его главная цель — максимально эффективное выполнение вычислений, минимизация inference latency и максимизация пропускной способности на целевом оборудовании, будь то масштабируемый облачный сервер или работающее от батареи Edge AI устройство. Исключая избыточные накладные расходы, необходимые для обучения, эти движки позволяют сложным neural networks работать в приложениях реального времени.

Как Inference Engines оптимизируют производительность#

Переход от среды обучения к движку вывода обычно включает в себя несколько этапов оптимизации для упорядочивания структуры модели. Поскольку модели больше не нужно обучаться, движок может отбросить данные, необходимые для обновления градиентов, фактически фиксируя model weights. Распространенные методы, используемые движками вывода, включают слияние слоев (layer fusion), при котором несколько операций объединяются в один шаг для сокращения доступа к памяти, и model quantization, которая преобразует веса из форматов с плавающей запятой высокой точности в целые числа более низкой точности (например, INT8).

Эти оптимизации позволяют современным архитектурам, таким как Ultralytics YOLO26, работать с невероятно высокой скоростью без существенной потери в accuracy. Различные движки часто адаптируются под конкретные аппаратные экосистемы для достижения максимальной производительности:

• NVIDIA TensorRT: Обеспечивает высокопроизводительный вывод на GPUs от NVIDIA за счет использования специфичных для оборудования ядер и оптимизации сетевого графа.
• Intel OpenVINO: Оптимизирует производительность deep learning на архитектурах Intel, включая CPUs и интегрированную графику, что делает его идеальным для периферийных вычислений (edge computing).
• ONNX Runtime: Кроссплатформенный ускоритель, поддерживающий модели в формате ONNX и обеспечивающий связку между различными фреймворками и аппаратными бэкендами.

Реальные приложения#

Движки вывода — это невидимая движущая сила многих современных удобств ИИ, позволяющая системам computer vision мгновенно реагировать на происходящее вокруг.

1. Автономные транспортные средства: В беспилотных автомобилях модели object detection должны за миллисекунды распознавать пешеходов, дорожные знаки и другие транспортные средства. Движок вывода, работающий локально на аппаратном обеспечении автомобиля, гарантирует выполнение этой обработки со скоростью real-time inference, так как зависимость от облачного соединения привела бы к опасным задержкам.

2. Умное производство: Заводы используют камеры industrial IoT для проверки продукции на сборочных линиях. Движок вывода обрабатывает видеопотоки для выполнения anomaly detection, мгновенно выявляя дефекты. Такая автоматизация сокращает количество отходов и обеспечивает строгий контроль качества без замедления темпов производства.

Inference Engine против фреймворка для обучения#

Полезно различать программное обеспечение, используемое для создания модели, и движок, используемый для ее запуска. Фреймворк обучения (Training Framework) (например, PyTorch или TensorFlow) предоставляет инструменты для проектирования архитектур, расчета потерь и обновления параметров с помощью supervised learning. Он уделяет первостепенное внимание гибкости и возможностям отладки.

Напротив, движок вывода (Inference Engine) берет готовый артефакт из фреймворка обучения и ставит на первое место скорость выполнения и эффективность использования памяти. Хотя вы можете выполнять вывод внутри фреймворка обучения, это редко бывает столь же эффективно, как использование специализированного движка, особенно для развертывания на мобильных телефонах или встраиваемых устройствах с помощью таких инструментов, как TensorFlow Lite или Apple Core ML.

Использование механизма выводов с Ultralytics YOLO26#

Пакет ultralytics берет на себя большую часть сложности движков вывода, позволяя пользователям беспрепятственно запускать предсказания. "Под капотом" он управляет предварительной обработкой изображений и выполнением модели. Для пользователей, стремящихся к масштабированию, Ultralytics Platform упрощает процесс обучения и экспорта моделей в оптимизированные форматы, совместимые с различными движками вывода.

Следующий пример демонстрирует, как загрузить предварительно обученную модель YOLO26 и запустить вывод на изображении:

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Run inference on an image from a URL
# The 'predict' method acts as the interface to the inference process
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()