Inference Latency

Задержка инференса — это временной интервал между получением моделью машинного обучения (ML) входных данных, например изображения или текстового запроса, и выдачей соответствующего результата или предсказания. В контексте искусственного интеллекта (AI) этот показатель обычно измеряется в миллисекундах (мс) и служит важным индикатором отзывчивости системы. Разработчикам, создающим приложения для компьютерного зрения, важно понимать причины задержки и минимизировать её, чтобы обеспечить плавное интерактивное взаимодействие с пользователем, особенно при развертывании моделей в средах с ограниченными ресурсами, таких как мобильные телефоны или встраиваемые устройства.

Почему важна задержка инференса#

Значимость задержки инференса во многом зависит от конкретного сценария использования. Задержка в несколько секунд может быть приемлемой для задачи пакетной обработки, например анализа ночного отчёта сервера, но для интерактивных приложений она часто неприемлема. Низкая задержка — основа инференса в реальном времени, при котором системы должны мгновенно обрабатывать данные и реагировать на них.

Снижение задержки позволяет ИИ-агентам естественно взаимодействовать с людьми, а автоматизированным системам — работать безопасно. Высокая задержка может привести к интерфейсам с заметными «подвисаниями», снижению удержания пользователей или, в критически важных с точки зрения безопасности сценариях, опасным сбоям в работе. Инженерам часто приходится искать компромисс между сложностью модели, которая может повышать точность, и скоростью выполнения.

Факторы, влияющие на задержку#

Общее время, необходимое для одного прохода инференса, зависит от нескольких технических компонентов:

• Архитектура модели: Архитектура нейронной сети (NN) — один из основных факторов. Глубокие модели с большим количеством слоёв обычно требуют больше вычислений, чем более мелкие модели. Современные архитектуры, такие как YOLO26, специально оптимизированы для обеспечения высокой точности при минимальных вычислительных затратах.
• Возможности оборудования: Выбор вычислительного устройства существенно влияет на скорость. Хотя CPU универсален, специализированное оборудование, такое как графический процессор (GPU) или тензорный процессор (TPU), предназначено для параллельного выполнения матричных операций, лежащих в основе глубокого обучения, что значительно снижает задержку.
• Размер входных данных: Обработка кадров видео в высоком разрешении 4K занимает больше времени, чем обработка стандартных изображений 640p. Разработчики часто изменяют размер входных данных на этапе предварительной обработки данных, чтобы найти оптимальный баланс между скоростью и способностью обнаруживать мелкие детали.
• Методы оптимизации: Такие методы, как квантизация модели (преобразование весов в формат с меньшей точностью) и прореживание модели (удаление ненужных связей), эффективно ускоряют выполнение. Такие инструменты, как NVIDIA TensorRT, позволяют дополнительно оптимизировать модели для конкретного оборудования.

Практические применения#

Влияние задержки инференса лучше всего демонстрируют практические примеры, в которых скорость имеет критическое значение.

1. Автономное вождение: В сфере ИИ в автомобильной отрасли беспилотный автомобиль должен непрерывно сканировать окружающую обстановку в поисках пешеходов, других транспортных средств и сигналов светофора. Если система обнаружения объектов работает с высокой задержкой, автомобиль может не успеть затормозить при появлении препятствия. Даже задержка в 100 миллисекунд на высокой скорости может привести к прохождению нескольких метров, поэтому низкая задержка является критически важным требованием безопасности.

2. Высокочастотная торговля: Финансовые учреждения используют предиктивное моделирование для анализа рыночных тенденций и выполнения сделок. Эти алгоритмы должны обрабатывать огромные объёмы данных и принимать решения за микросекунды. В этой сфере меньшая задержка напрямую обеспечивает конкурентное преимущество, позволяя компаниям использовать кратковременные рыночные возможности до того, как на них успеют отреагировать конкуренты.

Измерение задержки с помощью Python#

Ты можешь легко измерить скорость инференса моделей Ultralytics с помощью режима benchmark. Это помогает выбрать подходящий размер модели с учётом ограничений конкретного оборудования.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Benchmark the model on CPU to measure latency
# This provides a breakdown of preprocess, inference, and postprocess time
model.benchmark(data="coco8.yaml", imgsz=640, device="cpu")

Задержка инференса и пропускная способность#

Важно различать задержку и пропускную способность, поскольку в рамках развертывания модели это связанные, но разные понятия.

• Задержка инференса измеряет время, необходимое для получения одного предсказания (например: «Обработка этого изображения заняла 20 мс»). Это ключевой показатель для приложений реального времени с одним пользователем.
• Пропускная способность измеряет количество предсказаний за определённый период (например: «Система обработала 500 изображений в секунду»). Высокой пропускной способности часто добиваются увеличением размера пакета, благодаря чему множество входных данных обрабатывается одновременно. Однако пакетная обработка может фактически увеличить задержку для отдельных элементов, ожидающих в очереди.

Оптимизация одного показателя часто происходит за счёт другого. Например, приложения ИИ на периферийных устройствах обычно отдают приоритет задержке, чтобы обеспечить немедленную обратную связь, тогда как облачные задачи интеллектуального анализа данных могут отдавать приоритет пропускной способности для эффективной обработки огромных наборов данных.

Стратегии оптимизации#

Разработчики применяют различные стратегии для минимизации задержки. Экспорт моделей в оптимизированные форматы, такие как ONNX или OpenVINO, может значительно повысить скорость на стандартных CPU. Для мобильных развертываний преобразование моделей в TFLite или CoreML обеспечивает их эффективную работу на устройствах с iOS и Android. Кроме того, использование лёгких архитектур, таких как MobileNet или новейшая модель Ultralytics YOLO26, обеспечивает эффективность базовой модели уже на уровне её разработки. Пользователи также могут использовать Ultralytics Platform, чтобы легко развертывать модели в этих оптимизированных форматах без сложной ручной настройки.