Inference Latency

Задержка вывода — это временная задержка между получением моделью машинного обучения (ML) входных данных (например, изображения или текстового запроса) и выдачей соответствующего результата или предсказания. В контексте искусственного интеллекта (ИИ) эта метрика обычно измеряется в миллисекундах (мс) и служит важнейшим показателем быстродействия системы. Для разработчиков, создающих приложения компьютерного зрения, понимание и минимизация задержки необходимы для обеспечения плавного и интерактивного взаимодействия, особенно при развертывании моделей в средах с ограниченными ресурсами, таких как мобильные телефоны или встраиваемые устройства.

Link to this sectionПочему важна задержка вывода#

Значимость задержки вывода сильно зависит от конкретного случая использования. Если для пакетной обработки, например при анализе ночного серверного отчета, задержка в несколько секунд может быть приемлемой, то для интерактивных приложений она часто неприемлема. Низкая задержка — основа вывода в реальном времени, где системы должны обрабатывать данные и реагировать мгновенно.

Сокращение задержки гарантирует, что ИИ-агенты смогут естественно взаимодействовать с людьми, а автоматизированные системы будут работать безопасно. Высокая задержка может привести к «тормозящим» интерфейсам, снижению вовлеченности пользователей или, в критически важных сценариях, к опасным сбоям в работе. Инженерам часто приходится искать баланс между сложностью модели, которая может улучшить точность, и скоростью выполнения.

Link to this sectionФакторы, влияющие на задержку#

На общее время, необходимое для одного прохода вывода, влияют несколько технических компонентов:

• Архитектура модели: Дизайн нейронной сети (НС) является основным фактором. Глубокие модели с множеством слоев обычно требуют больше вычислений, чем более простые. Современные архитектуры, такие как YOLO26, специально оптимизированы для достижения высокой точности при минимальных вычислительных затратах.
• Возможности оборудования: Выбор процессора существенно влияет на скорость. Хотя CPU универсален, специализированное оборудование, такое как GPU (графический процессор) или TPU (тензорный процессор), разработано для распараллеливания матричных операций, лежащих в основе глубокого обучения, что значительно снижает задержку.
• Размер входных данных: Обработка видеокадров в высоком разрешении 4K занимает больше времени, чем обработка стандартных изображений 640p. Разработчики часто изменяют размер входных данных при предварительной обработке, чтобы найти оптимальный баланс между скоростью и способностью распознавать мелкие детали.
• Методы оптимизации: Такие методы, как квантование модели (преобразование весов к меньшей точности) и прунинг (прореживание) модели (удаление ненужных связей), являются эффективными способами ускорения выполнения. Инструменты, такие как NVIDIA TensorRT, могут дополнительно оптимизировать модели для конкретного оборудования.

Link to this sectionРеальные приложения#

Влияние задержки вывода лучше всего иллюстрируется практическими примерами, где скорость критически важна.

1. Автономное вождение: В области ИИ в автомобилестроении самоуправляемый автомобиль должен постоянно сканировать окружающую среду на наличие пешеходов, других транспортных средств и сигналов светофора. Если система обнаружения объектов имеет высокую задержку, автомобиль может не успеть затормозить при появлении препятствия. Задержка даже в 100 миллисекунд на скорости по трассе может привести к прохождению нескольких метров, что делает низкую задержку важнейшим требованием безопасности.

2. Высокочастотная торговля: Финансовые институты используют прогнозное моделирование для анализа рыночных трендов и совершения сделок. Эти алгоритмы должны обрабатывать огромные объемы данных и принимать решения за микросекунды. В этой области меньшая задержка напрямую дает конкурентное преимущество, позволяя фирмам использовать кратковременные рыночные возможности до того, как конкуренты успеют отреагировать.

Link to this sectionИзмерение задержки с помощью Python#

Ты можешь легко измерить скорость вывода моделей Ultralytics, используя режим бенчмарка. Это поможет выбрать подходящий размер модели с учетом ограничений твоего оборудования.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Benchmark the model on CPU to measure latency
# This provides a breakdown of preprocess, inference, and postprocess time
model.benchmark(data="coco8.yaml", imgsz=640, device="cpu")

Link to this sectionЗадержка вывода против пропускной способности#

Важно отличать задержку от пропускной способности, так как это связанные, но разные понятия в развертывании моделей.

• Задержка вывода измеряет время для одного предсказания (например, «На обработку этого изображения ушло 20 мс»). Это ключевая метрика для приложений реального времени с одним пользователем.
• Пропускная способность измеряет объем предсказаний за единицу времени (например, «Система обработала 500 изображений в секунду»). Высокая пропускная способность часто достигается за счет увеличения размера пакета, что позволяет обрабатывать много входных данных одновременно. Однако пакетная обработка может увеличить задержку для отдельных элементов, ожидающих в очереди.

Оптимизация одного часто идет в ущерб другому. Например, приложения Edge AI обычно отдают приоритет задержке, чтобы обеспечить мгновенный отклик, в то время как облачные задачи по анализу данных (data mining) могут отдавать приоритет пропускной способности для эффективной обработки массивных наборов данных.

Link to this sectionСтратегии оптимизации#

Разработчики используют различные стратегии для минимизации задержки. Экспорт моделей в оптимизированные форматы, такие как ONNX или OpenVINO, может дать значительный прирост скорости на стандартных CPU. Для мобильных развертываний конвертация моделей в TFLite или CoreML гарантирует их эффективную работу на устройствах iOS и Android. Кроме того, использование легких архитектур, таких как MobileNet или новейших Ultralytics YOLO26, обеспечивает эффективность базовой модели по своей конструкции. Ты также можешь использовать платформу Ultralytics для беспрепятственного развертывания моделей в эти оптимизированные форматы без сложной ручной настройки.