Real-time Inference

Инференс в реальном времени — это процесс, в котором обученная модель машинного обучения (ML) принимает входные данные в реальном времени и почти мгновенно генерирует предсказания. В отличие от автономной обработки, при которой данные собираются и анализируются массово позднее, инференс в реальном времени выполняется на лету, позволяя системам быстро и гибко реагировать на окружающую среду. Эта возможность лежит в основе современных приложений искусственного интеллекта (AI), позволяя устройствам воспринимать, интерпретировать и обрабатывать данные за миллисекунды.

Важность низкой задержки#

Основной показатель оценки производительности в реальном времени — это задержка инференса. Она измеряет временной интервал между моментом ввода данных в модель — например, кадра с видеокамеры — и моментом, когда модель выдает результат, такой как ограничивающий прямоугольник или метка классификации. Чтобы приложение считалось работающим «в реальном времени», задержка должна быть достаточно низкой, чтобы соответствовать скорости поступающего потока данных.

Например, в задачах понимания видео, выполняемых со скоростью 30 кадров в секунду (FPS), у системы есть строгий временной бюджет — около 33 миллисекунд на обработку каждого кадра. Если инференс занимает больше времени, система начинает отставать, что может привести к пропуску кадров или задержке ответов. Для этого часто требуется аппаратное ускорение с использованием GPU или специализированных устройств Edge AI, таких как NVIDIA Jetson.

Инференс в реальном времени и пакетный инференс#

Полезно различать рабочие процессы реального времени и пакетную обработку. Хотя оба подхода предполагают генерацию предсказаний, их цели и архитектуры существенно различаются:

• Инференс в реальном времени: ставит во главу угла низкую задержку. Он обрабатывает отдельные элементы данных (или очень небольшие пакеты) сразу после их поступления. Это необходимо для интерактивных приложений, таких как автономные транспортные средства, где автомобиль должен мгновенно обнаружить пешехода, чтобы вовремя затормозить.
• Пакетный инференс: ставит во главу угла высокую пропускную способность. Он собирает большой объем данных и обрабатывает их одновременно. Такой подход подходит для не требующих срочности задач, например для формирования ночных отчетов об инвентаризации или анализа тенденций в исторических наборах больших данных.

Практические применения#

Возможность принимать решения за доли секунды преобразила различные отрасли, обеспечив автоматизацию в динамичных средах.

• Умное производство: в задачах AI в производстве камеры, установленные над конвейерными лентами, используют инференс в реальном времени для автоматизированного контроля качества. Модель обнаружения объектов может мгновенно выявлять дефекты или посторонние предметы в продукции, движущейся с высокой скоростью. Если обнаружена аномалия, система немедленно активирует роботизированную руку, чтобы удалить изделие, гарантируя, что до упаковки доходят только товары высокого качества.
• Видеонаблюдение и безопасность: современные системы безопасности полагаются на компьютерное зрение для мониторинга периметров. Вместо простой записи видео эти камеры выполняют обнаружение людей или распознавание лиц в реальном времени, чтобы уведомить сотрудников службы безопасности о несанкционированном доступе сразу после его возникновения.
• Робототехника: в области AI в робототехнике роботы используют оценку позы для навигации в сложных физических пространствах. Робот на складе должен непрерывно определять местоположение препятствий и людей, чтобы безопасно и эффективно планировать свой маршрут.

Оптимизация и развертывание#

Развертывание моделей для приложений реального времени часто требует оптимизации, чтобы обеспечить их эффективную работу на целевом оборудовании. Такие методы, как квантизация модели, снижают точность весов модели (например, с float32 до int8), чтобы уменьшить использование памяти и повысить скорость инференса при минимальном влиянии на точность.

Разработчики могут использовать Ultralytics Platform, чтобы упростить этот процесс. Платформа упрощает обучение и позволяет пользователям экспортировать модели в оптимизированные форматы, такие как TensorRT для NVIDIA GPU, OpenVINO для Intel CPU или TFLite для развертывания на мобильных устройствах.

Пример кода#

Следующий фрагмент кода на Python демонстрирует, как выполнять инференс в реальном времени на видеопотоке с веб-камеры с использованием библиотеки ultralytics. В нем используется модель YOLO26 Nano, разработанная специально для высокоскоростной работы на периферийных устройствах.

from ultralytics import YOLO

# Load the YOLO26 Nano model, optimized for speed and real-time tasks
model = YOLO("yolo26n.pt")

# Run inference on the default webcam (source="0")
# 'stream=True' returns a generator for memory-efficient processing
# 'show=True' displays the video feed with bounding boxes in real-time
results = model.predict(source="0", stream=True, show=True)

# Iterate through the generator to process frames as they arrive
for result in results:
    # Example: Print the number of objects detected in the current frame
    print(f"Detected {len(result.boxes)} objects")