Вывод в реальном времени

Вывод в реальном времени — это процесс использования обученной модели машинного обучения (ML) для прогнозирования на основе новых, оперативных данных с минимальной задержкой. В контексте ИИ и компьютерного зрения (CV) это означает, что система может обрабатывать информацию, например видеопоток, и генерировать выходные данные практически мгновенно. Цель состоит в том, чтобы сделать задержку вывода достаточно низкой, чтобы результаты были немедленно полезны для принятия решений. Эта возможность имеет решающее значение для приложений, где время имеет решающее значение, преобразуя то, как отрасли, от автомобильной до здравоохранения, используют ИИ.

Вывод в реальном времени в сравнении с пакетным выводом

Важно отличать вывод в реальном времени от пакетного вывода. Ключевое различие заключается в способе обработки данных.

• Вывод в реальном времени: Обрабатывает данные по мере их генерации или получения, обычно по одному входному элементу или небольшому потоку за раз. Приоритетом является минимизация задержки (latency) между входом и выходом. Это важно для интерактивных и чувствительных к времени систем.
• Пакетный вывод: Предполагает сбор данных в течение определенного периода и их одновременную обработку в большом пакете. Этот подход отдает приоритет максимизации пропускной способности (объему данных, обработанных за определенное время), а не минимизации задержки. Пакетная обработка подходит для несрочных задач, таких как создание ежедневных отчетов или периодический анализ больших наборов данных.

Оба подхода используют обученную модель для прогнозирования, но их сценарии использования принципиально различаются в зависимости от срочности получения результатов.

Приложения в реальном мире

Возможность принимать мгновенные решения обеспечивает широкий спектр мощных приложений в различных секторах.

1. Автономные системы: В самоуправляемых автомобилях вывод в реальном времени является вопросом безопасности. Модели должны выполнять обнаружение объектов для идентификации пешеходов, других транспортных средств и дорожных знаков за миллисекунды, чтобы безопасно ориентироваться и избегать столкновений. Аналогичным образом, дроны и роботы полагаются на это для навигации и взаимодействия со своей средой.
2. Интеллектуальное производство: На производственной линии камеры, оснащенные искусственным интеллектом, могут выполнять контроль качества в режиме реального времени. Модель, такая как Ultralytics YOLO11, может обнаруживать дефекты в продуктах, движущихся по конвейерной ленте, позволяя немедленно их удалять. Это основной компонент современного ИИ в производстве.
3. Интерактивное здравоохранение: Во время хирургической процедуры модель может анализировать видео в реальном времени с камеры, чтобы предоставлять хирургу рекомендации в режиме реального времени. В диагностических условиях анализ медицинских изображений в реальном времени может помочь врачам быстрее выявлять аномалии во время сканирования в реальном времени.
4. Интеллектуальное видеонаблюдение: Современные системы безопасности используют вывод в реальном времени для анализа видеопотоков и выявления потенциальных угроз, таких как несанкционированный вход или оставленные пакеты, и запускают немедленные оповещения. Это выходит за рамки простой записи и переходит к активному, интеллектуальному мониторингу.

Достижение производительности в реальном времени

Для того чтобы модели работали достаточно быстро для приложений вычислений в реальном времени, часто требуется значительная оптимизация:

• Оптимизация модели: Такие методы, как квантование модели (снижение точности весов модели) и pruning модели (удаление избыточных частей модели), снижают вычислительную нагрузку и использование памяти.
• Аппаратное ускорение: Использование специализированного оборудования, такого как GPU, TPU (тензорные процессоры) или специализированные ускорители AI на периферийных устройствах (например, NVIDIA Jetson, Google Coral Edge TPU), может значительно ускорить вычисления. Периферийные вычисления сами по себе имеют решающее значение для локальной обработки данных с минимальной задержкой.
• Эффективные механизмы логического вывода: Программные библиотеки и среды выполнения, такие как TensorRT, OpenVINO, ONNX Runtime и фреймворки, такие как PyTorch или TensorFlow, предоставляют оптимизированные пути выполнения для обученных моделей. Механизм логического вывода специально разработан для эффективного запуска моделей для прогнозирования.

Такие модели, как Ultralytics YOLO, разработаны с учетом эффективности и точности, что делает их хорошо подходящими для задач обнаружения объектов в реальном времени. Платформы, такие как Ultralytics HUB, предоставляют инструменты для обучения, оптимизации (например, экспорта в форматы ONNX или TensorRT) и развертывания моделей, что облегчает реализацию решений для логического вывода в реальном времени в различных вариантах развертывания.