Выводы в реальном времени

Выводы в реальном времени - это процесс использования обученной модели машинного обучения (ML) для прогнозирования на основе новых данных в реальном времени с минимальной задержкой. В контексте ИИ и компьютерного зрения (CV) это означает, что система может обрабатывать информацию, например видеопоток, и генерировать результат практически мгновенно. Задача состоит в том, чтобы сделать задержку вывода настолько низкой, чтобы результаты были сразу же полезны для принятия решений. Эта возможность крайне важна для приложений, где время имеет решающее значение, и меняет способы использования ИИ в различных отраслях промышленности - от автомобилестроения до здравоохранения.

Выводы в реальном времени и пакетные выводы. Пакетный вывод

Важно отличать выводы в реальном времени от выводов в пакетном режиме. Ключевое различие заключается в способе обработки данных.

• Выводы в реальном времени: Обработка данных по мере их генерации или получения, обычно по одному входу или небольшому потоку за раз. Приоритетом является минимизация задержки(latency) между входом и выходом. Это важно для интерактивных и чувствительных ко времени систем.
• Пакетный вывод: Сбор данных в течение определенного периода времени и их одновременная обработка в виде большого пакета. При таком подходе приоритет отдается максимизации пропускной способности (количество данных, обрабатываемых за определенное время), а не минимизации задержки. Пакетная обработка подходит для несрочных задач, таких как составление ежедневных отчетов или периодический анализ больших наборов данных.

Несмотря на то что в обоих случаях для прогнозирования используется обученная модель, их сценарии использования кардинально отличаются друг от друга в зависимости от срочности получения результатов.

Применение в реальном мире

Возможность мгновенно принимать решения позволяет создавать широкий спектр мощных приложений в различных отраслях.

1. Автономные системы: В самоуправляемых автомобилях умозаключения в реальном времени - это вопрос безопасности. Модели должны выполнять обнаружение объектов для идентификации пешеходов, других транспортных средств и дорожных знаков за миллисекунды, чтобы обеспечить безопасную навигацию и избежать столкновений. Аналогичным образом, беспилотники и роботы полагаются на него для навигации и взаимодействия с окружающей средой.
2. Умное производство: На производственной линии камеры, оснащенные искусственным интеллектом, могут осуществлять контроль качества в режиме реального времени. Такая модель, как Ultralytics YOLO11, может обнаружить дефекты в продукции, движущейся по конвейеру, и немедленно их устранить. Это основной компонент современного ИИ в производстве.
3. Интерактивное здравоохранение: Во время хирургической операции модель может анализировать видео с камеры, чтобы в реальном времени давать указания хирургу. В диагностике анализ медицинских изображений в реальном времени может помочь врачам быстрее выявлять аномалии во время сканирования в реальном времени.
4. Интеллектуальное видеонаблюдение: Современные системы безопасности в режиме реального времени анализируют видеопоток и выявляют потенциальные угрозы, такие как несанкционированное проникновение или оставленные пакеты, вызывая немедленное оповещение. Это позволяет выйти за рамки простой записи и перейти к активному интеллектуальному мониторингу.

Достижение производительности в режиме реального времени

Для того чтобы модели работали достаточно быстро для вычислений в реальном времени, часто требуется значительная оптимизация:

• Оптимизация модели: Такие методы, как квантование модели (уменьшение точности весов модели) и обрезка модели (удаление избыточных частей модели), снижают вычислительную нагрузку и потребление памяти.
• Аппаратное ускорение: Использование специализированного оборудования, такого как GPU, TPU (Tensor Processing Units) или специальных ускорителей ИИ на пограничных устройствах (например, NVIDIA Jetson, Google Coral Edge TPU), может значительно ускорить вычисления. Пограничные вычисления сами по себе важны для локальной обработки данных с минимальной задержкой.
• Эффективные механизмы вывода: Программные библиотеки и среды выполнения, такие как TensorRT, OpenVINO, ONNX Runtime, и фреймворки, такие как PyTorch или TensorFlow, обеспечивают оптимизированные пути выполнения для обученных моделей. Механизм вывода специально разработан для эффективного выполнения моделей для предсказания.

Модели, подобные Ultralytics YOLO, разработаны с учетом эффективности и точности, что делает их хорошо подходящими для задач обнаружения объектов в реальном времени. Платформы, подобные Ultralytics HUB, предоставляют инструменты для обучения, оптимизации (например, экспорт в форматы ONNX или TensorRT) и развертывания моделей, облегчая реализацию решений по выводу данных в реальном времени в различных вариантах развертывания.