Вывод моделей в реальном времени меняет решения на основе визуального ИИ

Каждому из нас знакомо раздражение из-за медленного интернет-соединения. Но представь такую задержку в ситуации, где на кону многое: например, когда беспилотный автомобиль реагирует на препятствие или врач анализирует важный снимок. Лишние несколько секунд могут привести к серьёзным последствиям.

Именно здесь помогает инференс ИИ в реальном времени. Быстрая обработка и мгновенные предсказания позволяют решениям на основе компьютерного зрения сразу же обрабатывать визуальные данные и реагировать на них. Такие решения за доли секунды могут повысить безопасность и эффективность, а также упростить повседневные задачи.

Представь, например, хирурга, который проводит деликатную операцию с помощью робота-ассистента. Каждое движение управляется через высокоскоростное соединение, а система технического зрения робота обрабатывает операционное поле в реальном времени и мгновенно передаёт хирургу визуальную информацию. Даже малейшая задержка в этой цепочке обратной связи может привести к серьёзной ошибке и подвергнуть пациента опасности. Это наглядный пример того, почему инференс в реальном времени так важен: задержкам здесь нет места.

Инференс ИИ в реальных приложениях зависит от трёх ключевых понятий: движки инференса (программное или аппаратное обеспечение для эффективного выполнения моделей ИИ), задержка инференса (время между получением входных данных и выдачей результата) и инференс в реальном времени (способность системы ИИ обрабатывать данные и реагировать с минимальной задержкой).

В этой статье мы рассмотрим эти ключевые понятия и разберём, как модели компьютерного зрения, например Ultralytics YOLO11, позволяют создавать приложения, которым нужны мгновенные предсказания.

Что такое инференс ИИ?#

Инференс — это процесс анализа новых данных с помощью обученной модели ИИ для получения предсказания или решения задачи. В отличие от обучения, в ходе которого модель обучают, обрабатывая огромные объёмы размеченных данных, инференс направлен на быстрое и точное получение результатов с помощью уже обученной модели.

Рис. 1. Что такое инференс.

Например, в охране дикой природы камеры-ловушки с ИИ используют модели компьютерного зрения, чтобы в реальном времени распознавать животных и определять их классы. Когда камера фиксирует движение, модель ИИ мгновенно распознаёт оленя, хищника или даже браконьера. Это помогает исследователям отслеживать популяции животных и защищать исчезающие виды без участия человека. Благодаря такому быстрому распознаванию становится возможен мониторинг в реальном времени и более оперативное реагирование на потенциальные угрозы.

Как работают движки инференса#

Обученная модель машинного обучения не всегда готова к развёртыванию в исходном виде. Движок инференса — это специализированное программное или аппаратное средство для эффективного выполнения моделей машинного обучения и их оптимизации для реального использования. В нём применяются методы оптимизации, такие как сжатие моделей, квантование и преобразование графов, которые повышают производительность и снижают потребление ресурсов, позволяя развёртывать модель в разных средах.

В первую очередь движок инференса снижает вычислительные затраты и задержку, повышая эффективность для быстрого и точного получения предсказаний. После оптимизации движок выполняет модель на новых данных и эффективно генерирует результаты инференса в реальном времени. Благодаря такой оптимизации модели ИИ могут стабильно работать как на высокопроизводительных облачных серверах, так и на периферийных устройствах с ограниченными ресурсами, например смартфонах, устройствах IoT и встраиваемых системах.

Проблемы, вызванные задержкой инференса#

Задержка инференса — это время между получением системой ИИ входных данных, например изображения с камеры, и выдачей результата, например обнаружением объектов на изображении. Даже небольшая задержка может существенно повлиять на производительность и удобство использования приложений ИИ в реальном времени.

Задержка инференса складывается из трёх ключевых этапов:

• Время предварительной обработки: время, необходимое для подготовки входных данных перед передачей модели. Оно включает изменение размера изображений в соответствии с входными параметрами модели, нормализацию значений пикселей для повышения точности и преобразование форматов (например, RGB в оттенки серого или видео в последовательность кадров).
• Время вычислений: время, которое модель фактически затрачивает на выполнение инференса. Оно включает такие операции, как вычисления на каждом слое глубоких сетей, умножение матриц, свёртки и передачу данных между памятью и вычислительными блоками.
• Время постобработки: время, необходимое для преобразования необработанных выходных данных модели в полезные результаты. Оно может включать отрисовку ограничивающих рамок при обнаружении объектов, фильтрацию ложноположительных результатов при распознавании изображений или применение пороговых значений при обнаружении аномалий. Некоторые детекторы, например Ultralytics YOLO26, не выполняют этап подавления немаксимумов (NMS), сокращая это время.

Задержка инференса критически важна для приложений реального времени. Например, на сборочной линии компьютерное зрение можно использовать для проверки изделий по мере их движения по конвейеру.

Система должна быстро выявлять дефекты и помечать их до того, как изделия перейдут на следующий этап. Если модель слишком долго обрабатывает изображения, брак может остаться незамеченным, что приведёт к потерям материалов, дорогостоящей доработке или попаданию дефектной продукции к покупателям. Снижая задержку, производители могут улучшить контроль качества, повысить эффективность и сократить потери.

Как снизить задержку инференса#

Во многих приложениях компьютерного зрения важно свести задержку инференса к минимуму. Для этого можно использовать разные методы. Рассмотрим самые распространённые способы снижения задержки инференса.

Прореживание модели#

Прореживание модели упрощает нейронную сеть, удаляя ненужные связи (веса), благодаря чему она становится меньше и работает быстрее. Этот процесс снижает вычислительную нагрузку на модель и повышает скорость, почти не влияя на точность.

Оставляя только самые важные связи, прореживание обеспечивает эффективный инференс и повышает производительность, особенно на устройствах с ограниченными вычислительными ресурсами. Этот метод широко применяют в мобильных приложениях ИИ, робототехнике и периферийных вычислениях, чтобы повысить эффективность без ущерба для надёжности.

Рис. 2. Удаление менее эффективных связей с помощью прореживания модели.

Квантование модели#

Квантование модели ускоряет работу моделей ИИ и снижает потребление памяти за счёт упрощения чисел, используемых в вычислениях. Обычно такие модели работают с 32-битными числами с плавающей точкой: они очень точные, но требуют больших вычислительных ресурсов. При квантовании эти числа заменяются 8-битными целыми, которые проще обрабатывать и которые занимают меньше места.

Рис. 3. Использование квантования модели для преобразования чисел с плавающей точкой в целочисленное представление.

Использование эффективных моделей#

Архитектура модели ИИ существенно влияет на скорость получения предсказаний. Такие модели, как Ultralytics YOLO11, созданные для эффективного инференса, идеально подходят для приложений, в которых скорость обработки критически важна.

При создании решения на базе ИИ важно выбрать подходящую модель с учётом доступных ресурсов и требований к производительности. Если начать со слишком тяжёлой модели, скорее всего, возникнут проблемы: медленная обработка, высокое энергопотребление и сложности с развёртыванием на устройствах с ограниченными ресурсами. Лёгкая модель обеспечивает стабильную работу, особенно в приложениях реального времени и на периферийных устройствах.

Скорость или точность: оптимизация инференса в реальном времени#

Хотя существует множество способов снизить задержку, важно при инференсе в реальном времени соблюдать баланс между скоростью и точностью. Недостаточно просто ускорить модель — нужно оптимизировать скорость инференса, не жертвуя точностью. Система, которая быстро выдаёт неправильные предсказания, бесполезна. Поэтому необходимо тщательно тестировать модели, чтобы убедиться, что они хорошо работают в реальных условиях. Если система кажется быстрой во время тестирования, но не справляется в реальных условиях, значит, её оптимизация не удалась.

Приложения Vision AI, использующие инференс в реальном времени#

Далее рассмотрим несколько примеров из реальной жизни, где инференс в реальном времени меняет целые отрасли, обеспечивая мгновенную реакцию на визуальные данные.

Системы самообслуживания на кассах в магазинах#

Модели компьютерного зрения, такие как Ultralytics YOLO11, помогают совершенствовать системы самообслуживания на кассах, ускоряя распознавание товаров и повышая его точность. Поддержка YOLO11 различных задач компьютерного зрения, таких как обнаружение объектов и сегментация экземпляров, позволяет распознавать товары, даже если штрихкоды отсутствуют или повреждены. Vision AI сокращает потребность во вводе данных вручную и ускоряет процесс оплаты.

Помимо распознавания товаров, компьютерное зрение можно интегрировать в системы самообслуживания на кассах для проверки цен, предотвращения мошенничества и повышения удобства покупателей. Камеры с поддержкой ИИ могут автоматически различать похожие товары и выявлять подозрительное поведение на кассе. Система распознаёт, например, «пропуски сканирования», когда покупатель или кассир случайно не сканирует товар, а также более намеренные попытки мошенничества, например «подмену товара», когда штрихкод более дешёвого товара наклеивают на более дорогой.

Рис. 4. ИИ помогает совершенствовать кассы самообслуживания.

Отличный пример — Kroger, крупная розничная сеть в США, которая интегрировала компьютерное зрение и ИИ в свои системы самообслуживания на кассах. Благодаря анализу видео в реальном времени Kroger удалось автоматически исправлять более 75% ошибок при оплате, улучшив как качество обслуживания покупателей, так и работу магазинов.

Контроль качества с помощью компьютерного зрения#

Ручная проверка товаров для контроля качества может быть медленной и не всегда точной. Поэтому всё больше производителей переходят на процессы визуального контроля с применением компьютерного зрения, чтобы выявлять дефекты на ранних этапах производства.

Камеры высокого разрешения и Vision AI выявляют мельчайшие дефекты, которые человек может не заметить, а модели, такие как Ultralytics YOLO11, помогают проводить контроль качества в реальном времени, сортировать и подсчитывать товары, чтобы покупателям попадала только безупречная продукция. Автоматизация этого процесса экономит время, сокращает расходы и уменьшает количество отходов, делая производство более плавным и эффективным.

Рис. 5. Пример подсчёта товаров на сборочной линии с помощью Ultralytics YOLO11.

Главные выводы#

Инференс в реальном времени помогает моделям ИИ мгновенно принимать решения, что крайне важно для многих отраслей. Будь то автомобиль с автопилотом, предотвращающий аварию, врач, быстро анализирующий медицинские снимки, или завод, выявляющий дефекты продукции, быстрые и точные ответы ИИ имеют большое значение.

Повышая скорость и эффективность моделей ИИ, мы можем создавать более интеллектуальные и надёжные системы, которые стабильно работают в реальных условиях. По мере развития технологий решения ИИ, работающие в реальном времени, будут и дальше менять будущее, ускоряя повседневные процессы и делая их безопаснее и эффективнее.

Узнай больше в нашем репозитории GitHub и присоединяйся к нашему сообществу. Изучи инновации в таких областях, как ИИ в беспилотных автомобилях и компьютерное зрение в сельском хозяйстве, на страницах наших решений. Ознакомься с вариантами лицензирования и воплоти свои проекты Vision AI в жизнь.