Выводы в реальном времени в решениях на основе vision AI меняют подход к задачам

В какой-то момент каждый из нас сталкивался с раздражением, которое может вызвать медленное интернет-соединение. Но представь такую задержку в ситуации с высокими ставками — например, когда беспилотный автомобиль реагирует на препятствие или врач анализирует критически важный снимок. Несколько лишних секунд могут привести к серьёзным последствиям.

Именно здесь ИИ-инференс в реальном времени может изменить ситуацию. Быстрая обработка и прогнозы в реальном времени позволяют решениям в области компьютерного зрения мгновенно обрабатывать визуальные данные и реагировать на них. Такие решения, принимаемые за доли секунды, могут повысить безопасность, эффективность и повседневное удобство.

Например, представь хирурга, выполняющего сложную процедуру с помощью роботизированного ассистента. Каждое движение контролируется через высокоскоростное соединение, а система компьютерного зрения робота обрабатывает операционное поле в реальном времени, обеспечивая хирургу мгновенную визуальную обратную связь. Даже малейшая задержка в этом цикле обратной связи может привести к серьёзным ошибкам и подвергнуть пациента риску. Это отличный пример того, почему инференс в реальном времени так важен: задержкам здесь нет места.

Инференс ИИ в реальных приложениях зависит от трёх ключевых понятий: движки инференса (программное или аппаратное обеспечение, эффективно запускающее модели ИИ), задержка инференса (время между входными и выходными данными) и инференс в реальном времени (способность системы ИИ обрабатывать данные и реагировать с минимальной задержкой).

В этой статье мы рассмотрим эти основные понятия и то, как модели компьютерного зрения, такие как Ultralytics YOLO11, позволяют создавать приложения, которым необходимы мгновенные прогнозы.

Что такое инференс ИИ?#

Инференс — это процесс анализа новых данных с помощью обученной модели ИИ для получения прогноза или решения задачи. В отличие от обучения, которое предполагает обучение модели на огромных объёмах размеченных данных, инференс сосредоточен на быстром и точном получении результатов с помощью уже обученной модели.

Рис. 1. Что такое инференс.

Например, в охране дикой природы камеры с ИИ используют модели компьютерного зрения, чтобы в реальном времени распознавать и классифицировать животных. Когда камера обнаруживает движение, модель ИИ мгновенно определяет, олень ли это, хищник или даже браконьер. Это помогает исследователям отслеживать численность животных и защищать исчезающие виды без вмешательства человека. Такое быстрое распознавание делает возможными мониторинг в реальном времени и более оперативное реагирование на потенциальные угрозы.

Разбираемся в движках инференса#

Обученная модель машинного обучения не всегда готова к развёртыванию в исходном виде. Движок инференса — это специализированный программный или аппаратный инструмент, предназначенный для эффективного выполнения моделей машинного обучения и их оптимизации для развёртывания в реальных условиях. Он использует такие методы оптимизации, как сжатие модели, квантование и преобразование графа, чтобы повысить производительность и снизить потребление ресурсов, делая модель пригодной для развёртывания в различных средах.

В основе работы движка инференса лежат снижение вычислительных затрат, минимизация задержки и повышение эффективности для быстрого и точного получения прогнозов. После оптимизации движок выполняет модель на новых данных, позволяя эффективно генерировать результаты в реальном времени. Такая оптимизация обеспечивает стабильную работу моделей ИИ как на высокопроизводительных облачных серверах, так и на периферийных устройствах с ограниченными ресурсами, таких как смартфоны, устройства IoT и встраиваемые системы.

Проблемы, вызванные задержкой инференса#

Задержка инференса — это время между получением системой ИИ входных данных (например, изображения с камеры) и формированием выходных данных (например, обнаружением объектов на изображении). Даже небольшая задержка может существенно повлиять на производительность и удобство использования приложений ИИ, работающих в реальном времени.

Задержка инференса возникает на трёх ключевых этапах:

• Время предварительной обработки: время, необходимое для подготовки входных данных перед их передачей в модель. Сюда входят изменение размера изображений в соответствии с входными размерами модели, нормализация значений пикселей для повышения точности и преобразование форматов (например, из RGB в оттенки серого или из видео в последовательность кадров).
• Время вычислений: фактическое время, необходимое модели для выполнения инференса. Оно включает такие операции, как послойные вычисления в глубоких сетях, умножение матриц, свёртки и передачу данных между памятью и вычислительными блоками.
• Время постобработки: время, необходимое для преобразования необработанных выходных данных модели в осмысленные результаты. Оно может включать отрисовку ограничивающих рамок при обнаружении объектов, фильтрацию ложных срабатываний при распознавании изображений или применение пороговых значений при обнаружении аномалий.

Задержка инференса критически важна для приложений, работающих в реальном времени. Например, при автоматизированном обнаружении дефектов на сборочной линии компьютерное зрение можно использовать для проверки изделий по мере их движения по конвейеру.

Система должна быстро обнаруживать и отмечать дефекты до того, как изделия перейдут на следующий этап. Если модели требуется слишком много времени на обработку изображений, дефектные изделия могут быть обнаружены несвоевременно, что приведёт к потере материалов, дорогостоящей доработке или попаданию неисправной продукции к клиентам. Снижая задержку, производители могут улучшить контроль качества, повысить эффективность и сократить потери.

Как уменьшить задержку инференса#

Минимальная задержка инференса необходима во многих приложениях компьютерного зрения. Для этого можно использовать различные методы. Рассмотрим некоторые из наиболее распространённых методов уменьшения задержки инференса.

Прореживание модели#

Прореживание модели упрощает нейронную сеть, удаляя ненужные связи (веса), благодаря чему она становится меньше и работает быстрее. Этот процесс снижает вычислительную нагрузку модели и повышает скорость без существенного влияния на точность.

Сохраняя только наиболее важные связи, прореживание обеспечивает эффективный инференс и более высокую производительность, особенно на устройствах с ограниченными вычислительными ресурсами. Этот метод широко применяется в приложениях реального времени, таких как мобильный ИИ, робототехника и периферийные вычисления, чтобы повысить эффективность и сохранить надёжность.

Рис. 2. Удаление менее эффективных связей с помощью прореживания модели.

Квантование модели#

Квантование модели — это метод, который ускоряет работу моделей ИИ и уменьшает объём используемой памяти за счёт упрощения чисел, применяемых ими в вычислениях. Обычно такие модели работают с 32-битными числами с плавающей запятой: они очень точны, но требуют значительных вычислительных ресурсов. Квантование преобразует эти числа в 8-битные целые числа, которые проще обрабатывать и которые занимают меньше места.

Рис. 3. Использование квантования модели для преобразования значений с плавающей запятой в целочисленное представление.

Использование эффективных моделей#

Архитектура модели ИИ существенно влияет на скорость получения прогнозов. Модели вроде Ultralytics YOLO11, созданные для эффективного инференса, идеально подходят для приложений, где критически важна скорость обработки.

При создании решения на базе ИИ важно выбрать подходящую модель с учётом доступных ресурсов и требований к производительности. Если начать со слишком тяжёлой модели, с большей вероятностью возникнут проблемы: длительная обработка, повышенное энергопотребление и сложности с развёртыванием на устройствах с ограниченными ресурсами. Лёгкая модель обеспечивает стабильную работу, особенно в приложениях реального времени и периферийных приложениях.

Скорость и точность: оптимизация инференса в реальном времени#

Хотя существует множество методов уменьшения задержки, ключевая часть инференса в реальном времени — баланс между скоростью и точностью. Недостаточно просто ускорить модели: скорость инференса нужно оптимизировать без ущерба для точности. Система, которая быстро выдаёт неправильные прогнозы, неэффективна. Поэтому тщательное тестирование крайне важно, чтобы убедиться, что модели хорошо работают в реальных условиях. Система, которая кажется быстрой во время тестирования, но отказывает в реальных условиях, не может считаться по-настоящему оптимизированной.

Приложения Vision AI, использующие инференс в реальном времени#

Далее рассмотрим несколько реальных приложений, в которых инференс в реальном времени преобразует целые отрасли, обеспечивая мгновенную реакцию на визуальные данные.

Системы самообслуживания в розничных магазинах#

Модели компьютерного зрения, такие как Ultralytics YOLO11, помогают улучшить системы самообслуживания, делая распознавание товаров более быстрым и точным. Поддержка YOLO11 различных задач компьютерного зрения, таких как обнаружение объектов и сегментация экземпляров, позволяет идентифицировать товары, даже если штрихкоды отсутствуют или повреждены. Vision AI может уменьшить необходимость ручного ввода и ускорить процесс оплаты.

Помимо идентификации товаров, компьютерное зрение можно интегрировать в системы самообслуживания для проверки цен, предотвращения мошенничества и повышения удобства покупателей. Камеры на базе ИИ могут автоматически различать похожие товары и обнаруживать подозрительное поведение при оплате. Сюда входит выявление «неотсканированных товаров», когда покупатель или кассир случайно пропускает товар, а также более преднамеренных попыток мошенничества, например «подмены товара», когда более дешёвый штрихкод наклеивают на более дорогой товар.

Рис. 4. ИИ может улучшить работу касс самообслуживания.

Отличный пример — Kroger, крупная розничная сеть США, интегрировавшая компьютерное зрение и ИИ в свои системы самообслуживания. Используя анализ видео в реальном времени, Kroger смогла автоматически исправлять более 75% ошибок при оплате, улучшив как впечатления покупателей, так и работу магазинов.

Контроль качества с помощью компьютерного зрения#

Ручная проверка продукции для контроля качества может быть медленной и не всегда точной. Поэтому всё больше производителей переходят на процессы визуального контроля, использующие компьютерное зрение для раннего обнаружения дефектов на производстве.

Камеры высокого разрешения и Vision AI могут обнаруживать мельчайшие дефекты, которые человек способен не заметить, а такие модели, как Ultralytics YOLO11, помогают выполнять проверки качества, сортировку и подсчёт в реальном времени, чтобы до клиентов доходили только безупречные товары. Автоматизация этого процесса экономит время, снижает затраты и уменьшает количество отходов, делая производство более плавным и эффективным.

Рис. 5. Пример использования Ultralytics YOLO11 для подсчёта товаров на сборочной линии.

Основные выводы#

Инференс в реальном времени помогает моделям ИИ мгновенно принимать решения, что крайне важно во многих отраслях. Будь то беспилотный автомобиль, избегающий аварии, врач, быстро анализирующий медицинские снимки, или фабрика, обнаруживающая дефекты продукции, быстрые и точные ответы ИИ имеют большое значение.

Повышая скорость и эффективность моделей ИИ, мы можем создавать более интеллектуальные и надёжные системы, которые без проблем работают в реальных условиях. По мере развития технологий решения ИИ реального времени продолжат формировать будущее, делая повседневные процессы быстрее, безопаснее и эффективнее.

Чтобы узнать больше, посети наш репозиторий GitHub и присоединись к нашему сообществу. Изучи инновации в таких областях, как ИИ в беспилотных автомобилях и компьютерное зрение в сельском хозяйстве, на страницах наших решений. Ознакомься с вариантами лицензирования и воплоти свои проекты Vision AI в жизнь.