Использование Ultralytics YOLO11 для пакетного инференса

Если ты видел беспилотный автомобиль в действии, значит, ты наблюдал инференс ИИ в реальном времени. Беспилотный автомобиль обычно использует камеры, датчики и ИИ, чтобы обрабатывать окружающую обстановку и принимать решения практически мгновенно. Однако, когда быстрые ответы не требуются, инференс в реальном времени может потреблять значительные ресурсы.

В таких случаях лучшим вариантом будет пакетный инференс. Вместо непрерывной обработки данных в реальном времени пакетный инференс может обрабатывать большие наборы данных через заданные интервалы. Такой подход помогает экономить ресурсы, снижать энергопотребление и сокращать расходы на инфраструктуру.

Например, в приложениях для компьютерного зрения такие модели, как Ultralytics YOLO11, можно использовать для задач реального времени, таких как обнаружение объектов и сегментация экземпляров. Однако обработка больших объемов визуальных данных в реальном времени может быть ресурсоемкой.

Рис. 1. Пример сегментации объектов на изображении с помощью Ultralytics YOLO11.

С помощью пакетного инференса Ultralytics YOLO11 можно запускать на визуальных данных пакетами, снижая нагрузку на систему и повышая эффективность без ущерба для производительности. Это упрощает масштабное развертывание решений на базе ИИ для компьютерного зрения, не перегружая оборудование и не увеличивая расходы.

В этой статье мы рассмотрим пакетный инференс, его преимущества и применение пакетного инференса с использованием Ultralytics YOLO11 в приложениях для компьютерного зрения. Давай начнем!

Пакетный инференс в компьютерном зрении#

Пакетный инференс можно представить как выполнение большой задачи целиком, а не обработку ее по частям по мере поступления данных. Вместо постоянной обработки данных в реальном времени пакетный инференс позволяет обрабатывать большие группы данных через заданные интервалы. Такой подход гораздо эффективнее, когда немедленная реакция не требуется: он помогает экономить вычислительные ресурсы, снижать энергопотребление и сокращать расходы.

В компьютерном зрении есть приложения, где низкая задержка имеет критическое значение. Низкая задержка — это минимальная пауза между получением входных данных, например изображения или видеокадра, и ответом системы. Например, при мониторинге безопасности в реальном времени даже небольшие задержки могут привести к рискам для безопасности.

Однако во многих других сценариях компьютерного зрения низкая задержка не столь важна. Именно здесь пакетный инференс раскрывает свои преимущества — когда системе не нужно реагировать мгновенно. Пакетный инференс работает путем передачи визуальных данных в модель компьютерного зрения группами или пакетами, что позволяет системе обрабатывать большие наборы данных одновременно, а не непрерывно в реальном времени.

Как работает пакетный инференс#

Рассмотрим подробнее этапы пакетного инференса:

• Сбор данных: визуальные данные собираются в течение определенного периода времени. В зависимости от приложения это могут быть записи с камер наблюдения, изображения товаров или данные о клиентах.

• Подготовка пакетов: собранные данные объединяются в пакеты. На этом этапе данные форматируются в соответствии с требованиями модели. Например, изображения могут изменять размер, нормализоваться или преобразовываться в подходящий для обработки моделью формат.

• Прогнозирование**: после подготовки данных весь пакет передается в модель, например Ultralytics YOLO11, которая обрабатывает его целиком. Благодаря этому модель может одновременно строить прогнозы для всех данных в пакете, что делает процесс эффективнее по сравнению с обработкой каждой точки данных отдельно.

Когда использовать пакетный инференс?#

Теперь, когда мы разобрали, что такое пакетный инференс и чем он отличается от инференса в реальном времени, давай подробнее рассмотрим, когда его использовать.

Пакетный инференс идеально подходит для анализа исторических данных. Допустим, у тебя есть записи с камер наблюдения на станции метро за прошедший месяц, и ты хочешь выявить определенные закономерности, например количество людей, входящих на станцию и выходящих с нее в разное время суток.

Вместо обработки каждого кадра в реальном времени пакетный инференс позволяет обрабатывать записи за целый месяц пакетами, выявляя ключевые события или тенденции без необходимости получать результаты немедленно. Так ты сможешь эффективнее анализировать большие объемы данных и получать сведения о долгосрочных закономерностях, не перегружая систему и не требуя постоянного мониторинга.

Пакетный инференс также является оптимальным решением при ограниченных системных ресурсах. Запуская инференс в непиковые часы, например ночью, ты можешь сократить вычислительные расходы и не допустить перегрузки системы в периоды максимальной нагрузки. Это делает такой подход эффективным и экономичным для компаний или проектов, которым нужно обрабатывать большие наборы данных, но не требуется анализ в реальном времени.

Пакетный инференс с использованием Ultralytics YOLO11#

Пакет Ultralytics для Python поддерживает пакетный инференс для таких моделей, как YOLO11. С YOLO11 можно легко запускать пакетный инференс, указав аргумент ‘batch’, который определяет, сколько изображений или видеокадров обрабатывается одновременно.

В процессе пакетного инференса прогнозы одновременно строятся для всех изображений в пакете. По умолчанию размер пакета равен 1, но ты можешь установить любое нужное значение.

Например, если размер пакета установлен равным 5, Ultralytics YOLO11 будет обрабатывать по пять изображений или видеокадров за раз и одновременно строить прогнозы для всех пяти. Как правило, больший размер пакета ускоряет инференс, поскольку обработка нескольких изображений в одном пакете эффективнее их обработки по отдельности.

Приложения для компьютерного зрения на основе пакетного инференса#

Теперь рассмотрим несколько реальных вариантов применения пакетного инференса в компьютерном зрении.

Улучшение диагностики и исследований в здравоохранении#

В медицинских исследованиях часто приходится работать с большими объемами визуальных данных. В таких случаях пакетный инференс помогает ученым проще анализировать данные в таких областях, как химия, биология и генетика. Вместо анализа по одному объекту данные обрабатываются пакетами, что экономит время и силы.

Например, в медицинских учреждениях пакетный инференс особенно полезен для анализа больших наборов медицинских изображений, таких как снимки МРТ или КТ. Больницы могут собирать эти снимки в течение дня и обрабатывать их пакетами ночью.

Такой подход позволяет больницам эффективнее использовать оборудование и персонал, снижать операционные расходы и обеспечивать последовательную и единообразную проверку всех снимков. Он также полезен для крупных исследовательских проектов и долгосрочных исследований, где необходимо обрабатывать огромные объемы данных.

Рис. 2. Обнаружение патологической находки на медицинском снимке с помощью Ultralytics YOLO11.

Улучшение автономных транспортных средств с помощью симуляций#

Беспилотные автомобили используют такие технологии ИИ, как компьютерное зрение, для обработки окружающей обстановки. С помощью современных моделей, таких как Ultralytics YOLO11, бортовые системы автомобиля могут распознавать другие транспортные средства, линии разметки, дорожные знаки и людей на улице. Хотя инференс в реальном времени критически важен на дороге, технологии беспилотного вождения также активно используют пакетный инференс в фоновых процессах.

Рис. 3. YOLO11 легко обнаруживает пешеходов на дороге.

После завершения поездки автомобилем собранные им данные, такие как многочасовые записи с камер, показания датчиков и сканы LIDAR, можно обработать позже большими пакетами. Это позволяет инженерам обновлять модели ИИ автомобиля, повышать безопасность системы и улучшать ее способность работать в различных дорожных условиях.

Пакетный инференс также используется в симуляциях автономного вождения, чтобы проверять реакцию беспилотных автомобилей в различных ситуациях, например при проезде загруженных перекрестков или неожиданном перемещении пешеходов. Такой подход экономит время, снижает расходы и устраняет риски, связанные с проверкой каждого сценария в реальных условиях.

Анализ розничных данных с помощью пакетного инференса#

Аналогичным образом, в розничных магазинах пакетный инференс с моделями компьютерного зрения, такими как Ultralytics YOLO11, может значительно повысить операционную эффективность. Например, системы камер в магазинах могут в течение дня снимать тысячи изображений, которые затем обрабатываются пакетами ночью.

Это позволяет магазинам анализировать происходящее в торговом зале, включая поведение покупателей, особенности потока посетителей и взаимодействие с товарами, без обработки в реальном времени, которая может быть сложной для небольших магазинов.

Еще один интересный пример — использование пакетного инференса для создания тепловых карт, визуализирующих зоны высокой и низкой активности покупателей внутри магазина. Анализируя эти тепловые карты, ритейлеры могут определить, какие зоны привлекают больше всего посетителей, а каким участкам магазина требуется больше внимания или оптимизация размещения товаров. Эти данные помогают принимать более обоснованные решения о планировке магазина, расположении товаров и даже рекламных стратегиях, чтобы улучшить качество обслуживания покупателей и увеличить продажи.

Рис. 4. Тепловые карты помогают ритейлерам выявлять популярные зоны в магазинах.

Плюсы и минусы пакетного инференса#

Вот несколько ключевых преимуществ, которые пакетный инференс может дать различным отраслям:

• Простота интеграции: пакетный инференс легко интегрировать в существующие рабочие процессы, особенно в таких отраслях, как розничная торговля, безопасность или здравоохранение, где большие объемы данных необходимо обрабатывать пакетно.
• Упрощение управления данными: при работе с большими объемами данных пакетный инференс упрощает управление ими, поскольку данные объединяются в удобные для обработки части. Это облегчает отслеживание, проверку и организацию данных с течением времени.
• Снижение нагрузки на сеть: при пакетной обработке данных можно минимизировать объем данных, передаваемых в каждый момент времени, что снижает нагрузку на сетевые ресурсы в облачных системах или распределенных вычислительных средах.

Несмотря на многочисленные преимущества пакетного инференса, у него есть и ограничения, которые необходимо учитывать. Вот несколько факторов, о которых стоит помнить:

• Требования к хранилищу: хранение больших наборов данных для пакетной обработки может значительно увеличить расходы на хранение, особенно при работе с изображениями высокого разрешения, видео или большими объемами данных.
• Риск накопления необработанных данных: если данные быстро накапливаются или большие пакеты не обрабатываются вовремя, может образоваться очередь. Это приводит к задержкам в получении аналитических выводов и своевременной обработке новых данных.
• Резкие скачки потребления ресурсов: большие пакеты, особенно содержащие изображения высокого разрешения, могут вызывать скачки использования памяти или вычислительных ресурсов. При ненадлежащем управлении такие скачки способны перегрузить системы, привести к замедлению работы или сбоям.

Основные выводы#

Пакетный инференс — эффективный способ обработки больших объемов визуальных данных, для которых не требуются немедленные результаты. Вместо анализа каждого изображения в реальном времени он обрабатывает их пакетами в заданное время, например ночью.

Этот метод экономичен, снижает вычислительную нагрузку и при этом обеспечивает точные результаты. От помощи магазинам в управлении запасами до поддержки врачей при анализе медицинских снимков и совершенствования технологий беспилотных автомобилей — пакетный инференс делает компьютерное зрение более доступным, экономичным и практичным для реальных приложений.

Готов погрузиться в мир ИИ? Изучи наш репозиторий на GitHub, присоединяйся к нашему сообществу и ознакомься с вариантами лицензирования, чтобы начать свой путь в компьютерном зрении. Узнай больше о таких инновациях, как ИИ в производстве и компьютерное зрение в логистике, на наших страницах решений.