Использование Ultralytics YOLO11 для запуска пакетного вывода

Если ты видел беспилотный автомобиль в действии, ты наблюдал инференс ИИ в реальном времени. Обычно беспилотный автомобиль использует камеры, сенсоры и ИИ для обработки окружения и принятия почти мгновенных решений. Однако, когда быстрая реакция не требуется, инференс в реальном времени может быть ресурсоемким.

Лучший вариант в таких случаях — пакетный инференс. Вместо непрерывной обработки данных в реальном времени, пакетный инференс позволяет обрабатывать большие наборы данных с заданными интервалами. Этот подход помогает экономить ресурсы, снижать энергопотребление и уменьшать затраты на инфраструктуру.

Например, в приложениях компьютерного зрения такие модели, как Ultralytics YOLO11, могут использоваться для задач реального времени, таких как обнаружение объектов и сегментация экземпляров. Однако обработка больших объемов визуальных данных в реальном времени может быть требовательной.

Рис 1. Пример сегментации объектов на изображении с использованием YOLO11.

Благодаря пакетному инференсу YOLO11 можно запускать на визуальных данных пачками, снижая нагрузку на систему и повышая эффективность без ущерба для производительности. Это упрощает масштабирование решений Vision AI без перегрузки оборудования или увеличения расходов.

В этой статье мы рассмотрим пакетный инференс, его преимущества и то, как пакетный инференс с помощью YOLO11 может применяться в приложениях компьютерного зрения. Давай начнем!

Link to this sectionВзгляд на пакетный инференс в компьютерном зрении#

Ты можешь рассматривать пакетный инференс как решение большой задачи целиком, а не по частям по мере их поступления. Вместо постоянной обработки данных в реальном времени пакетный инференс позволяет обрабатывать большие группы данных с установленными интервалами. Этот подход гораздо эффективнее, когда не требуется мгновенный ответ, помогая экономить вычислительные ресурсы, снижать энергопотребление и сокращать затраты.

Когда дело доходит до компьютерного зрения, есть приложения, где критически важна низкая задержка. Низкая задержка означает минимальную паузу между получением входных данных (например, изображения или кадра видео) и реакцией системы. Например, в мониторинге безопасности в реальном времени даже небольшие задержки могут привести к рискам.

Однако во многих других сценариях компьютерного зрения низкая задержка не так критична. Именно здесь пакетный инференс проявляет себя лучше всего — когда системе не нужно реагировать мгновенно. Пакетный инференс работает путем подачи визуальных данных на модель компьютерного зрения группами или пакетами, позволяя системе обрабатывать большие наборы данных целиком, а не непрерывно в реальном времени.

Link to this sectionПонимание того, как работает пакетный инференс#

Давай подробнее рассмотрим шаги, вовлеченные в пакетный инференс:

• Сбор данных: Визуальные данные собираются в течение определенного периода времени. Это могут быть записи камер безопасности, изображения товаров или данные клиентов, в зависимости от приложения.

• Подготовка пакетов: Собранные данные затем группируются в пакеты. На этом этапе данные форматируются в соответствии с требованиями модели. Например, изображения могут быть изменены в размере, нормализованы или преобразованы в подходящий формат для обработки моделью.

• Предсказание: После подготовки данных весь пакет подается в модель (например, YOLO11), которая обрабатывает весь пакет сразу. Это позволяет модели делать предсказания для всех данных в пакете одновременно, делая процесс более эффективным по сравнению с обработкой каждой точки данных индивидуально.

Link to this sectionКогда использовать пакетный инференс?#

Теперь, когда мы разобрались, что такое пакетный инференс и чем он отличается от инференса в реальном времени, давай внимательнее посмотрим, когда его лучше использовать.

Пакетный инференс идеально подходит для анализа исторических данных. Допустим, у тебя есть записи с камер наблюдения со станции метро за прошлый месяц, и ты пытаешься определить специфические паттерны, например, количество людей, входящих и выходящих в разное время дня.

Вместо обработки каждого кадра в реальном времени, пакетный инференс позволяет обрабатывать весь объем записей за месяц пачками, выявляя ключевые события или тренды без необходимости в мгновенных результатах. Таким образом, ты можешь анализировать большие объемы данных более эффективно и получать инсайты о долгосрочных паттернах, не перегружая систему и не требуя постоянного мониторинга.

Пакетный инференс также является оптимальным решением при ограниченных системных ресурсах. Запуская инференс в непиковые часы (например, ночью), ты можешь сэкономить на вычислительных расходах и гарантировать, что система не будет перегружена во время пиковой нагрузки. Это эффективный и экономичный подход для бизнесов или проектов, которым нужно обрабатывать большие наборы данных, но не требуется анализ в реальном времени.

Link to this sectionПакетный инференс с использованием Ultralytics YOLO11#

Python-пакет Ultralytics поддерживает пакетный инференс для таких моделей, как YOLO11. С YOLO11 ты можешь легко запустить пакетный инференс, указав аргумент 'batch', который определяет, сколько изображений или кадров видео обрабатывается одновременно.

Во время процесса пакетного инференса предсказания генерируются для всех изображений в пакете одновременно. По умолчанию размер пакета установлен на 1, но ты можешь настроить его на любое число, которое предпочтешь.

Например, если размер пакета установлен на 5, YOLO11 обработает пять изображений или видеокадров за раз и сгенерирует предсказания для всех пяти одновременно. Большие размеры пакетов обычно приводят к более быстрому времени инференса, так как обработка нескольких изображений в пакете эффективнее, чем их индивидуальная обработка.

Link to this sectionПриложения компьютерного зрения, доступные благодаря пакетному инференсу#

Далее давай изучим некоторые реальные примеры использования пакетного инференса в компьютерном зрении.

Link to this sectionУлучшение диагностики и исследований в здравоохранении#

В медицинских исследованиях работа с большими объемами визуальных данных — обычное дело. Здесь пакетный инференс может помочь ученым легче анализировать данные в таких областях, как химия, биология и генетика. Вместо анализа по одному, данные обрабатываются пакетами, что экономит время и усилия.

Например, в медицинских учреждениях пакетный инференс может быть особенно полезен для анализа больших наборов медицинских изображений, таких как МРТ или КТ-сканы. Больницы могут собирать эти сканы в течение дня и обрабатывать их пакетами в ночное время.

Такой подход позволяет больницам эффективнее использовать оборудование и персонал, сокращать операционные расходы и гарантировать, что все сканы проверяются последовательно и единообразно. Это также полезно для крупных исследовательских проектов и долгосрочных исследований, где необходимо обрабатывать огромные объемы данных.

Рис 2. Обнаружение на медицинском скане с помощью YOLO11.

Link to this sectionУлучшение автономных транспортных средств с помощью симуляций#

Беспилотные автомобили используют технологии ИИ, такие как компьютерное зрение, чтобы обрабатывать мир вокруг них. С помощью продвинутых моделей, таких как YOLO11, встроенные системы автомобиля могут распознавать другие транспортные средства, линии разметки, дорожные знаки и людей на улице. Хотя инференс в реальном времени критически важен на дороге, технологии беспилотного вождения также сильно зависят от пакетного инференса в фоновом режиме.

Рис 3. YOLO11 может легко обнаруживать пешеходов на дороге.

После того как автомобиль завершает поездку, собранные им данные, такие как часы видеозаписей с камер, показания сенсоров и LIDAR-сканы, могут быть обработаны позже большими пакетами. Это позволяет инженерам обновлять ИИ-модели автомобиля, повышать безопасность системы и улучшать способность автомобиля справляться с различными условиями вождения.

Пакетный инференс также используется в симуляциях автономного вождения для тестирования того, как беспилотные автомобили реагировали бы в различных ситуациях, таких как проезд оживленных перекрестков или реакция на непредсказуемые движения пешеходов. Этот подход экономит время, снижает затраты и позволяет избежать рисков, связанных с тестированием каждого сценария в реальной жизни.

Link to this sectionАнализ розничных данных с помощью пакетного инференса#

Аналогично, для розничных магазинов пакетный инференс с моделями компьютерного зрения, такими как YOLO11, может значительно повысить операционную эффективность. Например, системы камер в магазинах могут захватывать тысячи изображений в течение дня, которые затем могут быть обработаны пакетами ночью.

Это позволяет магазинам анализировать происходящее в торговом зале, например, поведение покупателей, трафик и взаимодействие с продуктами, без необходимости в обработке в реальном времени, что может быть затруднительно для небольших магазинов.

Другой интересный пример — использование пакетного инференса для создания тепловых карт, которые визуализируют области высокой и низкой активности покупателей в магазине. Анализируя эти тепловые карты, ритейлеры могут определить, какие зоны привлекают больше всего покупателей, а каким частям магазина может потребоваться больше внимания или оптимизация размещения товаров. Эти данные помогут ритейлерам принимать лучшие решения по планировке магазина, расстановке продукции и даже промо-акциям для улучшения покупательского опыта и продаж.

Рис 4. Тепловые карты помогают ритейлерам определять популярные зоны в магазинах.

Link to this sectionПлюсы и минусы пакетного инференса#

Вот некоторые из ключевых преимуществ, которые пакетный инференс может принести различным индустриям:

• Простота интеграции: Пакетный инференс легко интегрируется в существующие рабочие процессы, особенно для таких отраслей, как ритейл, безопасность или здравоохранение, где требуется обрабатывать большие объемы данных массивами.
• Упрощенное управление данными: При работе с большими объемами данных пакетный инференс может упростить управление, так как данные группируются в управляемые блоки. Это облегчает отслеживание, проверку и организацию данных с течением времени.
• Сниженная сетевая нагрузка: Когда данные обрабатываются пакетами, объем данных, передаваемых в любой конкретный момент, может быть минимизирован, снижая нагрузку на сетевые ресурсы в облачных системах или средах распределенных вычислений.

Хотя у использования пакетного инференса много преимуществ, есть и некоторые ограничения, которые стоит учитывать. Вот несколько факторов, о которых стоит помнить:

• Требования к хранению: Хранение больших наборов данных для пакетной обработки может значительно увеличить расходы на хранение, особенно с изображениями высокого разрешения, видео или большими объемами данных.
• Потенциал накопления очереди (бэклога): Если данные накапливаются быстро или большие пакеты не обрабатываются вовремя, может возникнуть очередь. Это может привести к задержкам в получении инсайтов и своевременной обработке новых данных.
• Скачки ресурсов: Большие пакеты, особенно включающие изображения высокого разрешения, могут вызывать скачки потребления памяти или вычислительных ресурсов. Если ими не управлять должным образом, эти скачки могут перегрузить системы, приводя к замедлениям или сбоям.

Link to this sectionОсновные выводы#

Пакетный инференс — это эффективный способ обработки больших объемов визуальных данных, которые не требуют немедленных результатов. Вместо анализа каждого изображения в реальном времени, он обрабатывает их пакетами в запланированное время, например, ночью.

Этот метод экономически выгоден, снижает вычислительную нагрузку и по-прежнему предоставляет точные результаты. От помощи магазинам в управлении запасами до помощи врачам в анализе медицинских сканов и улучшения технологий беспилотных автомобилей, пакетный инференс делает компьютерное зрение более доступным, недорогим и практичным для реальных задач.

Готов погрузиться в ИИ? Изучи наш репозиторий GitHub, присоединяйся к нашему сообществу и ознакомься с нашими вариантами лицензирования, чтобы начать свое путешествие в компьютерное зрение. Узнай больше о таких инновациях, как ИИ в производстве и компьютерное зрение в логистике на наших страницах решений.