Использование Ultralytics YOLO11 для запуска пакетного вывода

Если ты видел беспилотный автомобиль в действии, ты стал свидетелем инференса ИИ в реальном времени. Беспилотный автомобиль обычно использует камеры, датчики и ИИ для обработки окружающей обстановки и принятия практически мгновенных решений. Однако, когда быстрые ответы не нужны, инференс в реальном времени может быть ресурсоемким.

Лучший вариант в таких случаях — пакетный инференс. Вместо непрерывной обработки данных в реальном времени, пакетный инференс позволяет обрабатывать большие наборы данных с заданными интервалами. Этот подход помогает экономить ресурсы, снижать энергопотребление и уменьшать затраты на инфраструктуру.

Например, в приложениях компьютерного зрения такие модели, как Ultralytics YOLO11, могут использоваться для задач реального времени, таких как обнаружение объектов и сегментация экземпляров. Однако обработка больших объемов визуальных данных в реальном времени может быть сложной задачей.

Рис 1. Пример сегментации объектов на изображении с помощью Ultralytics YOLO11.

Благодаря пакетному выводу Ultralytics YOLO11 может обрабатывать визуальные данные батчами, снижая нагрузку на систему и повышая эффективность без ущерба для производительности. Это упрощает масштабируемое развертывание решений компьютерного зрения без перегрузки оборудования и роста затрат.

В этой статье мы рассмотрим пакетный вывод (batch inferencing), его преимущества и то, как пакетный вывод с использованием Ultralytics YOLO11 может применяться в приложениях компьютерного зрения. Давай начнем!

Взгляд на пакетный инференс в компьютерном зрении#

Ты можешь рассматривать пакетный инференс как решение большой задачи целиком, а не по частям по мере их поступления. Вместо постоянной обработки данных в реальном времени пакетный инференс позволяет обрабатывать большие группы данных с установленными интервалами. Этот подход гораздо эффективнее, когда не требуется мгновенный ответ, помогая экономить вычислительные ресурсы, снижать энергопотребление и сокращать затраты.

Когда дело доходит до компьютерного зрения, есть приложения, где критически важна низкая задержка. Низкая задержка означает минимальную паузу между получением входных данных (например, изображения или кадра видео) и реакцией системы. Например, в мониторинге безопасности в реальном времени даже небольшие задержки могут привести к рискам.

Однако во многих других сценариях компьютерного зрения низкая задержка не так критична. Здесь пакетный инференс проявляет себя во всей красе — когда системе не нужно реагировать мгновенно. Пакетный инференс работает путем подачи визуальных данных в модель компьютерного зрения группами или пакетами (batch), что позволяет системе обрабатывать большие наборы данных за раз, а не непрерывно в реальном времени.

Понимание того, как работает пакетный инференс#

Давай подробнее рассмотрим шаги, вовлеченные в пакетный инференс:

• Сбор данных: Визуальные данные собираются в течение определенного периода времени. Это могут быть записи камер безопасности, изображения товаров или данные клиентов, в зависимости от приложения.

• Подготовка пакетов: Собранные данные затем группируются в пакеты. На этом этапе данные форматируются в соответствии с требованиями модели. Например, изображения могут быть изменены в размере, нормализованы или преобразованы в подходящий формат для обработки моделью.

• Предсказание: Как только данные подготовлены, весь батч передается в модель (например, Ultralytics YOLO11), которая обрабатывает весь батч целиком за один раз. Это позволяет модели делать предсказания для всех данных в батче одновременно, делая процесс более эффективным по сравнению с обработкой каждой точки данных по отдельности.

Когда использовать пакетный инференс?#

Теперь, когда мы разобрались, что такое пакетный инференс и чем он отличается от инференса в реальном времени, давай внимательнее посмотрим, когда его лучше использовать.

Пакетный инференс идеально подходит для анализа исторических данных. Допустим, у тебя есть видеозаписи с камер наблюдения на станции метро за последний месяц, и ты пытаешься выявить определенные закономерности, например количество людей, входящих и выходящих в разное время суток.

Вместо обработки каждого кадра в реальном времени, пакетный инференс позволяет обрабатывать весь объем записей за месяц пачками, выявляя ключевые события или тренды без необходимости в мгновенных результатах. Таким образом, ты можешь анализировать большие объемы данных более эффективно и получать инсайты о долгосрочных паттернах, не перегружая систему и не требуя постоянного мониторинга.

Пакетный инференс также является оптимальным решением при ограниченных системных ресурсах. Запуская инференс в непиковые часы (например, ночью), ты можешь сэкономить на вычислительных расходах и гарантировать, что система не будет перегружена во время пиковой нагрузки. Это эффективный и экономичный подход для бизнесов или проектов, которым нужно обрабатывать большие наборы данных, но не требуется анализ в реальном времени.

Пакетный инференс с использованием Ultralytics YOLO11#

Пакет Ultralytics Python package поддерживает пакетный инференс для таких моделей, как YOLO11. С помощью YOLO11 ты можешь легко запустить пакетный инференс, указав аргумент ‘batch’, который определяет, сколько изображений или видеокадров обрабатывается за один раз.

В процессе пакетного инференса предсказания генерируются для всех изображений в пакете одновременно. По умолчанию размер пакета (batch size) установлен равным 1, но ты можешь настроить его на любое желаемое число.

Например, если размер батча установлен равным 5, Ultralytics YOLO11 будет обрабатывать пять изображений или видеокадров за раз и генерировать предсказания для всех пяти сразу. Большие размеры батча обычно приводят к более быстрой работе инференса, так как обработка нескольких изображений в батче эффективнее, чем обработка каждого по отдельности.

Приложения компьютерного зрения, доступные благодаря пакетному инференсу#

Далее давай изучим некоторые реальные примеры использования пакетного инференса в компьютерном зрении.

Улучшение диагностики и исследований в здравоохранении#

В медицинских исследованиях работа с большими объемами визуальных данных очень распространена. Здесь пакетный инференс может помочь ученым легче анализировать данные в таких областях, как химия, биология и генетика. Вместо анализа по одному данные обрабатываются пакетами, что экономит время и усилия.

Например, в медицинских учреждениях пакетный инференс может быть особенно полезен для анализа больших наборов медицинских изображений, таких как МРТ или КТ-сканы. Больницы могут собирать эти сканы в течение дня и обрабатывать их пакетами в ночное время.

Такой подход позволяет больницам эффективнее использовать оборудование и персонал, сокращать операционные расходы и гарантировать, что все сканы проверяются последовательно и единообразно. Это также полезно для крупных исследовательских проектов и долгосрочных исследований, где необходимо обрабатывать огромные объемы данных.

Рис 2. Обнаружение на медицинском скане с помощью Ultralytics YOLO11.

Улучшение автономных транспортных средств с помощью симуляций#

Беспилотные автомобили используют технологии искусственного интеллекта, такие как компьютерное зрение, чтобы обрабатывать окружающий мир. С помощью передовых моделей, таких как Ultralytics YOLO11, бортовые системы автомобиля могут распознавать другие транспортные средства, линии разметки, дорожные знаки и людей на улице. Хотя инференс в реальном времени критически важен на дороге, технология беспилотных авто также активно опирается на пакетный вывод в фоновом режиме.

Рис. 3. YOLO11 может легко обнаруживать пешеходов на дороге.

После того как автомобиль завершает поездку, собранные им данные, такие как часы видеозаписей с камер, показания сенсоров и LIDAR-сканы, могут быть обработаны позже большими пакетами. Это позволяет инженерам обновлять ИИ-модели автомобиля, повышать безопасность системы и улучшать способность автомобиля справляться с различными условиями вождения.

Пакетный инференс также используется в симуляциях автономного вождения для тестирования того, как беспилотные автомобили реагировали бы в различных ситуациях, таких как проезд оживленных перекрестков или реакция на непредсказуемые движения пешеходов. Этот подход экономит время, снижает затраты и позволяет избежать рисков, связанных с тестированием каждого сценария в реальной жизни.

Анализ розничных данных с помощью пакетного инференса#

Аналогично, для розничных магазинов пакетный вывод с помощью моделей компьютерного зрения, таких как Ultralytics YOLO11, может значительно повысить операционную эффективность. Например, системы камер в магазинах могут фиксировать тысячи изображений в течение дня, которые затем можно обрабатывать батчами в ночное время.

Это позволяет магазинам анализировать происходящее в торговом зале, например, поведение покупателей, трафик и взаимодействие с продуктами, без необходимости в обработке в реальном времени, что может быть затруднительно для небольших магазинов.

Еще один интересный пример — использование пакетного инференса для создания тепловых карт (heatmaps), которые визуализируют зоны высокой и низкой активности клиентов в магазине. Анализируя эти тепловые карты, ритейлеры могут определить, какие зоны привлекают наибольший пешеходный трафик и какие части магазина могут потребовать больше внимания или оптимизации размещения продукции. Эти данные могут помочь ритейлерам принимать лучшие решения по планировке магазина, расстановке товаров и даже рекламным стратегиям для улучшения клиентского опыта и продаж.

Рис. 4. Тепловые карты могут помочь ритейлерам определить популярные зоны в магазинах.

Плюсы и минусы пакетного инференса#

Вот некоторые из ключевых преимуществ, которые пакетный инференс может принести различным индустриям:

• Простота интеграции: Пакетный инференс можно легко интегрировать в существующие рабочие процессы, особенно для таких отраслей, как ритейл, безопасность или здравоохранение, где большие объемы данных должны обрабатываться массово.
• Упрощенное управление данными: При работе с большими объемами данных пакетный инференс может упростить управление, так как данные группируются в управляемые блоки. Это облегчает отслеживание, проверку и организацию данных с течением времени.
• Сниженная сетевая нагрузка: Когда данные обрабатываются пакетами, объем данных, передаваемых в любой конкретный момент, может быть минимизирован, снижая нагрузку на сетевые ресурсы в облачных системах или средах распределенных вычислений.

Хотя у использования пакетного инференса много преимуществ, есть и некоторые ограничения, которые стоит учитывать. Вот несколько факторов, о которых стоит помнить:

• Требования к хранению: Хранение больших наборов данных для пакетной обработки может значительно увеличить расходы на хранение, особенно с изображениями высокого разрешения, видео или большими объемами данных.
• Потенциал накопления очереди (бэклога): Если данные накапливаются быстро или большие пакеты не обрабатываются вовремя, может возникнуть очередь. Это может привести к задержкам в получении инсайтов и своевременной обработке новых данных.
• Скачки ресурсов: Большие пакеты, особенно включающие изображения высокого разрешения, могут вызывать скачки потребления памяти или вычислительных ресурсов. Если ими не управлять должным образом, эти скачки могут перегрузить системы, приводя к замедлениям или сбоям.

Основные выводы#

Пакетный инференс — это эффективный способ обработки больших объемов визуальных данных, которые не требуют немедленных результатов. Вместо анализа каждого изображения в реальном времени, он обрабатывает их пакетами в запланированное время, например, ночью.

Этот метод экономически выгоден, снижает вычислительную нагрузку и по-прежнему предоставляет точные результаты. От помощи магазинам в управлении запасами до помощи врачам в анализе медицинских сканов и улучшения технологий беспилотных автомобилей, пакетный инференс делает компьютерное зрение более доступным, недорогим и практичным для реальных задач.

Готов погрузиться в ИИ? Изучи наш репозиторий GitHub, присоединяйся к нашему сообществу и ознакомься с нашими вариантами лицензирования, чтобы начать свой путь в компьютерном зрении. Узнай больше о таких инновациях, как ИИ в производстве и компьютерное зрение в логистике, на страницах наших решений.