Прореживание и квантование в компьютерном зрении: краткое руководство

С развитием технологий периферийные устройства встречаются всё чаще. От умных часов, отслеживающих частоту пульса, до воздушных дронов, наблюдающих за улицами, — периферийные системы могут локально обрабатывать данные в реальном времени прямо на самом устройстве.

Такой метод часто быстрее и безопаснее, чем передача данных в облако, особенно в приложениях, работающих с персональными данными, например при распознавании автомобильных номеров или отслеживании жестов. Это примеры компьютерного зрения — направления искусственного интеллекта (ИИ), которое позволяет машинам интерпретировать и понимать визуальную информацию.

Рис. 1. Пример обнаружения номерного знака. (Источник)

Однако важно учитывать, что для таких приложений нужны модели Vision AI, способные выполнять большие вычисления, использовать минимум ресурсов и работать автономно. Большинство моделей компьютерного зрения разрабатывают для высокопроизводительных систем, поэтому они хуже подходят для непосредственного развертывания на периферийных устройствах.

Чтобы устранить этот разрыв, разработчики часто применяют целевые оптимизации, позволяющие модели эффективно работать на менее мощном оборудовании. Эти изменения критически важны для практического развертывания на периферийных устройствах, где объем памяти и вычислительная мощность ограничены.

Интересно, что модели компьютерного зрения, например Ultralytics YOLO11, уже проектируются с учетом эффективности на периферийных устройствах, поэтому отлично подходят для задач реального времени. Однако их производительность можно еще повысить с помощью таких методов оптимизации моделей, как прореживание и квантование: они ускоряют инференс и сокращают расход ресурсов на устройствах с ограниченными возможностями.

В этой статье мы подробнее разберем, что такое прореживание и квантование, как они работают и как помогают моделям YOLO эффективно работать при реальном развертывании на периферийных устройствах. Начнем!

Прореживание и квантование: основные методы оптимизации моделей#

При подготовке моделей Vision AI к развертыванию на периферийных устройствах одна из главных целей — сделать модель компактной и надежной, не жертвуя производительностью. Для этого часто уменьшают размер модели и ее вычислительные требования, чтобы она эффективно работала на оборудовании с ограниченными памятью, энергопотреблением или вычислительными возможностями. Два распространенных способа добиться этого — прореживание и квантование.

Прореживание — это метод оптимизации моделей ИИ, который помогает уменьшить нейронные сети и повысить их эффективность. Во многих случаях некоторые части модели, например отдельные связи или узлы, мало влияют на итоговые предсказания. При прореживании такие малозначимые части выявляют и удаляют, уменьшая размер модели и ускоряя ее работу.

Квантование, в свою очередь, — это метод оптимизации, который снижает точность чисел, используемых моделью. Вместо чисел с плавающей запятой высокой точности и разрядностью 32 бита модель переходит на более компактные и эффективные форматы, например целые числа с разрядностью 8 бит. Это уменьшает потребление памяти и ускоряет инференс — процесс, в ходе которого модель выдает предсказания.

Рис. 2. Прореживание и квантование. (Источник)

Как работают прореживание и квантование#

Теперь, когда мы лучше понимаем, что такое прореживание и квантование, давай разберемся, как работают оба метода.

Для прореживания используют процесс, известный как анализ чувствительности. Он выявляет, какие части нейронных сетей, например отдельные веса, нейроны или каналы, вносят наименьший вклад в итоговое предсказание. Эти части можно удалить с минимальным влиянием на точность. После прореживания модель обычно переобучают, чтобы дополнительно настроить ее производительность. Этот цикл можно повторять, пока не будет найден оптимальный баланс между размером и точностью.

Квантование модели, напротив, касается способа обработки данных. Сначала выполняется калибровка: модель запускают на тестовых данных, чтобы определить диапазон обрабатываемых значений. Затем эти значения преобразуют из чисел с плавающей запятой разрядностью 32 бита в форматы с меньшей точностью, например целые числа разрядностью 8 бит.

Рис. 3. Квантование помогает уменьшить размер и сложность модели. (Источник)

Существует несколько инструментов, упрощающих применение прореживания и квантования в реальных проектах ИИ. Большинство фреймворков ИИ, таких как PyTorch и TensorFlow, поддерживают эти методы оптимизации из коробки, поэтому разработчики могут напрямую встроить их в процесс развертывания модели.

После оптимизации модели такие инструменты, как ONNX Runtime, помогают эффективно запускать её на различных аппаратных платформах: серверах, настольных компьютерах и периферийных устройствах. Кроме того, Ultralytics предлагает интеграции, позволяющие экспортировать модели YOLO в форматы, подходящие для квантования (например, quantize=8 для INT8, если формат это поддерживает). Благодаря этому проще уменьшить размер модели и повысить производительность.

Обзор оптимизации моделей Ultralytics YOLO#

Модели Ultralytics YOLO, например YOLO11, широко известны быстрым одноэтапным обнаружением объектов, что делает их идеальными для задач Vision AI в реальном времени. Они изначально достаточно компактны и эффективны для развертывания на периферийных устройствах. Однако слои, отвечающие за обработку визуальных признаков и называемые сверточными слоями, во время инференса все еще могут требовать значительных вычислительных ресурсов.

Может возникнуть вопрос: если Ultralytics YOLO11 уже оптимизирована для работы на периферийных устройствах, зачем нужна дополнительная оптимизация? Ответ прост: не все такие устройства одинаковы. Некоторые работают на крайне ограниченном оборудовании, например крошечных встраиваемых процессорах, которые потребляют меньше энергии, чем обычная светодиодная лампа.

В таких случаях даже компактной модели, например Ultralytics YOLO11, нужна дополнительная оптимизация, чтобы обеспечить стабильную и надёжную работу. Методы прореживания и квантования помогают уменьшить размер модели и ускорить инференс без существенного влияния на точность, поэтому они отлично подходят для подобных ограниченных сред.

Чтобы упростить применение этих методов оптимизации, Ultralytics поддерживает различные интеграции, с помощью которых можно экспортировать модели YOLO в разные форматы, например ONNX, TensorRT, OpenVINO, CoreML и PaddlePaddle. Каждый формат рассчитан на определенные типы оборудования и среды развертывания.

Например, ONNX часто используют в рабочих процессах квантования благодаря совместимости с широким спектром инструментов и платформ. TensorRT, в свою очередь, отлично оптимизирован для устройств NVIDIA и поддерживает инференс с низкой точностью вычислений с использованием INT8, что делает его идеальным для высокоскоростного развёртывания на периферийных GPU.

Эффективные сценарии применения оптимизации моделей Ultralytics YOLO#

По мере того как компьютерное зрение находит все больше применений в реальном мире, оптимизированные модели YOLO позволяют выполнять такие задачи, как обнаружение объектов, сегментация экземпляров и отслеживание объектов, на более компактном и быстром оборудовании. Далее рассмотрим несколько сценариев, в которых прореживание и квантование делают задачи компьютерного зрения эффективнее и практичнее.

Умное видеонаблюдение на базе Ultralytics YOLO11#

Многие промышленные предприятия и общественные пространства полагаются на мониторинг в реальном времени для обеспечения безопасности. На транспортных узлах, производственных площадках и больших открытых территориях нужны системы Vision AI, способные быстро и точно обнаруживать людей и транспортные средства. Часто в таких местах ограничена связь и есть аппаратные ограничения, из-за чего развернуть большие модели сложно.

В таких случаях отличным решением станет оптимизированная модель Vision AI, например Ultralytics YOLO11. Благодаря компактности и высокой скорости она идеально подходит для маломощных периферийных устройств, таких как встроенные камеры или умные датчики. Модели обрабатывают визуальные данные непосредственно на устройстве и позволяют в реальном времени обнаруживать нарушения правил безопасности, несанкционированный доступ и подозрительную активность без постоянного подключения к облаку.

Рис. 4. Ultralytics YOLO11 можно использовать для мониторинга общественных мест, например станций метро.

Повышение безопасности на стройплощадках с помощью Ultralytics YOLO11#

Стройплощадки — динамичные и непредсказуемые места, где работают тяжелая техника и люди, а события происходят постоянно. Условия могут быстро меняться из-за корректировки графиков, перемещения оборудования и даже внезапной перемены погоды. В такой обстановке обеспечение безопасности работников может стать непрерывной проблемой.

Мониторинг в реальном времени играет важную роль, но традиционные системы часто зависят от доступа к облаку или дорогостоящего оборудования, которое может быть непрактично использовать на объекте. Здесь полезны модели вроде Ultralytics YOLO11. YOLO11 можно оптимизировать для работы на небольших эффективных периферийных устройствах непосредственно на площадке, без подключения к интернету.

Например, представь большую стройплощадку — такую, как участок расширения автомагистрали площадью в несколько акров. В подобных условиях вручную отслеживать каждое транспортное средство или единицу оборудования сложно и долго. Дрон с камерой и оптимизированной моделью Ultralytics YOLO11 может автоматически обнаруживать и отслеживать транспортные средства, контролировать транспортный поток и выявлять проблемы с безопасностью, например несанкционированный доступ или опасное вождение.

Рис. 5. Анализ снимков с дрона на стройплощадке. (Источник)

Преимущества и недостатки прореживания и квантования в компьютерном зрении#

Вот некоторые ключевые преимущества методов оптимизации моделей компьютерного зрения, таких как прореживание и квантование:

• Экономичное развертывание: компактные и эффективные модели снижают потребность в дорогом высокопроизводительном оборудовании, делая ИИ доступнее и упрощая масштабирование для разных сценариев применения.
• Меньшая задержка: упрощая архитектуру модели и сокращая вычислительные затраты, эти методы помогают ускорить отклик в приложениях реального времени.
• Энергоэффективность: снижение вычислительной нагрузки уменьшает и энергопотребление, что особенно полезно для систем с питанием от аккумулятора или мобильных устройств.

Несмотря на множество преимуществ, у прореживания и квантования есть и компромиссы, которые разработчикам следует учитывать при оптимизации моделей. Вот несколько ограничений, о которых важно помнить:

• Компромиссы между точностью и эффективностью: если прореживание слишком агрессивное или используется квантование с очень низкой разрядностью, точность модели, измеряемая такими метриками, как mAP, может снизиться.
• Аппаратные ограничения: не все устройства одинаково хорошо поддерживают форматы с меньшей точностью, например INT8. Это ограничивает возможности и места развертывания оптимизированной модели.
• Сложность внедрения: для достижения хороших результатов часто требуется тщательная настройка с учетом особенностей модели. Чтобы сохранить производительность и повысить эффективность, разработчикам может понадобиться переобучить модель и провести обширное тестирование.

Главные выводы#

Прореживание и квантование — полезные методы, которые помогают моделям YOLO эффективнее работать на периферийных устройствах. Они уменьшают размер модели и требуемые вычислительные ресурсы, а также ускоряют предсказания, обычно лишь незначительно снижая точность.

Эти методы оптимизации также позволяют разработчикам адаптировать модели к разному оборудованию, не перестраивая их с нуля. Благодаря настройке и тестированию применять Vision AI в реальных условиях становится проще.

Присоединяйся к нашему растущему сообществу! Загляни в наш репозиторий GitHub, чтобы узнать больше об ИИ. Готов начать проекты в области компьютерного зрения? Посмотри наши варианты лицензирования. Узнай об ИИ в сельском хозяйстве и Vision AI в здравоохранении на страницах наших решений!