Обрезка и квантование в компьютерном зрении: Краткое руководство

Пограничные устройства становятся все более распространенными с развитием технологий. От смарт-часов, отслеживающих пульс, до воздушных дронов, следящих за улицами, - пограничные системы могут обрабатывать данные в режиме реального времени внутри самого устройства. 

Этот метод зачастую быстрее и безопаснее, чем отправка данных в облако, особенно для приложений с персональными данными, таких как распознавание номерных знаков или отслеживание жестов. Это примеры компьютерного зрения, направления искусственного интеллекта (ИИ), которое позволяет машинам интерпретировать и понимать визуальную информацию.

‍

Однако важно учитывать, что для таких приложений требуются модели искусственного зрения, способные справляться с большими вычислениями, использовать минимум ресурсов и работать автономно. Большинство моделей компьютерного зрения разрабатываются для высокопроизводительных систем, что делает их менее подходящими для непосредственного развертывания на пограничных устройствах. 

Чтобы устранить этот пробел, разработчики часто применяют целевые оптимизации, которые адаптируют модель для эффективной работы на более компактном оборудовании. Такие настройки очень важны для реальных пограничных развертываний, где память и вычислительная мощность ограничены. 

Интересно, что модели компьютерного зрения, такие как Ultralytics YOLO11, уже разработаны с учетом краевой эффективности, что делает их идеальными для задач реального времени. Однако их производительность можно еще больше повысить, используя такие методы оптимизации модели, как обрезка и квантование, что позволит еще быстрее делать выводы и снизить потребление ресурсов на устройствах с ограниченными возможностями.

В этой статье мы подробно рассмотрим, что такое обрезка и квантование, как они работают и как они могут помочь моделям YOLO работать в реальных пограничных развертываниях. Давайте начнем!

Обрезка и квантование: Основные методы оптимизации моделей

При подготовке моделей искусственного интеллекта для развертывания на пограничных устройствах одна из ключевых задач - сделать модель легкой и надежной без ущерба для производительности. Для этого часто приходится уменьшать размер модели и вычислительные требования, чтобы она могла эффективно работать на оборудовании с ограниченной памятью, мощностью или вычислительными возможностями. Два распространенных способа добиться этого - обрезка и квантование.

Обрезка - это техника оптимизации моделей ИИ, которая помогает сделать нейронные сети меньше и эффективнее. Во многих случаях отдельные части модели, такие как определенные связи или узлы, не вносят значительного вклада в конечные прогнозы. Обрезка работает путем выявления и удаления этих менее важных частей, что уменьшает размер модели и ускоряет ее работу.

С другой стороны, квантование - это техника оптимизации, которая снижает точность чисел, используемых моделью. Вместо того чтобы полагаться на высокоточные 32-битные числа с плавающей точкой, модель переключается на меньшие, более эффективные форматы, такие как 8-битные целые числа. Это изменение помогает снизить потребление памяти и ускорить вывод - процесс, в ходе которого модель делает предсказания.

‍

Как работают обрезка и квантование

Теперь, когда мы лучше понимаем, что такое обрезка и квантование, давайте рассмотрим, как они работают. 

Обрезка выполняется с помощью процесса, известного как анализ чувствительности. Он позволяет определить, какие части нейросетевой модели, например определенные веса, нейроны или каналы, вносят наименьший вклад в итоговое предсказание выходного сигнала. Эти части могут быть удалены с минимальным влиянием на точность. После обрезки модель обычно переобучают, чтобы точно настроить ее производительность. Этот цикл можно повторять, чтобы найти оптимальный баланс между размером и точностью.

В то же время квантование модели фокусируется на том, как модель обрабатывает данные. Она начинается с калибровки, когда модель работает с образцами данных, чтобы узнать диапазон значений, которые ей нужно обработать. Затем эти значения преобразуются из 32-битного формата с плавающей запятой в форматы более низкой точности, такие как 8-битные целые числа.

‍

Существует несколько инструментов, облегчающих использование обрезки и квантования в реальных проектах ИИ. Большинство фреймворков ИИ, таких как PyTorch и TensorFlow, содержат встроенную поддержку этих методов оптимизации, что позволяет разработчикам интегрировать их непосредственно в процесс развертывания модели. 

После оптимизации модели такие инструменты, как ONNX Runtime, помогут эффективно запустить ее на различных аппаратных платформах, таких как серверы, настольные компьютеры и пограничные устройства. Кроме того, Ultralytics предлагает интеграцию, позволяющую экспортировать модели YOLO в форматы, пригодные для квантования, что упрощает уменьшение размера модели и повышает производительность.

Обзор оптимизации модели Ultralytics YOLO

Модели Ultralytics YOLO, такие как YOLO11, широко известны благодаря быстрому, одноэтапному обнаружению объектов, что делает их идеальными для задач ИИ в реальном времени. Они уже разработаны как легкие и достаточно эффективные для пограничного развертывания. Однако слои, отвечающие за обработку визуальных признаков, называемые конволюционными слоями, все еще могут требовать значительных вычислительных мощностей во время выводов.

Вы можете задаться вопросом: если YOLO11 уже оптимизирован для использования на границе, зачем ему нужна дополнительная оптимизация? Проще говоря, не все краевые устройства одинаковы. Некоторые работают на очень минимальном оборудовании, например, на крошечных встроенных процессорах, которые потребляют меньше энергии, чем обычная светодиодная лампочка. 

В этих случаях даже такая оптимизированная модель, как YOLO11, нуждается в дополнительной оптимизации, чтобы гарантировать плавную и надежную работу. Такие методы, как обрезка и квантование, помогают уменьшить размер модели и ускорить вывод без существенного влияния на точность, что делает их идеальными для таких ограниченных сред.

Чтобы облегчить применение этих методов оптимизации, Ultralytics поддерживает различные интеграции, которые можно использовать для экспорта моделей YOLO в различные форматы, такие как ONNX, TensorRT, OpenVINO, CoreML и PaddlePaddle. Каждый формат предназначен для работы с определенными типами оборудования и средами развертывания. 

Например, ONNX часто используется в рабочих процессах квантования благодаря своей совместимости с широким спектром инструментов и платформ. TensorRT, с другой стороны, хорошо оптимизирован для устройств NVIDIA и поддерживает вывод с низкой точностью с помощью INT8, что делает его идеальным для высокоскоростного развертывания на граничных GPU.

Эффективные примеры использования оптимизации модели YOLO от Ultralytics

Поскольку компьютерное зрение продолжает распространяться на различные реальные приложения, оптимизированные модели YOLO позволяют выполнять такие задачи, как обнаружение объектов, сегментация объектов и отслеживание объектов, на более компактном и быстром оборудовании. Далее мы рассмотрим несколько примеров использования, когда обрезка и квантование делают эти задачи компьютерного зрения более эффективными и практичными.

Интеллектуальное наблюдение с помощью YOLO11

Многие промышленные помещения, а также общественные зоны зависят от мониторинга в режиме реального времени, чтобы оставаться в безопасности. Такие места, как транспортные станции, производственные площадки и крупные открытые объекты, нуждаются в системах Vision AI, способных быстро и точно обнаруживать людей и транспортные средства. Часто эти места работают в условиях ограниченного подключения и аппаратных ограничений, что затрудняет развертывание крупных моделей.

В таких случаях оптимизированная модель Vision AI, такая как YOLO11, станет отличным решением. Благодаря компактным размерам и высокой производительности она идеально подходит для работы на маломощных пограничных устройствах, таких как встроенные камеры или интеллектуальные датчики. Эти модели могут обрабатывать визуальные данные непосредственно на устройстве, позволяя в режиме реального времени обнаруживать нарушения безопасности, несанкционированный доступ или аномальную активность, не прибегая к постоянному доступу к облаку.

‍

Повышение безопасности на строительных площадках с помощью YOLO11

Строительные площадки - это быстро меняющаяся и непредсказуемая среда, наполненная тяжелой техникой, перемещающимися рабочими и постоянной активностью. Условия могут быстро меняться из-за сдвига графиков, перемещения оборудования или даже внезапных изменений погоды. В такой динамичной обстановке безопасность работников может казаться постоянной проблемой.

Мониторинг в режиме реального времени играет важнейшую роль, но традиционные системы часто полагаются на облачный доступ или дорогостоящее оборудование, которое может быть нецелесообразно использовать на месте. Именно здесь могут оказаться полезными такие модели, как YOLO11. YOLO11 может быть оптимизирована для работы на небольших, эффективных пограничных устройствах, которые работают непосредственно на объекте, не требуя подключения к Интернету.

Например, рассмотрим крупную строительную площадку, такую как расширение автомагистрали, которая занимает несколько гектаров. В таких условиях вручную отслеживать каждый автомобиль или единицу техники может быть сложно и долго. Дрон, оснащенный камерой и оптимизированной моделью YOLO11, может помочь, автоматически обнаруживая и отслеживая транспортные средства, контролируя транспортный поток и выявляя проблемы безопасности, такие как несанкционированный доступ или небезопасное поведение водителя.

‍

Плюсы и минусы обрезки и квантования в компьютерном зрении

Вот некоторые ключевые преимущества, которые дают такие методы оптимизации моделей компьютерного зрения, как обрезка и квантование:

• Экономически эффективное развертывание: Более компактные и эффективные модели позволяют снизить потребность в дорогостоящем оборудовании высокого класса, делая ИИ более доступным и масштабируемым в различных сферах применения.
  
  
• Снижение задержки: Упрощая архитектуру модели и снижая вычислительные затраты, эти методы помогают добиться более быстрого времени отклика в приложениях реального времени.
  
  
• Энергоэффективность: Уменьшение вычислительной нагрузки также снижает энергопотребление, что особенно полезно для систем, работающих от батарей или мобильных устройств.

Хотя обрезка и квантование дают множество преимуществ, они также связаны с определенными компромиссами, которые разработчики должны учитывать при оптимизации моделей. Вот некоторые ограничения, о которых следует помнить:

• Точность компромиссы: Если обрезка слишком агрессивна или используется очень низкое квантование битов, точность модели, измеряемая такими метриками, как mAP, может снизиться.
  
  
• Аппаратные ограничения: Не все устройства одинаково хорошо поддерживают форматы с более низкой точностью, например INT8. Это может ограничить возможности применения оптимизированной модели.
  
  
• Сложность реализации: Для достижения хороших результатов часто требуется тщательная настройка модели. Разработчикам может потребоваться переобучить модель и провести обширное тестирование, чтобы сохранить производительность и повысить эффективность.

Основные выводы

Обрезка и квантование - полезные приемы, которые помогают моделям YOLO лучше работать на граничных устройствах. Они уменьшают размер модели, снижают ее вычислительные потребности и ускоряют прогнозирование, причем без заметной потери точности.

Эти методы оптимизации также позволяют разработчикам гибко настраивать модели под разные типы оборудования, не перестраивая их полностью. После некоторой настройки и тестирования Vision AI становится проще применять в реальных ситуациях.

Присоединяйтесь к нашему растущему сообществу! Изучите наш репозиторий GitHub, чтобы узнать больше об искусственном интеллекте. Готовы начать работу над проектами в области компьютерного зрения? Ознакомьтесь с нашими возможностями лицензирования. Откройте для себя ИИ в сельском хозяйстве и ИИ зрения в здравоохранении, посетив страницы наших решений!