Компиляция и квантование Ultralytics YOLOv5 для повышения производительности с помощью Deci

Команда Ultralytics

4 мин. чтения

26 октября 2022 г.

Оптимизируйте и развертывайте модели Ultralytics YOLOv5 с помощью платформы Deci, повышая производительность до 10 раз. Начните работать бесплатно и воспользуйтесь автоматической оптимизацией моделей.

В Ultralytics мы на коммерческой основе сотрудничаем с другими стартапами, которые помогают нам финансировать исследования и разработку наших замечательных инструментов с открытым исходным кодом, таких как YOLOv5, чтобы они оставались бесплатными для всех. Эта статья может содержать партнерские ссылки на этих партнеров.

Платформа Deci включает бесплатные инструменты для легкого управления, оптимизации и развертывания моделей YOLOv5 в любой производственной среде. Deci поддерживает все популярные DL-фреймворки, такие как TensorFlow, PyTorch, Keras и ONNX. Все, что вам нужно, - это наша веб-платформа или наш Python-клиент, чтобы запустить ее из вашего кода.

Почему Дечи?

Вы можете использовать Deci не только для экспорта, но и для обрезки и квантования модели!

Deci предоставляет удобный интерфейс для экспорта в любой формат и сравнения производительности исходной и преобразованной моделей. Пользователи могут дополнительно оптимизировать свои модели путем квантования.

С Дечи вы сможете:

Повышение производительности вывода до 10 раз

‍Автоматическаякомпиляция и квантование ваших моделей и оценка различных настроек производства для достижения лучшей задержки, всего и уменьшения размера модели и занимаемой памяти на вашем оборудовании.

‍Найдителучшее аппаратное обеспечение для обработки выводов для вашего приложения

Проведите тестирование производительности вашей модели на различных аппаратных (в том числе краевых) устройствах с помощью одной кнопки. Избавьтесь от необходимости вручную настраивать и тестировать множество аппаратных и производственных параметров.

‍Развертываниес помощью нескольких строк кода

‍Используйтемеханизм выводов Deci, основанный на питоне. Совместимость с различными фреймворками и типами оборудования.

Более подробную информацию о платформе Deci можно найти на сайте Deci.

Первая установка

Шаг 1

Откройте свой бесплатный аккаунт.

Начните работать с Deci и Ultralytics YOLOv5

Шаг 2

Чтобы начать оптимизацию предварительно обученной модели YOLOv5, вам нужно преобразовать ее в формат ONNX. Инструкции по конвертированию модели в формат ONNX см. в разделе Учебник по экспорту YOLOv5.

Шаг 3

Перейдите на вкладку "Лаборатория" и нажмите кнопку "Новая модель" в правой верхней части экрана, чтобы загрузить свою модель YOLOv5 ONNX.

Преобразование моделей Ultralytics YOLOv5 в ONNX для последующего развертывания с помощью Deci

Следуйте шагам мастера загрузки модели, чтобы выбрать целевое оборудование, а также желаемый размер партии и уровень квантования для компиляции модели.

Компиляция модели Ultralytics YOLOv5 для развертывания с помощью Deci

После заполнения необходимой информации нажмите "Начать". Платформа Deci автоматически выполнит оптимизацию вашей модели YOLOv5 для выбранного вами оборудования, а также проведет бенчмаркинг вашей модели на различных типах оборудования. Этот процесс занимает около 10 минут.

После этого на экране появится новая строка под базовой моделью, которую вы загрузили ранее. Здесь вы можете увидеть оптимизированную версию вашей предварительно обученной модели YOLOv5.

Оптимизированная модель Ultralytics YOLOv5 для развертывания с помощью Deci

Что дальше?

Затем вы можете загрузить оптимизированную модель, нажав на кнопку "Развернуть".

Модель Ultralytics YOLOv5 готова к развертыванию с помощью Deci

После этого вам будет предложено загрузить вашу модель и получить инструкции по установке и использованию Infery - движка для выводов во время выполнения Deci.

Использование Infery не является обязательным. Вы можете получить исходные файлы python и использовать их с любым другим механизмом вывода по вашему выбору.

Использование Deci Infery для развертывания Ultralytics YOLOv5

Изучите результаты оптимизации и бенчмаркинга на вкладке "Insights".

Оптимизация с помощью модели Deci из Ultralytics YOLOv5

Готовы приступить к работе?

Прежде чем закончить, давайте обсудим некоторые преимущества, которые предлагает Deci:

  • Оптимизируйте пропускную способность и время ожидания вывода модели без ущерба для точности
  • Позволяет оптимизировать модели из всех популярных фреймворков
  • Поддержка моделей, предназначенных для решения любых задач глубокого обучения
  • Поддерживает развертывание на популярных машинах с CPU и GPU
  • Проверьте пригодность вашей модели на различных аппаратных узлах и облачных провайдерах.
  • Подготовка загруженных моделей к обслуживанию, выводу и развертыванию

Как вы только что увидели, вы можете удвоить производительность модели YOLOv5 за 15 минут общего времени. Платформа Deci очень проста и интуитивно понятна в использовании.

Есть вопросы? Присоединяйтесь к нашему сообществу и оставьте свой вопрос сегодня!

Давайте вместе построим будущее
искусственного интеллекта!

Начните свое путешествие в будущее машинного обучения

Начните бесплатно
Ссылка копируется в буфер обмена