Yolo Vision Shenzhen
Шэньчжэнь
Присоединиться сейчас

Компиляция и квантование Ultralytics YOLOv5 для повышения производительности с помощью Deci

Команда Ultralytics

4 мин чтения

26 октября 2022 г.

Оптимизируйте и развертывайте модели Ultralytics YOLOv5 с помощью платформы Deci, повышая производительность до 10 раз. Начните бесплатно и используйте автоматическую оптимизацию моделей.

В Ultralytics мы коммерчески сотрудничаем с другими стартапами, чтобы помочь нам финансировать исследования и разработки наших замечательных инструментов с открытым исходным кодом, таких как YOLOv5, чтобы они оставались бесплатными для всех. Эта статья может содержать партнерские ссылки на этих партнеров.

Платформа Deci включает в себя бесплатные инструменты для простого управления, оптимизации и развертывания ваших моделей YOLOv5 в любой производственной среде. Deci поддерживает все популярные фреймворки DL, такие как TensorFlow, PyTorch, Keras и ONNX. Все, что вам нужно, — это наша веб-платформа или наш Python-клиент для запуска из вашего кода.

Почему Deci?

Вы можете использовать Deci не только для экспорта, но и для обрезки и квантования модели!

Deci предоставляет удобный интерфейс для экспорта в любом формате и сравнения производительности между исходной и преобразованной моделями. Пользователи могут дополнительно оптимизировать свои модели с помощью квантования.

С Deci вы можете:

Улучшение производительности инференса до 10 раз

Автоматически компилируйте и квантуйте свои модели и оценивайте различные производственные параметры для достижения лучшей задержки, пропускной способности и уменьшения размера модели и объема памяти на вашем оборудовании.

Найдите лучшее оборудование для инференса для ваших задач

Проверьте производительность своей модели на различном оборудовании (включая периферийные) одним нажатием кнопки. Избавьтесь от необходимости вручную настраивать и тестировать несколько аппаратных и производственных параметров.

Развертывание с помощью нескольких строк кода

Используйте inference engine Deci на базе Python. Совместим с различными фреймворками и типами оборудования.

Для получения дополнительной информации о платформе Deci посетите веб-сайт Deci.

Первоначальная настройка

Шаг 1

Откройте свой бесплатный аккаунт.

Начните работу с Deci и Ultralytics YOLOv5

Шаг 2

Чтобы начать оптимизацию предварительно обученной модели YOLOv5, вам необходимо преобразовать ее в формат ONNX. См. Руководство по экспорту YOLOv5 для получения инструкций о том, как преобразовать вашу модель в формат ONNX.

Шаг 3

Перейдите на вкладку "Lab" и нажмите кнопку "New Model" в верхней правой части экрана, чтобы загрузить свою YOLOv5 ONNX-модель.

Преобразуйте модели Ultralytics YOLOv5 в ONNX для будущего развертывания с помощью Deci

Выполните шаги мастера загрузки модели, чтобы выбрать целевое оборудование, а также желаемый размер пакета и уровень квантования для компиляции модели.

Компиляция модели Ultralytics YOLOv5 для развертывания с помощью Deci

После заполнения соответствующей информации нажмите кнопку "Start". Платформа Deci автоматически выполнит оптимизацию вашей модели YOLOv5 во время выполнения для выбранного вами оборудования, а также протестирует вашу модель на различных типах оборудования. Этот процесс занимает примерно 10 минут.

После этого на вашем экране появится новая строка под базовой моделью, которую вы ранее загрузили. Здесь вы можете увидеть оптимизированную версию вашей предварительно обученной модели YOLOv5.

Оптимизированная модель Ultralytics YOLOv5 для развертывания с помощью Deci

Что дальше?

Затем вы можете загрузить оптимизированную модель, нажав кнопку «Развернуть».

Модель Ultralytics YOLOv5 готова к развертыванию с помощью Deci

Затем вам будет предложено загрузить свою модель и получить инструкции по установке и использованию Infery — механизма вывода Deci.

Использование Infery является необязательным. Вы можете получить исходные файлы Python и использовать их с любым другим механизмом логического вывода по вашему выбору.

Используйте Deci Infery для развертывания Ultralytics YOLOv5

Ознакомьтесь с результатами оптимизации и бенчмаркинга на вкладке "Insights".

Оптимизация модели Ultralytics YOLOv5 с помощью Deci

Готовы начать?

Прежде чем завершить, давайте обсудим некоторые преимущества, которые предлагает Deci:

  • Оптимизируйте пропускную способность и задержку вывода вашей модели без ущерба для точности
  • Позволяет оптимизировать модели из всех популярных фреймворков
  • Поддерживает модели, предназначенные для любой задачи глубокого обучения
  • Поддерживает развертывание на популярных машинах с CPU и GPU
  • Оценивает пригодность вашей модели на различных аппаратных хостах и в облачных провайдерах
  • Подготавливает загруженные модели к обслуживанию, выводу и развертыванию.

Как вы только что увидели, вы можете удвоить производительность модели YOLOv5 в общей сложности за 15 минут. Платформа Deci очень проста и интуитивно понятна в использовании.

Есть вопросы? Присоединяйтесь к нашему сообществу и задайте свой вопрос сегодня!

Давайте строить будущее
ИИ вместе!

Начните свой путь в будущее машинного обучения

Начать бесплатно
Ссылка скопирована в буфер обмена