Yolo Vision Shenzhen
Шэньчжэнь
Присоединиться сейчас

Компиляция и квантование Ultralytics YOLOv5 для повышения производительности с помощью Deci

Команда Ultralytics

4 мин чтения

26 октября 2022 г.

Оптимизируйте и развертывайте модели Ultralytics YOLOv5 с помощью платформы Deci, повышая производительность до 10 раз. Начните работать бесплатно и воспользуйтесь автоматической оптимизацией моделей.

В Ultralytics мы на коммерческой основе сотрудничаем с другими стартапами, которые помогают нам финансировать исследования и разработку наших замечательных инструментов с открытым исходным кодом, таких как YOLOv5, чтобы они оставались бесплатными для всех. Эта статья может содержать партнерские ссылки на этих партнеров.

Платформа Deci включает в себя бесплатные инструменты для удобного управления, оптимизации и развертывания вашего YOLOv5 модели в любой производственной среде. Deci поддерживает все популярные DL-фреймворки, такие как TensorFlow, PyTorch, Keras и ONNX. Все, что вам нужно, - это наша веб-платформа или наш Python , чтобы запускать ее из своего кода.

Почему Deci?

Вы можете использовать Deci не только для экспорта, но и для обрезки и квантования модели!

Deci предоставляет удобный интерфейс для экспорта в любом формате и сравнения производительности между исходной и преобразованной моделями. Пользователи могут дополнительно оптимизировать свои модели с помощью квантования.

С Deci вы можете:

Улучшение производительности инференса до 10 раз

Автоматически компилируйте и квантуйте свои модели и оценивайте различные производственные параметры для достижения лучшей задержки, пропускной способности и уменьшения размера модели и объема памяти на вашем оборудовании.

Найдите лучшее оборудование для инференса для ваших задач

Проверьте производительность своей модели на различном оборудовании (включая периферийные) одним нажатием кнопки. Избавьтесь от необходимости вручную настраивать и тестировать несколько аппаратных и производственных параметров.

Развертывание с помощью нескольких строк кода

‍Используйтемеханизм выводов Deci, python. Совместимость с различными фреймворками и типами оборудования.

Для получения дополнительной информации о платформе Deci посетите веб-сайт Deci.

Первоначальная настройка

Шаг 1

Откройте свой бесплатный аккаунт.

Начните работать с Deci и Ultralytics YOLOv5

Шаг 2

Чтобы начать оптимизацию предварительно обученной модели YOLOv5 , вам нужно преобразовать ее в формат ONNX . Инструкции по конвертации модели в формат ONNX см. в разделе Учебник по экспортуYOLOv5 .

Шаг 3

Перейдите на вкладку "Лаборатория" и нажмите кнопку "Новая модель" в верхней правой части экрана, чтобы загрузить свой YOLOv5 ONNX .

Преобразование моделей Ultralytics YOLOv5 в ONNX для последующего развертывания с помощью Deci

Выполните шаги мастера загрузки модели, чтобы выбрать целевое оборудование, а также желаемый размер пакета и уровень квантования для компиляции модели.

Компиляция модели Ultralytics YOLOv5 для развертывания с помощью Deci

После заполнения необходимой информации нажмите "Начать". Платформа Deci автоматически выполнит оптимизацию вашей модели YOLOv5 для выбранного вами оборудования, а также проведет бенчмаркинг вашей модели на различных типах оборудования. Этот процесс занимает около 10 минут.

После этого на экране появится новая строка под базовой моделью, которую вы загрузили ранее. Здесь вы можете увидеть оптимизированную версию вашей предварительно обученной модели YOLOv5 .

Оптимизированная модель Ultralytics YOLOv5 для развертывания с помощью Deci

Что дальше?

Затем вы можете загрузить оптимизированную модель, нажав кнопку «Развернуть».

Модель Ultralytics YOLOv5 готова к развертыванию с помощью Deci

Затем вам будет предложено загрузить свою модель и получить инструкции по установке и использованию Infery — механизма вывода Deci.

Использование Infery не является обязательным. Вы можете получить исходные файлы python и использовать их с любым другим механизмом вывода по вашему выбору.

Использование Deci Infery для развертывания Ultralytics YOLOv5

Ознакомьтесь с результатами оптимизации и бенчмаркинга на вкладке "Insights".

Оптимизация с помощью модели Deci из Ultralytics YOLOv5

Готовы начать?

Прежде чем завершить, давайте обсудим некоторые преимущества, которые предлагает Deci:

  • Оптимизируйте пропускную способность и задержку вывода вашей модели без ущерба для точности
  • Позволяет оптимизировать модели из всех популярных фреймворков
  • Поддерживает модели, предназначенные для любой задачи глубокого обучения
  • Поддерживает развертывание на популярных машинах с CPU и GPU
  • Оценивает пригодность вашей модели на различных аппаратных хостах и в облачных провайдерах
  • Подготавливает загруженные модели к обслуживанию, выводу и развертыванию.

Как вы только что увидели, вы можете удвоить производительность модели YOLOv5 за 15 минут общего времени. Платформа Deci очень проста и интуитивно понятна в использовании.

Есть вопросы? Присоединяйтесь к нашему сообществу и задайте свой вопрос сегодня!

Давайте строить будущее
ИИ вместе!

Начните свой путь в будущее машинного обучения

Начать бесплатно