Компиляция и квантование Ultralytics YOLOv5 для повышения производительности с Deci
Оптимизируй и развертывай модели Ultralytics YOLOv5 с платформой Deci, повышая производительность до 10 раз. Начни бесплатно и используй автоматическую оптимизацию моделей.
В Ultralytics мы на коммерческой основе сотрудничаем с другими стартапами, чтобы финансировать исследования и разработку наших отличных инструментов с открытым исходным кодом, таких как YOLOv5, и сохранять их бесплатными для всех. Эта статья может содержать партнёрские ссылки на этих партнёров.
Платформа Deci включает бесплатные инструменты для удобного управления, оптимизации и развертывания твоих моделей YOLOv5 в любой производственной среде. Deci поддерживает все популярные фреймворки DL, включая TensorFlow, PyTorch, Keras и ONNX. Для работы с платформой тебе понадобится только наша веб-платформа или клиент Python, который можно запускать из твоего кода.
Почему Deci?#
Ты можешь использовать Deci не только для экспорта, но и для прореживания и квантования модели!
Deci предоставляет удобный интерфейс для экспорта в любом формате и сравнения производительности исходной и преобразованной моделей. Пользователи могут дополнительно оптимизировать свои модели с помощью квантования.
С Deci ты можешь:#
Повысить производительность инференса до 10 раз#
Автоматически компилировать и квантовать свои модели, а также оценивать различные производственные настройки, чтобы добиться меньшей задержки, более высокой пропускной способности и уменьшения размера модели и занимаемой ею памяти на твоем оборудовании.
Найти лучшее оборудование для инференса в своем приложении#
Одним нажатием сравнивать производительность своей модели на различных устройствах, включая периферийные. Тебе больше не придется вручную настраивать и тестировать несколько вариантов оборудования и производственных параметров.
Развернуть модель всего несколькими строками кода#
Используй движок инференса Deci на основе Python. Он совместим с несколькими фреймворками и типами оборудования.
Чтобы получить дополнительную информацию о платформе Deci, посети веб-сайт Deci.
Первоначальная настройка#
Шаг 1#
Открой бесплатную учетную запись.
Шаг 2#
Чтобы начать оптимизацию предварительно обученной модели YOLOv5, тебе потребуется преобразовать ее в формат ONNX. Инструкции по преобразованию модели в формат ONNX смотри в руководстве по экспорту YOLOv5.
Шаг 3#
Перейди на вкладку "Lab" и нажми кнопку "New Model" в правой верхней части экрана, чтобы загрузить свою модель YOLOv5 в формате ONNX.
Следуй инструкциям мастера загрузки модели, чтобы выбрать целевое оборудование, а также нужный размер пакета и уровень квантования для компиляции модели.
Заполнив необходимую информацию, нажми "Start". Платформа Deci автоматически выполнит оптимизацию времени выполнения твоей модели Ultralytics YOLOv5 для выбранного оборудования, а также сравнит производительность модели на различных типах оборудования. Этот процесс занимает примерно 10 минут.
После завершения на экране под базовой моделью, которую ты загрузил ранее, появится новая строка. Здесь ты увидишь оптимизированную версию своей предварительно обученной модели Ultralytics YOLOv5.
Что дальше?#
Затем ты можешь скачать оптимизированную модель, нажав кнопку "Deploy".
Затем тебе будет предложено скачать модель и показаны инструкции по установке и использованию Infery — движка инференса во время выполнения от Deci.
Использование Infery необязательно. Ты можешь получить исходные файлы Python и использовать их с любым другим выбранным тобой движком инференса.
Изучи результаты оптимизации и сравнительного тестирования на вкладке "Insights".
Готов начать?#
Прежде чем завершить, давай обсудим некоторые преимущества Deci:
- Оптимизируй пропускную способность и задержку инференса своей модели без ущерба для точности
- Позволяет оптимизировать модели из всех популярных фреймворков
- Поддерживает модели, предназначенные для любых задач глубокого обучения
- Поддерживает развертывание на популярных машинах с CPU и GPU
- Проверяет пригодность твоей модели на разных аппаратных хостах и у разных облачных провайдеров
- Подготавливает загруженные модели к обслуживанию, инференсу и развертыванию
Как ты только что увидел, общая продолжительность процесса позволяет вдвое повысить производительность модели Ultralytics YOLOv5 всего за 15 минут. Платформа Deci очень проста и интуитивно понятна в использовании.
Есть вопросы? Присоединяйся к нашему сообществу и задай свой вопрос уже сегодня!
