Компиляция и квантование Ultralytics YOLOv5 для лучшей производительности с Deci
Оптимизируй и развертывай модели Ultralytics YOLOv5 с помощью платформы Deci, повышая производительность до 10 раз. Начни бесплатно и используй автоматическую оптимизацию моделей.
В Ultralytics мы сотрудничаем с другими стартапами на коммерческой основе, чтобы финансировать исследования и разработку наших замечательных инструментов с открытым исходным кодом, таких как YOLOv5, и сохранять их бесплатными для всех. Эта статья может содержать партнерские ссылки на эти компании.
Платформа Deci включает бесплатные инструменты для удобного управления, оптимизации и развертывания твоих моделей YOLOv5 в любой производственной среде. Deci поддерживает все популярные DL-фреймворки, такие как TensorFlow, PyTorch, Keras и ONNX. Все, что тебе нужно — это наша веб-платформа или наш Python-клиент, чтобы запускать ее прямо из твоего кода.
Link to this sectionПочему Deci?#
Ты можешь использовать Deci не только для экспорта, но и для прунинга (прореживания) и квантования модели!
Deci предоставляет удобный интерфейс для экспорта в любой формат и сравнения производительности исходной и конвертированной моделей. Пользователи предпочитают дополнительно оптимизировать свои модели с помощью квантования.
Link to this sectionС Deci ты можешь:#
Link to this sectionУлучшить производительность вывода (inference) до 10 раз#
Автоматически компилировать и квантовать свои модели, а также оценивать различные производственные настройки для достижения лучшей задержки, пропускной способности и уменьшения размера модели и объема используемой памяти на твоем оборудовании.
Link to this sectionНайти лучшее аппаратное обеспечение для вывода для твоего приложения#
Тестируй производительность своей модели на различных аппаратных (включая edge) устройствах одним нажатием кнопки. Избавься от необходимости вручную настраивать и тестировать множество параметров оборудования и производственных сред.
Link to this sectionРазвертывать с помощью нескольких строк кода#
Используй движок вывода Deci на базе Python. Совместим с множеством фреймворков и типов оборудования.
Для получения дополнительной информации о платформе Deci, пожалуйста, посети сайт Deci.
Link to this sectionПервоначальная настройка#
Link to this sectionШаг 1#
Открой свой бесплатный аккаунт.
Link to this sectionШаг 2#
Чтобы начать оптимизацию своей предобученной модели YOLOv5, тебе нужно конвертировать ее в формат ONNX. См. Руководство по экспорту YOLOv5 для получения инструкций по конвертации твоей модели в формат ONNX.
Link to this sectionШаг 3#
Перейди на вкладку "Lab" и нажми кнопку "New Model" в верхней правой части экрана, чтобы загрузить свою модель YOLOv5 в формате ONNX.
Следуй инструкциям мастера загрузки модели, чтобы выбрать целевое оборудование, а также желаемый размер пакета (batch size) и уровень квантования для компиляции модели.
После заполнения необходимой информации нажми "Start". Платформа Deci автоматически выполнит оптимизацию времени выполнения (runtime optimization) твоей модели YOLOv5 для выбранного оборудования, а также протестирует твою модель на различных типах оборудования. Этот процесс занимает примерно 10 минут.
После завершения на экране под базовой моделью, которую ты загрузил ранее, появится новая строка. Здесь ты можешь увидеть оптимизированную версию своей предобученной модели YOLOv5.
Link to this sectionЧто дальше?#
Затем ты можешь скачать свою оптимизированную модель, нажав кнопку "Deploy".
После этого тебе будет предложено скачать модель и получить инструкции по установке и использованию Infery — движка вывода времени выполнения от Deci.
Использование Infery необязательно. Ты можешь получить исходные файлы Python и использовать их с любым другим движком вывода на свой выбор.
Изучи результаты оптимизации и бенчмаркинга на вкладке "Insights".
Link to this sectionГотов начать?#
Перед завершением давай обсудим некоторые преимущества, которые предлагает Deci:
- Оптимизируй пропускную способность и задержку вывода твоей модели без ущерба для точности
- Позволяет тебе оптимизировать модели из всех популярных фреймворков
- Поддерживает модели, предназначенные для любых задач глубокого обучения
- Поддерживает развертывание на популярных машинах с CPU и GPU
- Тестирует пригодность твоей модели на различных аппаратных хостах и облачных провайдерах
- Подготавливает загруженные модели к обслуживанию, выводу и развертыванию
Как ты только что увидел, ты можешь удвоить производительность модели YOLOv5 за 15 минут общего времени. Платформа Deci очень проста и интуитивно понятна в использовании.
Есть вопросы? Присоединяйся к нашему сообществу и задай свой вопрос сегодня!
