Компиляция и квантование Ultralytics YOLOv5 для лучшей производительности с Deci
Оптимизируй и развертывай модели Ultralytics YOLOv5 с помощью платформы Deci, повышая производительность до 10 раз. Начни бесплатно и используй автоматическую оптимизацию моделей.
В Ultralytics мы сотрудничаем с другими стартапами на коммерческой основе, чтобы финансировать исследования и разработку наших замечательных инструментов с открытым исходным кодом, таких как YOLOv5, и сохранять их бесплатными для всех. Эта статья может содержать партнерские ссылки на эти компании.
Платформа Deci включает бесплатные инструменты для удобного управления, оптимизации и развертывания твоих моделей YOLOv5 в любой рабочей среде. Deci поддерживает все популярные фреймворки глубокого обучения, такие как TensorFlow, PyTorch, Keras и ONNX. Все, что тебе нужно — это наша веб-платформа или клиент Python для запуска из твоего кода.
Почему Deci?#
Ты можешь использовать Deci не только для экспорта, но и для прунинга (прореживания) и квантования модели!
Deci предоставляет удобный интерфейс для экспорта в любой формат и сравнения производительности исходной и конвертированной моделей. Пользователи предпочитают дополнительно оптимизировать свои модели с помощью квантования.
С Deci ты можешь:#
Улучшить производительность вывода (inference) до 10 раз#
Автоматически компилировать и квантовать свои модели, а также оценивать различные производственные настройки для достижения лучшей задержки, пропускной способности и уменьшения размера модели и объема используемой памяти на твоем оборудовании.
Найти лучшее аппаратное обеспечение для вывода для твоего приложения#
Тестируй производительность своей модели на различных аппаратных (включая edge) устройствах одним нажатием кнопки. Избавься от необходимости вручную настраивать и тестировать множество параметров оборудования и производственных сред.
Развертывать с помощью нескольких строк кода#
Используй движок вывода Deci на базе Python. Совместим с множеством фреймворков и типов оборудования.
Для получения дополнительной информации о платформе Deci посети сайт Deci.
Первоначальная настройка#
Шаг 1#
Открой свой бесплатный аккаунт.
Шаг 2#
Чтобы начать оптимизацию предварительно обученной модели YOLOv5, тебе потребуется конвертировать ее в формат ONNX. Инструкции по конвертации модели в формат ONNX см. в руководстве по экспорту YOLOv5.
Шаг 3#
Перейди на вкладку "Lab" и нажми кнопку "New Model" в правом верхнем углу экрана, чтобы загрузить свою модель ONNX YOLOv5.
Следуй инструкциям мастера загрузки модели, чтобы выбрать целевое оборудование, а также желаемый размер пакета (batch size) и уровень квантования для компиляции модели.
Заполнив соответствующую информацию, нажми "Start". Платформа Deci автоматически выполнит оптимизацию во время выполнения твоей модели Ultralytics YOLOv5 для выбранного оборудования, а также протестирует твою модель на различных типах оборудования. Этот процесс занимает примерно 10 минут.
По завершении на твоем экране появится новая строка под базовой моделью, которую ты загрузил ранее. Здесь ты сможешь увидеть оптимизированную версию твоей предобученной модели Ultralytics YOLOv5.
Что дальше?#
Затем ты можешь скачать свою оптимизированную модель, нажав кнопку "Deploy".
После этого тебе будет предложено скачать модель и получить инструкции по установке и использованию Infery — движка вывода времени выполнения от Deci.
Использование Infery необязательно. Ты можешь получить исходные файлы Python и использовать их с любым другим движком вывода на свой выбор.
Изучи результаты оптимизации и бенчмаркинга на вкладке "Insights".
Готов начать?#
Перед завершением давай обсудим некоторые преимущества, которые предлагает Deci:
- Оптимизируй пропускную способность и задержку вывода твоей модели без ущерба для точности
- Позволяет тебе оптимизировать модели из всех популярных фреймворков
- Поддерживает модели, предназначенные для любых задач глубокого обучения
- Поддерживает развертывание на популярных машинах с CPU и GPU
- Тестирует пригодность твоей модели на различных аппаратных хостах и облачных провайдерах
- Подготавливает загруженные модели к обслуживанию, выводу и развертыванию
Как ты только что видел, ты можешь удвоить производительность модели Ultralytics YOLOv5 всего за 15 минут суммарного времени. Платформа Deci очень проста и интуитивно понятна в использовании.
Остались вопросы? Присоединяйся к нашему сообществу и задай свой вопрос уже сегодня!
