Компиляция и квантование Ultralytics YOLOv5 для повышения производительности с Deci

В Ultralytics мы сотрудничаем с другими стартапами на коммерческой основе, чтобы финансировать исследования и разработку наших инструментов с открытым исходным кодом, таких как YOLOv5, и сохранять их бесплатными для всех. Эта статья может содержать партнерские ссылки на этих партнеров.

Обновление: NVIDIA приобрела Deci в 2024 году, а сайт deci.ai теперь перенаправляет на NVIDIA. Описанные ниже шаги для платформы Deci сохранены для справки.

Платформа Deci предлагает бесплатные инструменты для удобного управления, оптимизации и развертывания твоих моделей YOLOv5 в любой производственной среде. Deci поддерживает все популярные фреймворки глубокого обучения, такие как TensorFlow, PyTorch, Keras и ONNX. Чтобы запустить платформу, достаточно воспользоваться веб-интерфейсом или нашим клиентом Python из своего кода.

Почему Deci?#

Deci можно использовать не только для экспорта, но и для прореживания и квантования модели.

Deci предоставляет удобный интерфейс для экспорта в любом формате и сравнения производительности исходных и преобразованных моделей. Пользователи могут дополнительно оптимизировать модели с помощью квантования.

С Deci ты можешь:#

Увеличить скорость инференса до 10 раз#

Автоматически компилируй и квантизируй модели, а также оценивай разные производственные настройки, чтобы добиться меньшей задержки, повысить пропускную способность и сократить размер модели и объем занимаемой ею памяти на своем оборудовании.

Подобрать оптимальное оборудование для инференса в своем приложении#

В один клик сравнивай производительность модели на разных устройствах, в том числе граничных. Больше не нужно вручную настраивать и тестировать множество конфигураций оборудования и производственных параметров.

Развернуть модель всего за несколько строк кода#

Используй механизм инференса Deci на Python. Он совместим с различными фреймворками и типами аппаратного обеспечения.

Первоначальная настройка#

Шаг 1#

Создай бесплатную учетную запись.

Шаг 2#

Чтобы приступить к оптимизации предварительно обученной модели YOLOv5, её нужно преобразовать в формат ONNX. Инструкции по преобразованию модели в формат ONNX смотри в руководстве по экспорту YOLOv5.

Шаг 3#

Перейди на вкладку «Lab» и нажми кнопку «New Model» в правом верхнем углу экрана, чтобы загрузить модель YOLOv5 в формате ONNX.

Следуй инструкциям мастера загрузки модели, чтобы выбрать целевое оборудование, а также нужный размер пакета и уровень квантования для компиляции модели.

Заполнив нужные поля, нажми «Start». Платформа Deci автоматически оптимизирует модель Ultralytics YOLOv5 для выбранного оборудования во время выполнения, а также протестирует ее на различных типах оборудования. Этот процесс занимает около 10 минут.

После завершения под базовой моделью, которую ты загрузил ранее, появится новая строка. Здесь ты увидишь оптимизированную версию предварительно обученной модели Ultralytics YOLOv5.

Что дальше?#

Затем ты можешь скачать оптимизированную модель, нажав кнопку «Deploy».

После этого тебе предложат скачать модель и предоставят инструкции по установке и использованию Infery — движка инференса во время выполнения от Deci.

Использовать Infery необязательно. Ты можешь получить исходные файлы Python и использовать их с любым другим механизмом инференса по своему выбору.

Изучи результаты оптимизации и тестирования на вкладке «Insights».

Готов начать?#

Прежде чем закончить, давай обсудим некоторые преимущества Deci:

• Оптимизируй пропускную способность и задержку инференса модели без ущерба для точности
• Позволяет оптимизировать модели из всех популярных фреймворков
• Поддерживаются модели для любых задач глубокого обучения
• Поддерживает развертывание на популярных компьютерах с CPU и GPU
• Сравнивает эффективность модели на разных аппаратных платформах и у разных облачных провайдеров
• Подготавливает загруженные модели к обслуживанию, инференсу и развертыванию

Как ты только что увидел, производительность модели Ultralytics YOLOv5 можно вдвое повысить примерно за 15 минут. Платформа Deci проста и интуитивно понятна в использовании.

Есть вопросы? Присоединяйся к нашему сообществу и задай вопрос уже сегодня!