Compilar e quantizar o Ultralytics YOLOv5 para obter melhor desempenho com a Deci

Na Ultralytics, estabelecemos parcerias comerciais com outras startups para ajudar a financiar a investigação e o desenvolvimento das nossas fantásticas ferramentas de código aberto, como o YOLOv5, para as manter gratuitas para todos. Este artigo pode conter links de afiliados para esses parceiros.

A plataforma Deci inclui ferramentas gratuitas para gerir, otimizar e implementar facilmente os seus modelos YOLOv5 em qualquer ambiente de produção. A Deci suporta todas as estruturas de DL populares, como TensorFlow, PyTorch, Keras e ONNX. Tudo o que precisa é da nossa plataforma baseada na web ou do nosso cliente Python para a executar a partir do seu código.

Porquê a Deci?#

Pode utilizar a Deci não só para exportar, mas também para podar e quantizar o modelo!

A Deci disponibiliza uma interface intuitiva para exportar para qualquer formato e comparar o desempenho entre os modelos original e convertido. Os utilizadores podem otimizar ainda mais os seus modelos através da quantização.

Com a Deci, pode:#

Melhorar o desempenho da inferência até 10 vezes#

Compilar e quantizar automaticamente os seus modelos e avaliar diferentes configurações de produção para obter menor latência, maior débito e redução do tamanho e da utilização de memória do modelo no seu hardware.

Encontrar o melhor hardware de inferência para a sua aplicação#

Avaliar o desempenho do seu modelo em vários dispositivos de hardware, incluindo dispositivos de edge, com um simples clique. Elimine a necessidade de configurar e testar manualmente várias configurações de hardware e produção.

Implementar com algumas linhas de código#

Tire partido do motor de inferência baseado em Python da Deci. Compatível com várias estruturas e tipos de hardware.

Para obter mais informações sobre a plataforma Deci, visite o site da Deci.

Configuração inicial#

Passo 1#

Abra a sua conta gratuita.

Passo 2#

Para começar a otimizar o seu modelo YOLOv5 pré-treinado, terá de o converter para o formato ONNX. Consulte o tutorial de exportação do YOLOv5 para obter instruções sobre como converter o seu modelo para o formato ONNX.

Passo 3#

Aceda ao separador "Lab" e clique no botão "New Model" na parte superior direita do ecrã para carregar o seu modelo YOLOv5 ONNX.

Siga os passos do assistente de carregamento do modelo para selecionar o hardware de destino, bem como o tamanho do lote e o nível de quantização pretendidos para a compilação do modelo.

Depois de preencher as informações relevantes, clique em "Start". A plataforma Deci irá otimizar automaticamente o tempo de execução do seu modelo Ultralytics YOLOv5 para o hardware selecionado e avaliar o seu modelo em vários tipos de hardware. Este processo demora aproximadamente 10 minutos.

Quando terminar, será apresentada uma nova linha no ecrã, por baixo do modelo de referência que carregou anteriormente. Aqui pode ver a versão otimizada do seu modelo Ultralytics YOLOv5 pré-treinado.

O que vem a seguir?#

Pode então transferir o seu modelo otimizado clicando no botão "Deploy".

Em seguida, ser-lhe-á pedido que transfira o seu modelo e receberá instruções sobre como instalar e utilizar o Infery, o motor de inferência em tempo de execução da Deci.

A utilização do Infery é opcional. Pode obter os ficheiros Python originais e utilizá-los com qualquer outro motor de inferência à sua escolha.

Explore os resultados da otimização e da avaliação no separador "Insights".

Pronto para começar?#

Antes de terminar, vamos discutir algumas das vantagens que a Deci oferece:

• Otimize o débito e a latência da inferência do seu modelo sem comprometer a precisão
• Permite otimizar modelos de todas as estruturas populares
• Suporta modelos direcionados a qualquer tarefa de aprendizagem profunda
• Suporta a implementação em máquinas populares com CPU e GPU
• Avalia a adequação do seu modelo em diferentes hosts de hardware e fornecedores de cloud
• Prepara os modelos carregados para disponibilização, inferência e implementação

Como acabou de ver, pode duplicar o desempenho de um modelo Ultralytics YOLOv5 num tempo total de 15 minutos. A plataforma Deci é muito fácil e intuitiva de utilizar.

Tem alguma pergunta? Junte-se à nossa comunidade e deixe a sua pergunta hoje!