Compilação e Quantização do YOLOv5 da Ultralytics Para Melhor Desempenho Com a Deci

Na Ultralytics, temos parcerias comerciais com outras startups para nos ajudar a financiar a pesquisa e o desenvolvimento de nossas ferramentas de código aberto incríveis, como o YOLOv5, para mantê-las gratuitas para todos. Este artigo pode conter links de afiliados para esses parceiros.

A plataforma Deci inclui ferramentas gratuitas para gerenciar, otimizar e implantar facilmente seus modelos YOLOv5 em qualquer ambiente de produção. A Deci suporta todos os frameworks de DL populares, como TensorFlow, PyTorch, Keras e ONNX. Tudo o que você precisa é da nossa plataforma baseada na web ou do nosso cliente Python para executá-la a partir do seu código.

Link to this sectionPor que a Deci?#

Você pode usar a Deci não apenas para exportar, mas também para fazer poda (pruning) e quantização do modelo!

A Deci oferece uma interface agradável para exportação em qualquer formato e comparação de desempenho entre os modelos originais e convertidos. Os usuários optam por otimizar ainda mais seus modelos através da quantização.

Link to this sectionCom a Deci você pode:#

Link to this sectionMelhorar o desempenho de inferência em até 10x#

Compilar e quantizar automaticamente seus modelos e avaliar diferentes configurações de produção para obter melhor latência, throughput e redução do tamanho do modelo e do uso de memória no seu hardware.

Link to this sectionEncontrar o melhor hardware de inferência para sua aplicação#

Compare o desempenho do seu modelo em vários dispositivos de hardware (incluindo dispositivos edge) com um clique. Elimine a necessidade de configurar e testar manualmente vários hardwares e configurações de produção.

Link to this sectionImplantar com apenas algumas linhas de código#

Aproveite o motor de inferência baseado em Python da Deci. Compatível com múltiplos frameworks e tipos de hardware.

Para mais informações sobre a plataforma Deci, visite o site da Deci.

Link to this sectionConfiguração inicial#

Link to this sectionPasso 1#

Abra sua conta gratuita.

Link to this sectionPasso 2#

Para começar a otimizar seu modelo YOLOv5 pré-treinado, você precisará convertê-lo para o formato ONNX. Veja o Tutorial de Exportação do YOLOv5 para obter instruções sobre como converter seu modelo para o formato ONNX.

Link to this sectionPasso 3#

Vá para a aba "Lab" e clique no botão "New Model" na parte superior direita da tela para fazer upload do seu modelo YOLOv5 ONNX.

Siga as etapas do assistente de upload de modelo para selecionar seu hardware de destino, bem como o tamanho do lote (batch size) e o nível de quantização desejados para a compilação do modelo.

Após preencher as informações relevantes, clique em "Start". A plataforma Deci realizará automaticamente uma otimização de tempo de execução (runtime) do seu modelo YOLOv5 para o hardware que você selecionou, além de avaliar seu modelo em vários tipos de hardware. Este processo leva aproximadamente 10 minutos.

Uma vez concluído, uma nova linha aparecerá na sua tela abaixo do modelo base que você carregou anteriormente. Aqui você pode ver a versão otimizada do seu modelo YOLOv5 pré-treinado.

Link to this sectionO que vem a seguir?#

Você pode então baixar seu modelo otimizado clicando no botão "Deploy".

Você será solicitado a baixar seu modelo e receberá instruções sobre como instalar e usar o Infery - o motor de inferência de runtime da Deci.

O uso do Infery é opcional. Você pode obter os arquivos brutos em Python e usá-los com qualquer outro motor de inferência de sua escolha.

Explore os resultados da otimização e do benchmark na aba "Insights".

Link to this sectionPronto para começar?#

Antes de encerrar, vamos discutir algumas das vantagens que a Deci oferece:

• Otimize o throughput e a latência de inferência do seu modelo sem comprometer a precisão
• Permite que você otimize modelos de todos os frameworks populares
• Suporta modelos direcionados a qualquer tarefa de deep learning
• Suporta implantação em máquinas CPU e GPU populares
• Avalia a adequação do seu modelo em diferentes hosts de hardware e provedores de nuvem
• Deixa os modelos carregados prontos para servir, inferência e implantação

Como você acabou de ver, você pode dobrar o desempenho de um modelo YOLOv5 em 15 minutos de tempo total. A plataforma Deci é super fácil e intuitiva de usar.

Alguma dúvida? Entre na nossa comunidade e deixe sua pergunta hoje mesmo!