Integrações

Compilação e Quantização do YOLOv5 da Ultralytics Para Melhor Desempenho Com a Deci

Otimiza e implementa modelos YOLOv5 da Ultralytics com a plataforma da Deci, aumentando o desempenho em até 10x. Começa gratuitamente e aproveita a otimização automática de modelos.

NUNuvola Ladi4 min readOctober 26, 2022

Compilação e quantização do YOLOv5 com a Deci para maior velocidade

Na Ultralytics, temos parcerias comerciais com outras startups para nos ajudar a financiar a pesquisa e o desenvolvimento de nossas ferramentas de código aberto incríveis, como o YOLOv5, para mantê-las gratuitas para todos. Este artigo pode conter links de afiliados para esses parceiros.

A plataforma Deci inclui ferramentas gratuitas para gerenciar, otimizar e implantar facilmente seus modelos YOLOv5 em qualquer ambiente de produção. O Deci suporta todos os frameworks de DL populares, como TensorFlow, PyTorch, Keras e ONNX. Tudo o que precisas é da nossa plataforma baseada na web ou do nosso cliente Python para executá-la a partir do teu código.

Por que a Deci?#

Você pode usar a Deci não apenas para exportar, mas também para fazer poda (pruning) e quantização do modelo!

A Deci oferece uma interface agradável para exportação em qualquer formato e comparação de desempenho entre os modelos originais e convertidos. Os usuários optam por otimizar ainda mais seus modelos através da quantização.

Com a Deci você pode:#

Melhorar o desempenho de inferência em até 10x#

Compilar e quantizar automaticamente seus modelos e avaliar diferentes configurações de produção para obter melhor latência, throughput e redução do tamanho do modelo e do uso de memória no seu hardware.

Encontrar o melhor hardware de inferência para sua aplicação#

Compare o desempenho do seu modelo em vários dispositivos de hardware (incluindo dispositivos edge) com um clique. Elimine a necessidade de configurar e testar manualmente vários hardwares e configurações de produção.

Implantar com apenas algumas linhas de código#

Aproveite o motor de inferência baseado em Python da Deci. Compatível com múltiplos frameworks e tipos de hardware.

Para mais informações sobre a plataforma Deci, visita o site da Deci.

Configuração inicial#

Passo 1#

Abra sua conta gratuita.

Começa com o Deci e o Ultralytics YOLOv5

Passo 2#

Para começares a otimizar o teu modelo YOLOv5 pré-treinado, precisarás de o converter para o formato ONNX. Consulta o Tutorial de Exportação do YOLOv5 para obteres instruções sobre como converter o teu modelo para o formato ONNX.

Passo 3#

Vai ao separador "Lab" e clica no botão "New Model" na parte superior direita do ecrã para carregar o teu modelo YOLOv5 ONNX.

Converte modelos Ultralytics YOLOv5 para ONNX para futura implantação com o Deci

Siga as etapas do assistente de upload de modelo para selecionar seu hardware de destino, bem como o tamanho do lote (batch size) e o nível de quantização desejados para a compilação do modelo.

Compilação do modelo Ultralytics YOLOv5 para implantação com o Deci

Depois de preencher as informações relevantes, clica em "Start". A plataforma da Deci fará automaticamente uma otimização de tempo de execução do teu modelo Ultralytics YOLOv5 para o hardware que selecionaste, além de avaliar o desempenho do teu modelo em vários tipos de hardware. Este processo demora aproximadamente 10 minutos.

Assim que terminar, aparecerá uma nova linha no teu ecrã, por baixo do modelo de referência que carregaste anteriormente. Aqui podes ver a versão otimizada do teu modelo pré-treinado Ultralytics YOLOv5.

Modelo otimizado Ultralytics YOLOv5 para implantação com o Deci

O que vem a seguir?#

Você pode então baixar seu modelo otimizado clicando no botão "Deploy".

Modelo Ultralytics YOLOv5 pronto para implantação com o Deci

Você será solicitado a baixar seu modelo e receberá instruções sobre como instalar e usar o Infery - o motor de inferência de runtime da Deci.

O uso do Infery é opcional. Você pode obter os arquivos brutos em Python e usá-los com qualquer outro motor de inferência de sua escolha.

Usa o Deci Infery para implantar o Ultralytics YOLOv5

Explore os resultados da otimização e do benchmark na aba "Insights".

Otimização com o Deci do modelo Ultralytics YOLOv5

Pronto para começar?#

Antes de encerrar, vamos discutir algumas das vantagens que a Deci oferece:

Otimize o throughput e a latência de inferência do seu modelo sem comprometer a precisão
Permite que você otimize modelos de todos os frameworks populares
Suporta modelos direcionados a qualquer tarefa de deep learning
Suporta implantação em máquinas CPU e GPU populares
Avalia a adequação do seu modelo em diferentes hosts de hardware e provedores de nuvem
Deixa os modelos carregados prontos para servir, inferência e implantação

Como acabaste de ver, podes duplicar o desempenho de um modelo Ultralytics YOLOv5 num tempo total de 15 minutos. A plataforma da Deci é super fácil e intuitiva de usar.

Alguma dúvida? Junta-te à nossa comunidade e deixa a tua pergunta hoje mesmo!