Compilando e quantizando Ultralytics YOLOv5 para melhorar o desempenho com a Deci

Na Ultralytics, estabelecemos parcerias comerciais com outras startups para ajudar a financiar a pesquisa e o desenvolvimento de nossas ferramentas de código aberto, como o YOLOv5, e mantê-las gratuitas para todos. Este artigo pode conter links de afiliados para esses parceiros.

Atualização: a NVIDIA adquiriu a Deci em 2024, e deci.ai agora redireciona para a NVIDIA. As etapas da plataforma Deci foram mantidas como referência.

A plataforma Deci inclui ferramentas gratuitas para gerenciar, otimizar e implantar facilmente seus modelos YOLOv5 em qualquer ambiente de produção. A Deci oferece suporte a todos os frameworks populares de aprendizado profundo, como TensorFlow, PyTorch, Keras e ONNX. Você só precisa da nossa plataforma baseada na Web ou do nosso cliente Python para executá-la no seu código.

Por que a Deci?#

Você pode usar a Deci não só para exportar, mas também para podar e fazer a quantização do modelo.

A Deci oferece uma interface prática para exportar em qualquer formato e comparar o desempenho dos modelos original e convertido. Os usuários podem optar por otimizar ainda mais os modelos por meio da quantização.

Com a Deci, você pode:#

Aumentar o desempenho da inferência em até 10 vezes#

Compile e quantize seus modelos automaticamente e avalie diferentes configurações de produção para obter menor latência, maior taxa de transferência e reduzir o tamanho do modelo e o uso de memória no seu hardware.

Encontre o melhor hardware de inferência para sua aplicação#

Compare com um clique o desempenho do seu modelo em diversos dispositivos de hardware, incluindo dispositivos de borda. Elimine a necessidade de configurar e testar manualmente vários hardwares e configurações de produção.

Implante com poucas linhas de código#

Aproveite o mecanismo de inferência da Deci baseado em Python. Ele é compatível com diversos frameworks e tipos de hardware.

Configuração inicial#

Etapa 1#

Cria a tua conta gratuita.

Etapa 2#

Para começar a otimizar seu modelo YOLOv5 pré-treinado, você precisará convertê-lo para o formato ONNX. Consulte o tutorial de exportação do YOLOv5 para saber como converter seu modelo para o formato ONNX.

Etapa 3#

Acede ao separador "Lab" e clica no botão "New Model", no canto superior direito do ecrã, para carregar o teu modelo YOLOv5 ONNX.

Segue as etapas do assistente de carregamento de modelos para selecionar o hardware de destino, bem como o tamanho de lote e o nível de quantização pretendidos para a compilação do modelo.

Depois de preencheres as informações relevantes, clica em "Start". A plataforma Deci otimizará automaticamente o tempo de execução do teu modelo Ultralytics YOLOv5 para o hardware selecionado e avaliará o desempenho do modelo em vários tipos de hardware. Este processo demora cerca de 10 minutos.

Quando o processo terminar, aparecerá uma nova linha no ecrã, por baixo do modelo de referência que carregaste anteriormente. Aqui podes ver a versão otimizada do teu modelo Ultralytics YOLOv5 pré-treinado.

E agora?#

Em seguida, podes transferir o teu modelo otimizado clicando no botão "Deploy".

Ser-te-á pedido que transfiras o teu modelo e receberás instruções sobre como instalar e utilizar o Infery, o motor de inferência em tempo de execução da Deci.

O uso do Infery é opcional. Você pode obter os arquivos Python brutos e usá-los com qualquer outro mecanismo de inferência de sua preferência.

Explora os resultados da otimização e dos testes de desempenho no separador "Insights".

Pronto para começar?#

Antes de terminar, vamos falar sobre algumas das vantagens que o Deci oferece:

• Otimiza o débito e a latência da inferência do teu modelo sem comprometer a precisão
• Permite otimizar modelos de todas as estruturas populares
• Oferece suporte a modelos voltados para qualquer tarefa de deep learning
• É compatível com a implementação em máquinas populares com CPU e GPU
• Avalia o desempenho do teu modelo em diferentes hosts de hardware e fornecedores de cloud
• Prepara os modelos carregados para disponibilização, inferência e implementação

Como você acabou de ver, é possível dobrar o desempenho de um modelo Ultralytics YOLOv5 em cerca de 15 minutos. A plataforma Deci é fácil e intuitiva de usar.

Tens alguma pergunta? Junta-te à nossa comunidade e coloca a tua pergunta hoje mesmo!