27 de março de 2024
Descubra a implantação de modelos YOLOv8 quantizados com DeGirum. Aprenda desafios, soluções e técnicas de implantação para dispositivos de borda. Modele o futuro conosco!
Bem-vindo ao resumo de outra palestra perspicaz do nosso evento YOLO VISION 2023 (YV23), realizado no vibrante Google for Startups Campus em Madrid. Esta palestra foi proferida por Shashi Chilappagar, Arquiteto Chefe e Co-Fundador da DeGirum. Ela mergulhou no fascinante mundo da quantização e da implantação de modelos quantizados, explorando os principais desafios, soluções e possibilidades futuras.
Shashi forneceu uma visão geral abrangente da quantização, destacando sua importância na otimização de modelos Ultralytics YOLO para implantação em dispositivos edge. Desde a discussão dos fundamentos até a exploração de abordagens para melhorar a quantização, os participantes obtiveram insights valiosos sobre as complexidades da portabilidade e implantação de modelos.
A quantização geralmente apresenta desafios, principalmente com modelos YOLO no TFLite. Nosso público aprendeu sobre a queda significativa na precisão observada quando todas as saídas são quantizadas com a mesma escala/ponto zero, lançando luz sobre as complexidades de manter a precisão do modelo durante o processo de quantização.
Felizmente, existem soluções para enfrentar esses desafios. A introdução do fork DigiRAM oferece uma abordagem amigável à quantização, separando as saídas e otimizando a decodificação da caixa delimitadora. Com essas melhorias, a precisão do modelo quantizado apresenta uma melhoria significativa em relação aos níveis de base.
Explorar novas arquiteturas de modelos é fundamental para minimizar a perda de quantização. Os participantes descobriram como substituir CILU pela ativação Relu6 limitada leva a uma perda de quantização mínima, oferecendo resultados promissores para manter a precisão em modelos quantizados.
Implementar modelos quantizados nunca foi tão fácil, com apenas cinco linhas de código necessárias para executar qualquer modelo na plataforma de nuvem Digitim. Uma demonstração de código ao vivo mostrou a simplicidade de detectar objetos com um modelo Ultralytics YOLOv5 quantizado, destacando a integração perfeita de modelos quantizados em aplicações do mundo real.
Para este efeito, a Ultralytics fornece uma variedade de opções de implementação de modelos, permitindo que os utilizadores finais implementem eficazmente as suas aplicações em dispositivos integrados e de edge. Diferentes formatos de exportação incluem OpenVINO, TorchScript, TensorRT, CoreML, TFlite e TFlite EDGE TPU, oferecendo versatilidade e compatibilidade.
Esta integração com aplicações de terceiros para implementação permite que os utilizadores avaliem o desempenho dos nossos modelos em cenários do mundo real.
Os participantes também obtiveram insights sobre a versatilidade da implantação de diferentes modelos em várias plataformas de hardware, mostrando como uma única base de código pode suportar vários modelos em diferentes aceleradores. Exemplos de execução de diferentes tarefas de detecção em diversas plataformas de hardware demonstraram a flexibilidade e a escalabilidade de nossa abordagem.
Para capacitar ainda mais os participantes, introduzimos uma seção abrangente de recursos, fornecendo acesso à nossa plataforma de nuvem, exemplos, documentação e muito mais. Nosso objetivo é garantir que todos tenham as ferramentas e o suporte necessários para ter sucesso na implantação eficaz de modelos quantizados.
À medida que o campo da quantização evolui, é essencial manter-se informado e engajado. Estamos comprometidos em fornecer suporte e recursos contínuos para ajudá-lo a navegar nesta jornada emocionante. Confira a palestra completa aqui!
Junte-se a nós enquanto continuamos a explorar as últimas tendências e inovações em aprendizado de máquina e inteligência artificial. Juntos, estamos moldando o futuro da tecnologia e impulsionando mudanças positivas no mundo.
.webp)