27 de março de 2024
Descubra a implantação de modelos YOLOv8 quantizados com o DeGirum. Aprenda desafios, soluções e técnicas de implantação para dispositivos de ponta. Dê forma ao futuro connosco!
Bem-vindo à recapitulação de outra palestra perspicaz do nosso evento YOLO VISION 2023 (YV23), realizado no vibrante Campus Google for Startups em Madrid. Esta palestra foi proferida por Shashi Chilappagar, arquiteto-chefe e cofundador da DeGirum. Ele mergulhou no fascinante mundo da quantização e da implantação de modelos quantizados, explorando os principais desafios, soluções e possibilidades futuras.
Shashi forneceu uma visão geral abrangente da quantização, destacando sua importância na otimização dos modelos Ultralytics YOLO para implantação em dispositivos de ponta. Desde a discussão dos conceitos básicos até a exploração de abordagens para melhorar a quantização, os participantes obtiveram informações valiosas sobre as complexidades da portabilidade e implantação de modelos.
A quantização frequentemente apresenta desafios, particularmente com modelos YOLO no TFLite. O nosso público ficou a conhecer a queda significativa na precisão observada quando todas as saídas são quantizadas com a mesma escala/ponto zero, esclarecendo as complexidades de manter a precisão do modelo durante o processo de quantização.
Felizmente, existem soluções para enfrentar estes desafios. A introdução do fork DigiRAM oferece uma abordagem favorável à quantização, separando as saídas e optimizando a descodificação da caixa delimitadora. Com estas melhorias, a precisão do modelo quantizado regista uma melhoria significativa em relação aos níveis de base.
A exploração de novas arquitecturas de modelos é fundamental para minimizar a perda de quantização. Os participantes descobriram como a substituição da CILU pela ativação limitada do Relu6 leva a uma perda mínima de quantização, oferecendo resultados promissores para manter a precisão em modelos quantizados.
A implantação de modelos quantizados nunca foi tão fácil, com apenas cinco linhas de código necessárias para executar qualquer modelo na plataforma de nuvem Digitim. Uma demonstração de código ao vivo mostrou a simplicidade da deteção de objetos com um modelo quantificado Ultralytics YOLOv5, destacando a integração perfeita de modelos quantificados em aplicações do mundo real.
Para este efeito, o Ultralytics fornece uma variedade de opções de implementação de modelos, permitindo que os utilizadores finais implementem eficazmente as suas aplicações em dispositivos incorporados e periféricos. Os diferentes formatos de exportação incluem OpenVINO, TorchScript, TensorRT, CoreML, TFlite e TFlite EDGE TPU, oferecendo versatilidade e compatibilidade.
Esta integração com aplicações de terceiros para implantação permite aos utilizadores avaliar o desempenho dos nossos modelos em cenários reais.
Os participantes também obtiveram informações sobre a versatilidade da implantação de diferentes modelos em várias plataformas de hardware, mostrando como uma única base de código pode suportar vários modelos em diferentes aceleradores. Exemplos de execução de diferentes tarefas de deteção em diversas plataformas de hardware demonstraram a flexibilidade e a escalabilidade da nossa abordagem.
Para capacitar ainda mais os participantes, introduzimos uma secção de recursos abrangente, fornecendo acesso à nossa plataforma de nuvem, exemplos, documentação e muito mais. O nosso objetivo é garantir que todos dispõem das ferramentas e do apoio de que necessitam para serem bem sucedidos na implementação eficaz de modelos quantizados.
À medida que o campo da quantização evolui, é essencial manter-se informado e envolvido. Estamos empenhados em fornecer apoio e recursos contínuos para o ajudar a navegar nesta viagem emocionante. Veja a palestra completa aqui!
Junte-se a nós enquanto continuamos a explorar as últimas tendências e inovações em aprendizagem automática e inteligência artificial. Juntos, estamos a moldar o futuro da tecnologia e a promover mudanças positivas no mundo.
.webp)
