27 de março de 2024
Descubra a implantação de modelos YOLOv8 quantizados com o DeGirum. Aprenda desafios, soluções e técnicas de implantação para dispositivos de ponta. Dê forma ao futuro connosco!
Bem-vindo à recapitulação de outra palestra perspicaz do nosso evento YOLO VISION 2023 (YV23), realizado no vibrante Campus Google for Startups em Madrid. Esta palestra foi proferida por Shashi Chilappagar, arquiteto-chefe e cofundador da DeGirum. Ele mergulhou no fascinante mundo da quantização e da implantação de modelos quantizados, explorando os principais desafios, soluções e possibilidades futuras.
Shashi apresentou uma visão geral abrangente da quantização, destacando a sua importância na otimização da Ultralytics YOLO para implantação em dispositivos de borda. Desde a discussão dos conceitos básicos até a exploração de abordagens para melhorar a quantização, os participantes obtiveram informações valiosas sobre as complexidades da portabilidade e implantação de modelos.
A quantização coloca frequentemente desafios, nomeadamente com os modelos YOLO no TFLite. A nossa audiência ficou a conhecer a queda significativa na precisão observada quando todas as saídas são quantizadas com a mesma escala/ponto zero, esclarecendo as complexidades de manter a precisão do modelo durante o processo de quantização.
Felizmente, existem soluções para enfrentar esses desafios. A introdução do fork DigiRAM oferece uma abordagem amigável à quantização, separando as saídas e otimizando a decodificação da caixa delimitadora. Com essas melhorias, a precisão do modelo quantizado apresenta uma melhoria significativa em relação aos níveis de base.
Explorar novas arquiteturas de modelos é fundamental para minimizar a perda de quantização. Os participantes descobriram como substituir CILU pela ativação Relu6 limitada leva a uma perda de quantização mínima, oferecendo resultados promissores para manter a precisão em modelos quantizados.
A implantação de modelos quantizados nunca foi tão fácil, com apenas cinco linhas de código necessárias para executar qualquer modelo na plataforma de nuvem Digitim. Uma demonstração de código ao vivo mostrou a simplicidade da deteção de objetos com um modelo quantizado Ultralytics YOLOv5 destacando a integração perfeita de modelos quantizados em aplicações do mundo real.
Para o efeito, Ultralytics fornece uma variedade de opções de implementação de modelos, permitindo que os utilizadores finais implementem eficazmente as suas aplicações em dispositivos incorporados e periféricos. Os diferentes formatos de exportação incluem OpenVINO, TorchScript, TensorRT, CoreMLTFlite e TFlite EDGE TPU, oferecendo versatilidade e compatibilidade.
Esta integração com aplicações de terceiros para implementação permite que os utilizadores avaliem o desempenho dos nossos modelos em cenários do mundo real.
Os participantes também obtiveram insights sobre a versatilidade da implantação de diferentes modelos em várias plataformas de hardware, mostrando como uma única base de código pode suportar vários modelos em diferentes aceleradores. Exemplos de execução de diferentes tarefas de detecção em diversas plataformas de hardware demonstraram a flexibilidade e a escalabilidade de nossa abordagem.
Para capacitar ainda mais os participantes, introduzimos uma seção abrangente de recursos, fornecendo acesso à nossa plataforma de nuvem, exemplos, documentação e muito mais. Nosso objetivo é garantir que todos tenham as ferramentas e o suporte necessários para ter sucesso na implantação eficaz de modelos quantizados.
À medida que o campo da quantização evolui, é essencial manter-se informado e engajado. Estamos comprometidos em fornecer suporte e recursos contínuos para ajudá-lo a navegar nesta jornada emocionante. Confira a palestra completa aqui!
Junte-se a nós enquanto continuamos a explorar as últimas tendências e inovações em aprendizado de máquina e inteligência artificial. Juntos, estamos moldando o futuro da tecnologia e impulsionando mudanças positivas no mundo.
