Implementação de modelos Ultralytics YOLOv8 quantizados em dispositivos de edge com o DeGirum

Bem-vindo ao resumo de outra palestra esclarecedora do nosso evento YOLO VISION 2023 (YV23), realizado no vibrante Google for Startups Campus, em Madrid. Esta palestra foi apresentada por Shashi Chilappagar, Chief Architect e cofundador da DeGirum. A palestra explorou o fascinante mundo da quantização e da implementação de modelos quantizados, analisando os principais desafios, soluções e possibilidades futuras.

Introdução à quantização e à implementação de modelos quantizados#

Shashi apresentou uma visão geral abrangente da quantização, destacando a sua importância na otimização dos modelos YOLO da Ultralytics para implementação em dispositivos de edge. Desde a discussão dos conceitos básicos até à exploração de abordagens para melhorar a quantização, os participantes obtiveram informações valiosas sobre as complexidades da portabilidade e da implementação de modelos.

Desafios na quantização de modelos YOLO#

A quantização apresenta frequentemente desafios, especialmente nos modelos YOLO em TFLite. O nosso público ficou a conhecer a redução significativa da precisão observada quando todas as saídas são quantizadas com a mesma escala/ponto zero, compreendendo melhor as complexidades da manutenção da precisão do modelo durante o processo de quantização.

Melhoria da quantização de modelos YOLO#

Felizmente, existem soluções para resolver estes desafios. A introdução do fork da DeGirum oferece uma abordagem favorável à quantização, separando as saídas e otimizando a descodificação das caixas delimitadoras. Com estas melhorias, a precisão do modelo quantizado aumenta significativamente em relação aos níveis de referência.

Arquiteturas de modelos mais favoráveis à quantização#

A exploração de novas arquiteturas de modelos é fundamental para minimizar a perda causada pela quantização. Os participantes descobriram como a substituição da ativação SiLU pela ReLU6 limitada resulta numa perda mínima de quantização, oferecendo resultados promissores para a manutenção da precisão em modelos quantizados.

Implementação de modelos quantizados#

A implementação de modelos quantizados nunca foi tão fácil: são necessárias apenas cinco linhas de código para executar qualquer modelo na plataforma de cloud da DeGirum. Uma demonstração de código ao vivo mostrou a simplicidade da deteção de objetos com um modelo Ultralytics YOLOv5 quantizado, destacando a integração perfeita de modelos quantizados em aplicações do mundo real.

Para este efeito, a Ultralytics disponibiliza várias opções de implementação de modelos, permitindo aos utilizadores finais implementar eficazmente as suas aplicações em dispositivos incorporados e de edge. Os diferentes formatos de exportação incluem OpenVINO, TorchScript, TensorRT, CoreML, TFLite e TFLite Edge TPU, oferecendo versatilidade e compatibilidade.

Esta integração com aplicações de terceiros para implementação permite aos utilizadores avaliar o desempenho dos nossos modelos em cenários do mundo real.

Utilização de diferentes modelos em diferentes hardwares#

Os participantes também obtiveram informações sobre a versatilidade da implementação de diferentes modelos em várias plataformas de hardware, demonstrando como uma única base de código pode suportar vários modelos em diferentes aceleradores. Exemplos da execução de diferentes tarefas de deteção em diversas plataformas de hardware demonstraram a flexibilidade e a escalabilidade da nossa abordagem.

Recursos e documentação#

Para capacitar ainda mais os participantes, apresentámos uma secção abrangente de recursos, com acesso à nossa plataforma de cloud, exemplos, documentação e muito mais. O nosso objetivo é garantir que todos dispõem das ferramentas e do suporte necessários para implementar modelos quantizados de forma eficaz.

Conclusão#

À medida que o campo da quantização evolui, é essencial manter-se informado e envolvido. Estamos empenhados em disponibilizar suporte e recursos contínuos para ajudar-te a navegar nesta jornada empolgante. Vê a palestra completa Assiste à palestra completa!

Junta-te a nós enquanto continuamos a explorar as últimas tendências e inovações em machine learning e inteligência artificial. Juntos, estamos a moldar o futuro da tecnologia e a promover mudanças positivas no mundo.