Implantando modelos Ultralytics YOLOv8 quantizados em dispositivos de borda com a DeGirum

Bem-vindo ao resumo de mais uma palestra esclarecedora do nosso evento YOLO VISION 2023 (YV23), realizado no vibrante Google for Startups Campus em Madri. Esta palestra foi apresentada por Shashi Chilappagar, Arquiteto-Chefe e cofundador da DeGirum. Ela explorou o fascinante mundo da quantização e da implementação de modelos quantizados, abordando desafios fundamentais, soluções e possibilidades futuras.

Link to this sectionIntrodução à quantização e implementação de modelos quantizados#

Shashi forneceu uma visão geral abrangente da quantização, destacando sua importância na otimização de modelos YOLO da Ultralytics para implementação em dispositivos de borda. Desde a discussão dos conceitos básicos até a exploração de abordagens para aprimorar a quantização, os participantes obtiveram insights valiosos sobre as complexidades da portabilidade e implementação de modelos.

Link to this sectionDesafios na quantização de modelos YOLO#

A quantização frequentemente apresenta desafios, especialmente com modelos YOLO no TFLite. Nosso público aprendeu sobre a queda significativa na precisão observada quando todas as saídas são quantizadas com a mesma escala/ponto zero, lançando luz sobre as complexidades de manter a precisão do modelo durante o processo de quantização.

Link to this sectionMelhorando a quantização de modelos YOLO#

Felizmente, existem soluções para enfrentar esses desafios. A introdução do fork da DeGirum oferece uma abordagem favorável à quantização, separando as saídas e otimizando a decodificação de BBox. Com esses aprimoramentos, a precisão do modelo quantizado apresenta uma melhoria significativa em relação aos níveis de referência.

Link to this sectionArquiteturas de modelos mais favoráveis à quantização#

Explorar novas arquiteturas de modelo é fundamental para minimizar a perda de quantização. Os participantes descobriram como substituir o SiLU pela ativação ReLU6 limitada leva a uma perda mínima de quantização, oferecendo resultados promissores para manter a precisão em modelos quantizados.

Link to this sectionImplementando modelos quantizados#

Implementar modelos quantizados nunca foi tão fácil, com apenas cinco linhas de código necessárias para executar qualquer modelo na plataforma em nuvem da DeGirum. Uma demonstração de código ao vivo mostrou a simplicidade de detectar objetos com um modelo Ultralytics YOLOv5 quantizado, destacando a integração perfeita de modelos quantizados em aplicações do mundo real.

Para esse fim, a Ultralytics oferece uma variedade de opções de implementação de modelos, permitindo que os usuários finais implementem efetivamente suas aplicações em dispositivos embarcados e de borda. Diferentes formatos de exportação incluem OpenVINO, TorchScript, TensorRT, CoreML, TFLite e TFLite Edge TPU, oferecendo versatilidade e compatibilidade.

Essa integração com aplicações de terceiros para implementação permite que os usuários avaliem o desempenho de nossos modelos em cenários do mundo real.

Link to this sectionUsando diferentes modelos em diferentes hardwares#

Os participantes também obtiveram insights sobre a versatilidade de implementar diferentes modelos em várias plataformas de hardware, demonstrando como uma única base de código pode suportar múltiplos modelos em diferentes aceleradores. Exemplos da execução de diferentes tarefas de detecção em diversas plataformas de hardware demonstraram a flexibilidade e escalabilidade de nossa abordagem.

Link to this sectionRecursos e documentação#

Para capacitar ainda mais os participantes, apresentamos uma seção abrangente de recursos, fornecendo acesso à nossa plataforma em nuvem, exemplos, documentação e muito mais. Nosso objetivo é garantir que todos tenham as ferramentas e o suporte necessários para obter sucesso na implementação eficaz de modelos quantizados.

Link to this sectionConclusão#

À medida que o campo da quantização evolui, é essencial manter-te informado e envolvido. Estamos comprometidos em fornecer suporte contínuo e recursos para te ajudar a navegar nesta jornada emocionante. Confere a apresentação completa Watch the full talk!

Junte-se a nós enquanto continuamos a explorar as últimas tendências e inovações em machine learning e inteligência artificial. Juntos, estamos moldando o futuro da tecnologia e impulsionando mudanças positivas no mundo.