Implantando modelos Ultralytics YOLOv8 quantizados em dispositivos de borda com a DeGirum

Bem-vindo ao resumo de mais uma palestra esclarecedora do nosso evento YOLO VISION 2023 (YV23), realizado no vibrante Google for Startups Campus em Madrid. Esta palestra foi apresentada por Shashi Chilappagar, Arquiteto-Chefe e Co-Fundador na DeGirum. O tema abordado foi o mundo fascinante da quantização e implantação de modelos quantizados, explorando desafios principais, soluções e possibilidades futuras.

Introdução à quantização e implementação de modelos quantizados#

Shashi apresentou uma visão geral abrangente da quantização, destacando sua importância na otimização de modelos Ultralytics YOLO para implantação em dispositivos de borda. Desde a discussão dos conceitos básicos até a exploração de abordagens para melhorar a quantização, os participantes obtiveram percepções valiosas sobre as complexidades da portabilidade e implantação de modelos.

Desafios na quantização de modelos YOLO#

A quantização muitas vezes apresenta desafios, particularmente com modelos YOLO no TFLite. Nossa audiência aprendeu sobre a queda significativa na precisão observada quando todas as saídas são quantizadas com a mesma escala/ponto zero, esclarecendo as complexidades de manter a precisão do modelo durante o processo de quantização.

Melhorando a quantização de modelos YOLO#

Felizmente, existem soluções para enfrentar esses desafios. A introdução do fork da DeGirum oferece uma abordagem favorável à quantização, separando as saídas e otimizando a decodificação de BBox. Com esses aprimoramentos, a precisão do modelo quantizado apresenta uma melhoria significativa em relação aos níveis de referência.

Arquiteturas de modelos mais favoráveis à quantização#

Explorar novas arquiteturas de modelo é fundamental para minimizar a perda de quantização. Os participantes descobriram como substituir o SiLU pela ativação ReLU6 limitada leva a uma perda mínima de quantização, oferecendo resultados promissores para manter a precisão em modelos quantizados.

Implementando modelos quantizados#

Implantar modelos quantizados nunca foi tão fácil, bastando cinco linhas de código para executar qualquer modelo na plataforma em nuvem da DeGirum. Uma demonstração de código ao vivo mostrou a simplicidade de detectar objetos com um modelo Ultralytics YOLOv5 quantizado, destacando a integração perfeita de modelos quantizados em aplicações do mundo real.

Para esse efeito, a Ultralytics oferece uma variedade de opções de implantação de modelos, permitindo que os usuários finais implantem eficazmente suas aplicações em dispositivos embarcados e de borda. Diferentes formatos de exportação incluem OpenVINO, TorchScript, TensorRT, CoreML, TFLite e TFLite Edge TPU, oferecendo versatilidade e compatibilidade.

Essa integração com aplicações de terceiros para implementação permite que os usuários avaliem o desempenho de nossos modelos em cenários do mundo real.

Usando diferentes modelos em diferentes hardwares#

Os participantes também obtiveram insights sobre a versatilidade de implementar diferentes modelos em várias plataformas de hardware, demonstrando como uma única base de código pode suportar múltiplos modelos em diferentes aceleradores. Exemplos da execução de diferentes tarefas de detecção em diversas plataformas de hardware demonstraram a flexibilidade e escalabilidade de nossa abordagem.

Recursos e documentação#

Para capacitar ainda mais os participantes, introduzimos uma seção abrangente de recursos, fornecendo acesso à nossa plataforma em nuvem, exemplos, documentation e muito mais. Nosso objetivo é garantir que todos tenham as ferramentas e o suporte necessários para ter sucesso na implantação eficaz de modelos quantizados.

Conclusão#

Como o campo da quantização evolui, é essencial manter-se informado e engajado. Estamos comprometidos em fornecer suporte contínuo e recursos para ajudar você a navegar nesta jornada emocionante. Assista à palestra completa Watch the full talk!

Junte-se a nós enquanto continuamos a explorar as últimas tendências e inovações em machine learning e inteligência artificial. Juntos, estamos moldando o futuro da tecnologia e impulsionando mudanças positivas no mundo.