Implementação de modelos Ultralytics YOLOv8 quantizados em dispositivos de borda com DeGirum

Bem-vindo ao resumo de mais uma palestra esclarecedora do nosso evento YOLO VISION 2023 (YV23), realizado no Google for Startups Campus, em Madri. A palestra foi apresentada por Shashi Chilappagar, arquiteto-chefe e cofundador da DeGirum. O tema foi quantização e implantação de modelos quantizados, com uma análise dos principais desafios, soluções e possibilidades futuras.

Introdução à quantização e à implantação de modelos quantizados#

Shashi apresentou uma visão abrangente da quantização e destacou sua importância para otimizar modelos Ultralytics YOLO para implantação em dispositivos de borda. Da discussão dos conceitos básicos à exploração de abordagens para aprimorar a quantização, os participantes obtiveram informações valiosas sobre as particularidades da adaptação e implantação de modelos.

Desafios na quantização de modelos YOLO#

A quantização costuma apresentar desafios, especialmente com modelos YOLO no TFLite. Nosso público conheceu a queda significativa na precisão observada quando todas as saídas são quantizadas com a mesma escala/ponto zero, o que revelou as complexidades de manter a precisão do modelo durante o processo de quantização.

Aprimorando a quantização de modelos YOLO#

Felizmente, existem soluções para enfrentar esses desafios. A introdução do fork da DeGirum oferece uma abordagem favorável à quantização ao separar as saídas e otimizar a decodificação das caixas delimitadoras. Com esses aprimoramentos, a precisão do modelo quantizado aumenta significativamente em relação aos níveis de referência.

Arquiteturas de modelo mais favoráveis à quantização#

Explorar novas arquiteturas de modelo é fundamental para minimizar a perda causada pela quantização. Os participantes descobriram como substituir a ativação SiLU pela ReLU6 limitada resulta em uma perda mínima de quantização, oferecendo resultados promissores para manter a precisão em modelos quantizados.

Implantação de modelos quantizados#

Implantar modelos quantizados é simples: bastam cinco linhas de código para executar qualquer modelo na plataforma de nuvem da DeGirum. Uma demonstração de código ao vivo mostrou como é simples detectar objetos com um modelo Ultralytics YOLOv5 quantizado e destacou a facilidade de integrar modelos quantizados a aplicações do mundo real.

Para isso, a Ultralytics oferece diversas opções de implantação de modelos, permitindo que os usuários finais implantem suas aplicações com eficiência em dispositivos integrados e de borda. Entre os diferentes formatos de exportação estão OpenVINO, TorchScript, TensorRT, CoreML, TFLite e TFLite Edge TPU, que oferecem versatilidade e compatibilidade.

Essa integração com aplicações de terceiros para implantação permite que os usuários avaliem o desempenho dos nossos modelos em situações do mundo real.

Uso de diferentes modelos em diferentes hardwares#

Os participantes também conheceram a versatilidade de implantar diferentes modelos em várias plataformas de hardware, demonstrando como uma única base de código pode oferecer suporte a vários modelos em diferentes aceleradores. Exemplos de execução de diferentes tarefas de detecção em diversas plataformas de hardware demonstraram a flexibilidade e a escalabilidade da nossa abordagem.

Recursos e documentação#

Para capacitar ainda mais os participantes, apresentamos uma seção abrangente de recursos, que dá acesso à nossa plataforma de nuvem, a exemplos, à documentação e muito mais. Nosso objetivo é garantir que todos tenham as ferramentas e o suporte necessários para implantar modelos quantizados com eficiência.

Encerramento#

Com a evolução da área de quantização, é essencial manter-se informado e participar. Temos o compromisso de oferecer suporte e recursos continuamente para ajudar você a acompanhar essa área em evolução. Assista à palestra completa no YouTube.

Junte-se a nós enquanto continuamos explorando as últimas tendências e inovações em aprendizado de máquina e inteligência artificial.