Implementación de modelos Ultralytics YOLOv8 cuantizados en dispositivos periféricos con DeGirum

Te damos la bienvenida al resumen de otra charla reveladora de nuestro evento YOLO VISION 2023 (YV23), celebrado en el dinámico Google for Startups Campus de Madrid. La charla corrió a cargo de Shashi Chilappagar, arquitecto jefe y cofundador de DeGirum. En ella se exploró el fascinante mundo de la cuantización y el despliegue de modelos cuantizados, abordando desafíos clave, soluciones y posibilidades futuras.

Introducción a la cuantización y al despliegue de modelos cuantizados#

Shashi ofreció una visión general exhaustiva de la cuantización y destacó su importancia para optimizar los modelos Ultralytics YOLO para su despliegue en dispositivos periféricos. Desde los conceptos básicos hasta los distintos enfoques para mejorar la cuantización, los asistentes obtuvieron información valiosa sobre las complejidades de adaptar y desplegar modelos.

Desafíos de la cuantización de modelos YOLO#

La cuantización suele plantear desafíos, especialmente con modelos YOLO en TFLite. Nuestra audiencia descubrió la notable pérdida de precisión que se observa cuando todas las salidas se cuantizan con la misma escala y el mismo punto cero, lo que puso de manifiesto la complejidad de mantener la precisión del modelo durante el proceso de cuantización.

Mejora de la cuantización de modelos YOLO#

Por suerte, existen soluciones para abordar estos desafíos. La introducción de la bifurcación de DeGirum ofrece un enfoque adaptado a la cuantización mediante la separación de las salidas y la optimización de la decodificación de las cajas delimitadoras. Con estas mejoras, la precisión de los modelos cuantizados aumenta considerablemente respecto a los niveles de referencia.

Arquitecturas de modelos más adaptadas a la cuantización#

Explorar nuevas arquitecturas de modelos es clave para minimizar la pérdida derivada de la cuantización. Los asistentes descubrieron que sustituir SiLU por la activación ReLU6 acotada da lugar a una pérdida mínima de cuantización, lo que ofrece resultados prometedores para mantener la precisión en modelos cuantizados.

Despliegue de modelos cuantizados#

Desplegar modelos cuantizados nunca había sido tan fácil: solo se necesitan cinco líneas de código para ejecutar cualquier modelo en la plataforma en la nube de DeGirum. Una demostración de código en directo mostró la sencillez de detectar objetos con un modelo Ultralytics YOLOv5 cuantizado y destacó la integración fluida de modelos cuantizados en aplicaciones del mundo real.

Para ello, Ultralytics ofrece diversas opciones de despliegue de modelos que permiten a los usuarios finales desplegar eficazmente sus aplicaciones en dispositivos integrados y periféricos. Entre los distintos formatos de exportación se incluyen OpenVINO, TorchScript, TensorRT, CoreML, TFLite y TFLite Edge TPU, lo que ofrece versatilidad y compatibilidad.

Esta integración con aplicaciones de terceros para el despliegue permite a los usuarios evaluar el rendimiento de nuestros modelos en situaciones del mundo real.

Uso de distintos modelos en hardware diferente#

Los asistentes también descubrieron la versatilidad de desplegar distintos modelos en diversas plataformas de hardware, demostrando cómo una única base de código puede admitir varios modelos en diferentes aceleradores. Los ejemplos de ejecución de distintas tareas de detección en diversas plataformas de hardware demostraron la flexibilidad y escalabilidad de nuestro enfoque.

Recursos y documentación#

Para proporcionar aún más herramientas a los asistentes, presentamos una sección completa de recursos con acceso a nuestra plataforma en la nube, ejemplos, documentación y mucho más. Nuestro objetivo es garantizar que todos dispongan de las herramientas y el soporte necesarios para desplegar modelos cuantizados de forma eficaz.

Conclusiones#

A medida que evoluciona el campo de la cuantización, es esencial mantenerse informado y participar. Nos comprometemos a ofrecer asistencia y recursos de forma continua para ayudarte a recorrer este apasionante camino. ¡Consulta la charla completa: Ver la charla completa!

Acompáñanos mientras seguimos explorando las últimas tendencias e innovaciones en aprendizaje automático e inteligencia artificial. Juntos estamos dando forma al futuro de la tecnología e impulsando un cambio positivo en el mundo.