Potenciando la Edge AI con Sony IMX500 y AITRIOS

Edge AI permite que los modelos de inteligencia artificial (IA) funcionen directamente en dispositivos como smartphones, cámaras y drones. Su ventaja principal es que permite tomar decisiones en tiempo real y de forma más rápida sin depender de la nube. De hecho, los estudios demuestran que usar IA en plataformas perimetrales puede aumentar la eficiencia operativa hasta en un 40%.

Los recientes avances en edge AI, en particular en computer vision, hicieron que fuera un tema central en YOLO Vision 2024 (YV24), el evento híbrido anual de Ultralytics que reúne a entusiastas y expertos en IA para explorar lo último en Vision AI. Uno de los puntos destacados del evento fue la presentación magistral de Sony, donde mostraron sus nuevas y vanguardistas soluciones de hardware de IA y software. Se presentaron el sensor IMX500 y la plataforma AITRIOS, y Sony demostró cómo estas innovaciones facilitan y hacen más eficiente el despliegue de modelos Ultralytics YOLO como Ultralytics YOLO11 y Ultralytics YOLOv8 en el borde.

La sesión estuvo dirigida por Wei Tang, gerente de desarrollo de negocios centrada en las soluciones de imagen de Sony, y Amir Servi, gerente de productos de aprendizaje profundo en el borde con experiencia en el despliegue de modelos de deep learning en dispositivos de borde.

En este artículo, repasaremos la charla de Sony en YV24 y exploraremos cómo el sensor IMX500 y la plataforma AITRIOS optimizan el uso de modelos YOLO para un procesamiento de IA en el borde más rápido y en tiempo real. ¡Empecemos!

La visión de Sony: Democratizar la IA en dispositivos de borde#

Wei Tang abrió la sesión hablando sobre el objetivo de Sony de hacer que la edge AI sea tan accesible como lo hicieron con la fotografía hace años. Enfatizó cómo Sony ahora se enfoca en llevar la avanzada Vision AI a más personas a través de la informática de borde. Uno de los factores impulsores detrás de esto es el impacto positivo que la edge AI puede tener en el medio ambiente. Al procesar los datos directamente en los dispositivos en lugar de depender de centros de datos masivos, la informática de borde ayuda a reducir el uso de energía y las emisiones de carbono. Es un enfoque más ecológico y más inteligente que encaja perfectamente con el compromiso de Sony de construir tecnología que no solo funcione mejor, sino que también ayude a crear un futuro más sostenible.

Wei continuó explicando cómo Sony Semiconductor Solutions, la división de Sony especializada en tecnologías de imagen y sensores, crea sensores de imagen avanzados. Estos sensores se utilizan en una variedad de dispositivos, convirtiendo la luz en señales electrónicas para capturar imágenes. Con más de 1200 millones de sensores enviados cada año, se encuentran en casi la mitad de los teléfonos móviles del mundo, lo que convierte a Sony en un actor importante en la industria de la imagen.

Fig. 1 Ejemplos de los sensores de imagen de Sony.

Basándose en esta experiencia, Sony da un paso más al transformar estos sensores de dispositivos de captura de imágenes en herramientas inteligentes capaces de procesar datos en tiempo real, lo que permite obtener información impulsada por IA directamente en los dispositivos. Antes de hablar sobre las soluciones de hardware y software que Sony utiliza para respaldar este cambio, comprendamos los desafíos de la edge AI que estas innovaciones buscan resolver.

Desafíos relacionados con el procesamiento de imágenes de IA en dispositivos de borde#

Desarrollar soluciones de edge AI conlleva algunos desafíos clave, especialmente al trabajar con dispositivos como cámaras y sensores. Muchos de estos dispositivos tienen energía y capacidad de procesamiento limitadas, lo que dificulta ejecutar modelos de IA avanzados de manera eficiente.

Aquí tienes algunas de las otras limitaciones principales:

• Complejidad del software: Adaptar modelos de IA para que funcionen en varios dispositivos de borde con diferentes configuraciones de hardware puede ser complejo y requerir ajustes y optimizaciones.
• Cuellos de botella en el posprocesamiento: A menudo se produce un retraso al transferir grandes cantidades de datos del dispositivo al host para su posprocesamiento. Con frecuencia consume más tiempo que la propia inferencia del modelo de IA.
• Explosión de datos: Con muchos dispositivos IoT generando datos constantemente, el volumen de datos que debe manejarse localmente puede ser abrumador, lo que ejerce aún más presión sobre los dispositivos de borde.

Conociendo el sensor de visión inteligente Sony IMX500#

El sensor de visión inteligente Sony IMX500 es una pieza de hardware revolucionaria en el procesamiento de edge AI. Es el primer sensor de visión inteligente del mundo con capacidades de IA en el chip. Este sensor ayuda a superar muchos desafíos en la edge AI, incluidos los cuellos de botella en el procesamiento de datos, las preocupaciones sobre la privacidad y las limitaciones de rendimiento.

Mientras que otros sensores simplemente transmiten imágenes y fotogramas, el IMX500 cuenta toda una historia. Procesa los datos directamente en el sensor, lo que permite a los dispositivos generar información en tiempo real. Durante la sesión, Wei Tang dijo: «Al aprovechar nuestra avanzada tecnología de sensores de imagen, nuestro objetivo es potenciar una nueva generación de aplicaciones que puedan mejorar la vida cotidiana». El IMX500 está diseñado para cumplir este objetivo, transformando la forma en que los dispositivos manejan los datos directamente en el sensor, sin necesidad de enviarlos a la nube para su procesamiento.

Aquí tienes algunas de sus características clave:

• Salida de metadatos: En lugar de enviar imágenes completas, genera metadatos, lo que reduce significativamente el tamaño de los datos, disminuyendo el uso de ancho de banda y los costes.
• Privacidad mejorada: Al procesar los datos en el dispositivo, el IMX500 mejora la privacidad, especialmente en situaciones donde está involucrada información sensible, como tareas de computer vision relacionadas con personas, por ejemplo, el conteo de personas.
• Procesamiento en tiempo real: La capacidad del sensor para manejar datos rápidamente significa que admite una toma de decisiones rápida y en tiempo real que habilita aplicaciones de edge AI como sistemas autónomos.

El IMX500 no es solo un sensor de cámara; es una potente herramienta de detección que transforma la forma en que los dispositivos perciben e interactúan con el mundo que los rodea. Al integrar la IA directamente en el sensor, Sony hace que la edge AI sea más accesible para industrias como la automotriz, la salud y las ciudades inteligentes. En las secciones siguientes, profundizaremos en cómo funciona el IMX500 con los modelos Ultralytics YOLO para mejorar la detección de objetos y el procesamiento de datos en dispositivos de borde.

Fig 2. Wei Tang en el escenario de YOLO Vision 2024 presentando el sensor de visión inteligente Sony IMX500.

La plataforma AITRIOS de Sony: Simplificando la IA de borde#

Después de presentar el sensor IMX500, Wei Tang expresó que, aunque el hardware es crucial, no es suficiente por sí solo para abordar todo el alcance de los desafíos involucrados en el despliegue de IA en el borde. Comentó cómo integrar la IA en dispositivos como cámaras y sensores requiere más que solo hardware avanzado: necesita un software inteligente para gestionarlo. Aquí es donde entra en juego la plataforma AITRIOS de Sony, que ofrece una solución de software confiable diseñada para hacer que el despliegue de la IA en dispositivos de borde sea más simple y eficiente.

AITRIOS actúa como un puente entre los complejos modelos de IA y las limitaciones de los dispositivos de borde. Proporciona a los desarrolladores una serie de herramientas para el despliegue rápido de modelos de IA previamente entrenados. Pero lo que es más importante, admite el reentrenamiento continuo para que los modelos de IA puedan mantenerse adaptables a los cambios del mundo real.

Wei también destacó cómo AITRIOS simplifica el proceso para quienes no tienen una profunda experiencia en IA, ofreciendo la flexibilidad de personalizar modelos de IA para casos de uso específicos de edge AI. También aborda desafíos comunes como las restricciones de memoria y las caídas de rendimiento, lo que facilita la integración de la IA en dispositivos más pequeños sin sacrificar la precisión o la velocidad.

Fig 3. Ejemplos de casos de uso de IA de borde. Fuente de la imagen: SONY Semicon | AITRIOS.

Optimización de modelos YOLO en el IMX500#

En la segunda parte de la charla, el micrófono pasó a Amir, quien profundizó en el aspecto técnico de cómo Sony optimizó los modelos YOLO en el sensor IMX500.

Amir comenzó diciendo: «Los modelos YOLO están diseñados para el borde y son bastante fáciles de optimizar, gracias a Glenn y al equipo. Los convenceré de ello, no se preocupen». Luego explicó que, si bien gran parte de la atención suele centrarse en optimizar el modelo de IA en sí, este enfoque a menudo pasa por alto un problema crucial: los cuellos de botella en el posprocesamiento.

Amir señaló que, en muchos casos, una vez que el modelo de IA completa su tarea, el proceso de transferencia de datos y gestión del posprocesamiento en un dispositivo host puede causar retrasos significativos. Esta transferencia de datos de ida y vuelta entre el dispositivo y el host introduce latencia, lo cual puede ser un obstáculo importante para lograr el mejor rendimiento.

Fig 4. Amir Servi en el escenario de YOLO Vision 2024 explicando los cuellos de botella en el post-procesamiento.

Para abordar esto, Amir enfatizó la importancia de observar todo el sistema de extremo a extremo, en lugar de centrarse únicamente en el modelo de IA. Con el sensor IMX500, descubrieron que el posprocesamiento era el principal cuello de botella que ralentizaba todo. Compartió que el verdadero avance fue desbloquear la supresión de no máximos (NMS) en el chip.

Permitió que el post-procesamiento ocurriera directamente en el sensor, eliminando la necesidad de transferir grandes cantidades de datos a un dispositivo host. Al ejecutar NMS directamente en el IMX500, Sony rompió lo que Amir llamó el “techo de cristal del post-procesamiento”, logrando un rendimiento y una reducción de latencia mucho mejores.

Fig 5. Superando el cuello de botella del post-procesamiento. Fuente de la imagen: SONY Semicon | AITRIOS

A continuación, veremos cómo esta innovación ayudó a los modelos YOLO, especialmente a Ultralytics YOLOv8 Nano, a ejecutarse de forma más eficiente en dispositivos perimetrales, creando nuevas oportunidades para el procesamiento de IA en tiempo real en hardware más pequeño y con recursos limitados.

Los modelos Ultralytics YOLOv8 consiguen un aumento de velocidad de 4x con el IMX500 de Sony#

Para cerrar la charla con broche de oro, Amir demostró cómo lograron cuadriplicar el rendimiento del modelo Ultralytics YOLOv8 Nano ejecutando NMS en el borde. Lo mostró en una Raspberry Pi 5, integrada con el sensor de IA IMX500. Amir comparó el rendimiento cuando el postprocesamiento se realizaba en un dispositivo host frente al chip IMX500.

Los resultados mostraron claramente una gran mejora en los fotogramas por segundo (FPS) y en la eficiencia general cuando el procesamiento se realizó en el chip. La optimización hizo que la detección de objetos fuera más rápida y fluida, y también demostró la viabilidad del procesamiento de IA en tiempo real en dispositivos más pequeños y con recursos limitados, como la Raspberry Pi.

Conclusiones clave#

El sensor IMX500 de Sony, la plataforma AITRIOS y los modelos Ultralytics YOLO están remodelando el desarrollo de la IA de borde. El procesamiento de IA en el chip reduce la transferencia de datos y la latencia al tiempo que aumenta la privacidad, la seguridad y la eficiencia. Al centrarse en todo el sistema, no solo en el modelo de IA, estas innovaciones hacen que la IA de borde sea más accesible para los desarrolladores y para aquellos sin una experiencia profunda en IA. A medida que la tecnología de IA de borde continúa avanzando, es probable que permita dispositivos más inteligentes, una toma de decisiones más rápida y protecciones de privacidad más sólidas en una amplia gama de industrias y aplicaciones.

¡Mantente conectado con nuestra community para seguir aprendiendo sobre IA! Echa un vistazo a nuestro GitHub repository para descubrir cómo podemos usar la IA para crear soluciones innovadoras en varias industrias como la agriculture y la manufacturing. 🚀