Potenciando la IA en el edge con Sony IMX500 y AITRIOS

La IA perimetral permite que los modelos de inteligencia artificial (AI) funcionen directamente en dispositivos como smartphones, cámaras y drones. Su principal ventaja es que permite tomar decisiones más rápidas y en tiempo real sin depender de la nube. De hecho, los estudios muestran que el uso de la IA en plataformas perimetrales puede aumentar la eficiencia operativa hasta un 40 %.

Los avances recientes en la IA perimetral, especialmente en la visión por ordenador, la convirtieron en un tema central de YOLO Vision 2024 (YV24), el evento híbrido anual de Ultralytics que reúne a entusiastas y expertos en IA para explorar las últimas novedades en IA de visión. Uno de los momentos destacados del evento fue la presentación principal de Sony, en la que mostraron sus nuevas soluciones de hardware y software de IA de vanguardia. Se presentaron el sensor IMX500 y la plataforma AITRIOS, y Sony demostró cómo estas innovaciones facilitan y hacen más eficiente implementar modelos YOLO de Ultralytics como Ultralytics YOLO11 y Ultralytics YOLOv8 en dispositivos perimetrales.

La sesión estuvo dirigida por Wei Tang, responsable de desarrollo de negocio centrada en las soluciones de imagen de Sony, y Amir Servi, responsable de producto de aprendizaje profundo perimetral, experto en implementar modelos de aprendizaje profundo en dispositivos perimetrales.

En este artículo, repasaremos la charla de Sony en YV24 y exploraremos cómo el sensor IMX500 y la plataforma AITRIOS optimizan el uso de modelos YOLO para un procesamiento de IA perimetral más rápido y en tiempo real. ¡Empecemos!

La visión de Sony: democratizar la IA en dispositivos perimetrales#

Wei Tang comenzó la sesión hablando del objetivo de Sony de hacer que la IA perimetral sea tan accesible como hicieron con la fotografía hace años. Destacó que Sony se centra ahora en acercar la IA de visión avanzada a más personas mediante la computación perimetral. Uno de los factores impulsores es el impacto positivo que la IA perimetral puede tener en el medio ambiente. Al procesar los datos directamente en los dispositivos en lugar de depender de enormes centros de datos, la computación perimetral ayuda a reducir el consumo energético y las emisiones de carbono. Es un enfoque más inteligente y ecológico que encaja perfectamente con el compromiso de Sony de crear tecnología que no solo funcione mejor, sino que también contribuya a un futuro más sostenible.

Wei continuó explicando cómo Sony Semiconductor Solutions, la división de Sony especializada en tecnologías de imagen y detección, crea sensores de imagen avanzados. Estos sensores se utilizan en una gran variedad de dispositivos y convierten la luz en señales electrónicas para capturar imágenes. Con más de 1.200 millones de sensores distribuidos cada año, están presentes en casi la mitad de los teléfonos móviles del mundo, lo que convierte a Sony en un actor importante del sector de la imagen.

Fig. 1. Ejemplos de sensores de imagen de Sony.

Basándose en esta experiencia, Sony está llevando las cosas más lejos al transformar estos sensores de dispositivos de captura de imágenes en herramientas inteligentes capaces de procesar datos en tiempo real, lo que permite obtener información basada en IA directamente en los dispositivos. Antes de analizar las soluciones de hardware y software que Sony utiliza para respaldar este cambio, entendamos los retos de la IA perimetral que estas innovaciones pretenden resolver.

Retos relacionados con el procesamiento de imágenes mediante IA en dispositivos perimetrales#

Desarrollar soluciones de IA perimetral plantea varios retos importantes, especialmente al trabajar con dispositivos como cámaras y sensores. Muchos de estos dispositivos tienen una potencia y una capacidad de procesamiento limitadas, lo que dificulta ejecutar modelos de IA avanzados de forma eficiente.

Estas son algunas de las principales limitaciones:

• Complejidad del software: Adaptar modelos de IA para que funcionen en distintos dispositivos perimetrales con diferentes configuraciones de hardware puede ser complejo y requerir ajustes y optimizaciones.
• Cuellos de botella del posprocesamiento: A menudo se produce un retraso al transferir grandes cantidades de datos del dispositivo al host para el posprocesamiento. Esto suele consumir más tiempo que la propia inferencia del modelo de IA.
• Explosión de datos: Dado que muchos dispositivos del IoT están generando datos constantemente, el volumen de datos que debe gestionarse localmente puede ser abrumador y someter a los dispositivos perimetrales a una presión adicional.

Conociendo el sensor de visión inteligente Sony IMX500#

El sensor de visión inteligente Sony IMX500 es un componente de hardware revolucionario para el procesamiento de IA perimetral. Es el primer sensor de visión inteligente del mundo con capacidades de IA integradas en el chip. Este sensor ayuda a superar muchos retos de la IA perimetral, incluidos los cuellos de botella del procesamiento de datos, las preocupaciones sobre la privacidad y las limitaciones de rendimiento.

Mientras que otros sensores se limitan a transmitir imágenes y fotogramas, el IMX500 cuenta una historia completa. Procesa los datos directamente en el sensor, lo que permite a los dispositivos generar información en tiempo real. Durante la sesión, Wei Tang afirmó: «Al aprovechar nuestra avanzada tecnología de sensores de imagen, nuestro objetivo es impulsar una nueva generación de aplicaciones que puedan mejorar la vida cotidiana». El IMX500 está diseñado para cumplir este objetivo y transformar la forma en que los dispositivos gestionan los datos directamente en el sensor, sin necesidad de enviarlos a la nube para procesarlos.

Estas son algunas de sus características principales:

• Salida de metadatos: En lugar de enviar imágenes completas, genera metadatos, lo que reduce considerablemente el tamaño de los datos y, por tanto, el uso y los costes del ancho de banda.
• Mayor privacidad: Al procesar los datos en el dispositivo, el IMX500 mejora la privacidad, especialmente en situaciones en las que interviene información sensible, como las tareas de visión por ordenador relacionadas con personas, por ejemplo el recuento de personas.
• Procesamiento en tiempo real: La capacidad del sensor para gestionar los datos rápidamente permite tomar decisiones ágiles y en tiempo real, lo que facilita aplicaciones de IA perimetral como los sistemas autónomos.

El IMX500 no es solo un sensor de cámara: es una potente herramienta de detección que transforma la forma en que los dispositivos perciben e interactúan con el mundo que los rodea. Al integrar la IA directamente en el sensor, Sony hace que la IA perimetral sea más accesible para sectores como el automovilístico, la sanidad y las ciudades inteligentes. En las secciones siguientes, analizaremos con más detalle cómo funciona el IMX500 con los modelos YOLO de Ultralytics para mejorar la detección de objetos y el procesamiento de datos en dispositivos perimetrales.

Fig. 2. Wei Tang en el escenario de YOLO Vision 2024 presentando el sensor de visión inteligente Sony IMX500.

La plataforma AITRIOS de Sony: simplificando la IA perimetral#

Tras presentar el sensor IMX500, Wei Tang explicó que, aunque el hardware es fundamental, por sí solo no basta para abordar todo el alcance de los retos relacionados con la implementación de IA perimetral. Habló de que integrar la IA en dispositivos como cámaras y sensores requiere algo más que hardware avanzado: necesita software inteligente que lo gestione. Aquí es donde entra en juego la plataforma AITRIOS de Sony, que ofrece una solución de software fiable diseñada para hacer que implementar IA en dispositivos perimetrales sea más sencillo y eficiente.

AITRIOS actúa como puente entre los complejos modelos de IA y las limitaciones de los dispositivos perimetrales. Proporciona a los desarrolladores una serie de herramientas para implementar rápidamente modelos de IA preentrenados. Pero, lo que es más importante, admite el reentrenamiento continuo para que los modelos de IA puedan adaptarse a los cambios del mundo real.

Wei también destacó cómo AITRIOS simplifica el proceso para quienes no tienen amplios conocimientos de IA, ya que ofrece flexibilidad para personalizar modelos de IA para casos de uso específicos de IA perimetral. También aborda retos habituales, como las limitaciones de memoria y las caídas de rendimiento, lo que facilita integrar la IA en dispositivos más pequeños sin sacrificar precisión ni velocidad.

Fig. 3. Ejemplos de casos de uso de IA perimetral. Fuente de la imagen: SONY Semicon | AITRIOS.

Optimización de modelos YOLO en el IMX500#

En la segunda parte de la charla, Amir tomó la palabra y profundizó en los aspectos técnicos de cómo Sony optimizó modelos YOLO en el sensor IMX500.

Amir comenzó diciendo: «Los modelos YOLO permiten la IA perimetral y son bastante fáciles de optimizar gracias a Glenn y al equipo. Te convenceré de ello, no te preocupes». A continuación, Amir explicó que, aunque normalmente se presta mucha atención a optimizar el propio modelo de IA, este enfoque suele pasar por alto un aspecto crucial: los cuellos de botella del posprocesamiento.

Amir señaló que, en muchos casos, una vez que el modelo de IA termina su tarea, el proceso de transferir los datos y gestionar el posprocesamiento en un dispositivo host puede provocar retrasos considerables. Esta transferencia de datos de ida y vuelta entre el dispositivo y el host introduce latencia, lo que puede ser un obstáculo importante para lograr el mejor rendimiento.

Fig. 4. Amir Servi en el escenario de YOLO Vision 2024 explicando los cuellos de botella del posprocesamiento.

Para abordar este problema, Amir destacó la importancia de analizar todo el sistema de extremo a extremo, en lugar de centrarse únicamente en el modelo de IA. Con el sensor IMX500, descubrieron que el posprocesamiento era el principal cuello de botella que ralentizaba todo el proceso. Compartió que el verdadero avance fue desbloquear la supresión no máxima (NMS) en el chip.

Esto permitió realizar el posprocesamiento directamente en el sensor, eliminando la necesidad de transferir grandes cantidades de datos a un dispositivo host. Al ejecutar NMS directamente en el IMX500, Sony superó lo que Amir denominó el «techo de cristal del posprocesamiento» y logró un rendimiento mucho mayor y una reducción de la latencia.

Fig. 5. Cómo superar el cuello de botella del posprocesamiento. Fuente de la imagen: SONY Semicon | AITRIOS

A continuación, veremos cómo esta innovación ayudó a que los modelos YOLO, especialmente Ultralytics YOLOv8 Nano, funcionaran de forma más eficiente en dispositivos perimetrales, creando nuevas oportunidades para el procesamiento de IA en tiempo real en hardware más pequeño y con recursos limitados.

Los modelos Ultralytics YOLOv8 logran multiplicar por cuatro la velocidad con el IMX500 de Sony#

Para cerrar la charla por todo lo alto, Amir demostró cómo consiguieron cuadruplicar el rendimiento del modelo Ultralytics YOLOv8 Nano ejecutando NMS en el dispositivo perimetral. Lo mostró en una Raspberry Pi 5 integrada con el sensor de IA IMX500. Amir comparó el rendimiento cuando el posprocesamiento se gestionaba en un dispositivo host y cuando se realizaba en el chip IMX500.

Los resultados mostraron claramente una gran mejora en los fotogramas por segundo (FPS) y en la eficiencia general cuando el procesamiento se realizaba en el chip. La optimización hizo que la detección de objetos fuera más rápida y fluida, y también demostró la viabilidad del procesamiento de IA en tiempo real en dispositivos más pequeños y con recursos limitados, como la Raspberry Pi.

Conclusiones clave#

El sensor IMX500 de Sony, la plataforma AITRIOS y los modelos YOLO de Ultralytics están transformando el desarrollo de la IA perimetral. El procesamiento de IA en el chip reduce la transferencia de datos y la latencia, al tiempo que mejora la privacidad, la seguridad y la eficiencia. Al centrarse en el sistema completo, y no solo en el modelo de IA, estas innovaciones hacen que la IA perimetral sea más accesible para los desarrolladores y para quienes no tienen amplios conocimientos de IA. A medida que la tecnología de IA perimetral siga avanzando, probablemente permitirá crear dispositivos más inteligentes, tomar decisiones más rápido y reforzar la protección de la privacidad en una amplia variedad de sectores y aplicaciones.

¡Mantente en contacto con nuestra comunidad para seguir aprendiendo sobre AI! Visita nuestro repositorio de GitHub para descubrir cómo podemos utilizar la AI para crear soluciones innovadoras en diversos sectores, como la agricultura y la fabricación. 🚀