Impulsa Edge AI con Sony IMX500 y AITRIOS

La IA en el borde permite que los modelos de inteligencia artificial (IA) funcionen directamente en dispositivos como smartphones, cámaras y drones. Su principal ventaja es que facilita la toma de decisiones más rápida y en tiempo real, sin depender de la nube. De hecho, los estudios indican que el uso de IA en plataformas edge puede aumentar la eficiencia operativa hasta un 40 %.

Los avances recientes en IA en el borde, especialmente en visión artificial, la convirtieron en un tema central de YOLO Vision 2024 (YV24), el evento híbrido anual de Ultralytics, que reúne a entusiastas y expertos en IA para explorar las últimas novedades en IA visual. Uno de los momentos destacados del evento fue la presentación principal de Sony, en la que presentó sus nuevas soluciones de hardware y software de IA. Se mostraron el sensor IMX500 y la plataforma AITRIOS, y Sony explicó cómo estas innovaciones facilitan y agilizan el despliegue de modelos Ultralytics YOLO como Ultralytics YOLO11 y Ultralytics YOLOv8 en el borde.

La sesión estuvo a cargo de Wei Tang, responsable de desarrollo de negocio especializado en soluciones de imagen de Sony, y Amir Servi, director de producto de aprendizaje profundo en el borde, experto en desplegar modelos de aprendizaje profundo en dispositivos edge.

En este artículo, repasaremos la charla de Sony en YV24 y veremos cómo el sensor IMX500 y la plataforma AITRIOS optimizan el uso de los modelos YOLO para procesar IA en tiempo real y con mayor rapidez en el borde.

La visión de Sony: democratizar la IA en los dispositivos edge#

Wei Tang abrió la sesión hablando del objetivo de Sony de hacer que la IA en el borde sea tan accesible como lo fue la fotografía hace años. Destacó que Sony se centra ahora en acercar la IA visual avanzada a más personas mediante la computación en el borde. Uno de los factores que impulsan este objetivo es el impacto positivo que la IA en el borde puede tener en el medio ambiente. Al procesar los datos directamente en los dispositivos, en lugar de depender de grandes centros de datos, la computación en el borde ayuda a reducir el consumo de energía y las emisiones de carbono. Es un enfoque más inteligente y ecológico, acorde con el compromiso de Sony de crear tecnología que no solo funcione mejor, sino que también contribuya a un futuro más sostenible.

Wei explicó después cómo Sony Semiconductor Solutions, la división de Sony especializada en tecnologías de imagen y detección, crea sensores de imagen avanzados. Estos sensores se utilizan en distintos dispositivos y convierten la luz en señales electrónicas para capturar imágenes. Cada año se envían más de 1.200 millones de sensores, que están presentes en casi la mitad de los teléfonos móviles del mundo, lo que convierte a Sony en una empresa destacada del sector de la imagen.

Fig. 1. Ejemplos de sensores de imagen de Sony.

A partir de esta experiencia, Sony está yendo un paso más allá y transformando los sensores: de dispositivos que capturan imágenes a herramientas inteligentes capaces de procesar datos en tiempo real y ofrecer información basada en IA directamente en los dispositivos. Antes de analizar las soluciones de hardware y software que Sony utiliza para impulsar este cambio, veamos qué retos de la IA en el borde pretenden resolver estas innovaciones.

Retos del procesamiento de imágenes con IA en dispositivos edge#

Desarrollar soluciones de IA en el borde conlleva varios retos importantes, especialmente cuando se trabaja con dispositivos como cámaras y sensores. Muchos de estos dispositivos tienen una potencia y una capacidad de procesamiento limitadas, lo que dificulta la ejecución eficiente de modelos de IA avanzados.

Estas son algunas de las demás limitaciones principales:

• Complejidad del software: adaptar modelos de IA para que funcionen en diversos dispositivos edge con distintas configuraciones de hardware puede ser complejo y requerir ajustes y optimizaciones.
• Cuellos de botella del posprocesamiento: A menudo se producen retrasos al transferir grandes cantidades de datos desde el dispositivo al equipo anfitrión para el posprocesamiento. Este proceso suele llevar más tiempo que la propia inferencia del modelo de IA.
• Explosión de datos: como muchos dispositivos IoT generan datos constantemente, el volumen de datos que hay que gestionar localmente puede ser abrumador y sobrecargar aún más los dispositivos edge.

Conoce el sensor de visión inteligente Sony IMX500#

El sensor de visión inteligente Sony IMX500 es una pieza clave del hardware para procesar IA en el borde. Sony lo describe como el primer sensor de visión inteligente del mundo con capacidades de IA integradas en el chip. Este sensor ayuda a superar muchos retos de la IA en el borde, como los cuellos de botella en el procesamiento de datos, los problemas de privacidad y las limitaciones de rendimiento.

Mientras que otros sensores se limitan a transmitir imágenes y fotogramas, el IMX500 cuenta toda una historia. Procesa los datos directamente en el sensor, lo que permite a los dispositivos obtener información en tiempo real. Durante la sesión, Wei Tang dijo: «Al aprovechar nuestra avanzada tecnología de sensores de imagen, queremos impulsar una nueva generación de aplicaciones que mejoren la vida cotidiana». El IMX500 está diseñado para cumplir este objetivo y transformar la forma en que los dispositivos gestionan los datos directamente en el sensor, sin tener que enviarlos a la nube para procesarlos.

Estas son algunas de sus características principales:

• Salida de metadatos: En lugar de enviar imágenes completas, genera metadatos y reduce considerablemente el tamaño de los datos, lo que disminuye el uso de ancho de banda y los costes.
• Mayor privacidad: al procesar los datos en el dispositivo, el IMX500 mejora la privacidad, sobre todo cuando se trata de información sensible, como en tareas de visión artificial relacionadas con personas, por ejemplo, el recuento de personas.
• Procesamiento en tiempo real: La capacidad del sensor para procesar datos rápidamente permite tomar decisiones ágiles y en tiempo real, lo que hace posibles aplicaciones de IA en el edge como los sistemas autónomos.

El IMX500 no es solo un sensor de cámara: es una potente herramienta de detección que transforma la forma en que los dispositivos perciben e interactúan con el mundo que los rodea. Al integrar la IA directamente en el sensor, Sony hace que la IA en el borde sea más accesible para sectores como la automoción, la sanidad y las ciudades inteligentes. En los apartados siguientes, veremos en profundidad cómo funciona el IMX500 con los modelos Ultralytics YOLO para mejorar la detección de objetos y el procesamiento de datos en dispositivos edge.

Fig. 2. Wei Tang en el escenario de YOLO Vision 2024 presenta el sensor de visión inteligente Sony IMX500.

La plataforma AITRIOS de Sony: simplificar la IA en el edge#

Tras presentar el sensor IMX500, Wei Tang explicó que, aunque el hardware es fundamental, por sí solo no basta para abordar todos los retos que implica el despliegue de IA en el borde. Comentó que integrar IA en dispositivos como cámaras y sensores requiere algo más que hardware avanzado: se necesita software inteligente para gestionarlo. Ahí es donde entra en juego la plataforma AITRIOS de Sony, que ofrece una solución de software fiable, diseñada para simplificar y agilizar el despliegue de IA en dispositivos edge.

AITRIOS actúa como puente entre los complejos modelos de IA y las limitaciones de los dispositivos edge. Ofrece a los desarrolladores una serie de herramientas para desplegar rápidamente modelos de IA preentrenados. Pero, lo que es más importante, admite el reentrenamiento continuo para que los modelos de IA puedan adaptarse a los cambios del mundo real.

Wei también destacó que AITRIOS simplifica el proceso para quienes no tienen conocimientos profundos de IA y ofrece flexibilidad para personalizar modelos de IA según casos de uso específicos en el borde. También aborda problemas habituales, como las limitaciones de memoria y la pérdida de rendimiento, y facilita la integración de IA en dispositivos pequeños sin sacrificar precisión ni velocidad.

Fig. 3. Ejemplos de casos de uso de IA en el edge. Fuente de la imagen: SONY Semicon | AITRIOS.

Optimización de modelos YOLO en el IMX500#

En la segunda parte de la charla, Amir tomó el micrófono y profundizó en los aspectos técnicos de la optimización de los modelos YOLO de Sony en el sensor IMX500.

Amir comenzó diciendo: «Los modelos YOLO permiten trabajar en el edge y son bastante fáciles de optimizar, gracias a Glenn y al equipo. Os convenceré de ello, no os preocupéis». A continuación, Amir explicó que, aunque normalmente se presta mucha atención a optimizar el propio modelo de IA, este enfoque suele pasar por alto un aspecto crucial: los cuellos de botella del posprocesamiento.

Amir señaló que, en muchos casos, una vez que el modelo de IA termina su tarea, transferir los datos y realizar el posprocesamiento en un dispositivo anfitrión puede causar retrasos importantes. Este intercambio de datos entre el dispositivo y el anfitrión introduce latencia, lo que puede ser un obstáculo importante para lograr el mejor rendimiento.

Fig. 4. Amir Servi en el escenario de YOLO Vision 2024 explicando los cuellos de botella del posprocesamiento.

Para solucionar este problema, Amir destacó la importancia de analizar todo el sistema de extremo a extremo, en lugar de centrarse únicamente en el modelo de IA. Con el sensor IMX500, descubrieron que el posprocesamiento era el principal cuello de botella que ralentizaba todo el proceso. Explicó que el verdadero avance fue habilitar la supresión no máxima (NMS) en el chip.

Esto permitió realizar el posprocesamiento directamente en el sensor y eliminó la necesidad de transferir grandes cantidades de datos a un dispositivo anfitrión. Al ejecutar NMS directamente en el IMX500, Sony superó lo que Amir denominó el «techo de cristal del posprocesamiento» y logró un rendimiento mucho mejor, además de reducir la latencia.

Fig. 5. Cómo superar el cuello de botella del posprocesamiento. Fuente de la imagen: SONY Semicon | AITRIOS.

A continuación, veremos cómo esta innovación ayudó a que los modelos YOLO, en especial Ultralytics YOLOv8 Nano, funcionen de forma más eficiente en dispositivos edge y abran nuevas posibilidades para procesar IA en tiempo real con hardware más pequeño y recursos limitados.

Los modelos Ultralytics YOLOv8 multiplican por cuatro su velocidad con el IMX500 de Sony#

Para cerrar la charla por todo lo alto, Amir mostró cómo consiguieron cuadruplicar el rendimiento del modelo Ultralytics YOLOv8 Nano ejecutando NMS en el borde. Lo demostró en una Raspberry Pi 5 integrada con el sensor de IA IMX500. Amir comparó el rendimiento del posprocesamiento en un dispositivo anfitrión con el del posprocesamiento en el chip IMX500.

Los resultados mostraron claramente una gran mejora en los fotogramas por segundo (FPS) y en la eficiencia general cuando el procesamiento se realizó en el chip. La optimización hizo que la detección de objetos fuera más rápida y fluida, y también demostró que el procesamiento de IA en tiempo real es viable en dispositivos más pequeños y con recursos limitados, como la Raspberry Pi.

Conclusiones clave#

El sensor IMX500 de Sony, la plataforma AITRIOS y los modelos Ultralytics YOLO, reunidos gracias a la colaboración entre Ultralytics y Sony, están transformando el desarrollo de la IA en el borde. El procesamiento de IA en el chip reduce la transferencia de datos y la latencia, y mejora la privacidad, la seguridad y la eficiencia. Al centrarse en el sistema completo, y no solo en el modelo de IA, estas innovaciones hacen que la IA en el borde sea más accesible para los desarrolladores y para quienes no tienen conocimientos profundos de IA. A medida que avance la tecnología de IA en el borde, probablemente permitirá crear dispositivos más inteligentes, tomar decisiones más rápidas y reforzar la protección de la privacidad en una amplia variedad de sectores y aplicaciones.

Mantente en contacto con nuestra comunidad para seguir aprendiendo sobre IA. Echa un vistazo a nuestro repositorio de GitHub para descubrir cómo podemos utilizar la IA para crear soluciones innovadoras en distintos sectores, como la agricultura y la fabricación.