La IA en el borde permite que los modelos de inteligencia artificial (IA) operen directamente en dispositivos como teléfonos inteligentes, cámaras y drones. Su principal ventaja es que admite una toma de decisiones más rápida y en tiempo real sin depender de la nube. De hecho, los estudios demuestran que el uso de la IA en plataformas de borde puede aumentar la eficiencia operativa hasta en un 40%. 

Los recientes avances en IA de vanguardia, especialmente en visión por ordenador, la convirtieron en un tema central en YOLO Vision 2024 (YV24), el evento híbrido anual de Ultralytics que reúne a entusiastas y expertos en IA para explorar lo último en IA de visión. Uno de los aspectos más destacados del evento fue la presentación principal de Sony, en la que mostró sus nuevas soluciones de hardware y software de IA de vanguardia. Se presentaron el sensor IMX500 y la plataforma AITRIOS, y Sony demostró cómo estas innovaciones están facilitando y haciendo más eficiente la implementación de modelosUltralytics YOLO como Ultralytics YOLO11 y Ultralytics YOLOv8 en el borde.

La sesión fue dirigida por Wei Tang, Gerente de Desarrollo de Negocios que se enfoca en las soluciones de imagen de Sony, y Amir Servi, Gerente de Producto de Deep Learning en el Edge con experiencia en el despliegue de modelos de aprendizaje profundo en dispositivos edge. 

En este artículo, revisaremos la charla de Sony en YV24 y exploraremos cómo el sensor IMX500 y la plataforma AITRIOS optimizan el uso de modelos YOLO para un procesamiento de IA de vanguardia más rápido y en tiempo real. Empecemos.

La visión de Sony: Democratizar la IA en dispositivos edge

Wei Tang abrió la sesión hablando del objetivo de Sony de hacer que la IA en el borde sea tan accesible como lo hicieron con la fotografía hace años. Destacó cómo Sony se centra ahora en llevar la IA de visión avanzada a más personas a través de la computación en el borde. Uno de los factores impulsores de esto es el impacto positivo que la IA en el borde puede tener en el medio ambiente. Al procesar los datos directamente en los dispositivos en lugar de depender de enormes centros de datos, la computación en el borde ayuda a reducir el consumo de energía y las emisiones de carbono. Es un enfoque más inteligente y ecológico que encaja perfectamente con el compromiso de Sony de construir una tecnología que no solo funcione mejor, sino que también ayude a crear un futuro más sostenible.

Wei continuó explicando cómo Sony Semiconductor Solutions, la división de Sony que se especializa en tecnologías de imagen y detección, crea sensores de imagen avanzados. Estos sensores se utilizan en una variedad de dispositivos, convirtiendo la luz en señales electrónicas para capturar imágenes. Con más de 1.200 millones de sensores enviados cada año, se encuentran en casi la mitad de los teléfonos móviles del mundo, lo que convierte a Sony en un actor importante en la industria de la imagen. 

‍

Basándose en esta experiencia, Sony ahora está llevando las cosas más allá transformando estos sensores de dispositivos de captura de imágenes en herramientas inteligentes que pueden procesar datos en tiempo real, permitiendo conocimientos impulsados por la IA directamente en los dispositivos. Antes de hablar de las soluciones de hardware y software que Sony está utilizando para apoyar este cambio, vamos a entender los retos de la IA en el edge que estas innovaciones pretenden resolver.

Desafíos relacionados con el procesamiento de imágenes de IA en dispositivos Edge

El desarrollo de soluciones de IA en el borde presenta algunos desafíos clave, especialmente cuando se trabaja con dispositivos como cámaras y sensores. Muchos de estos dispositivos tienen una capacidad de procesamiento y energía limitada, lo que dificulta la ejecución eficiente de modelos avanzados de IA.

Estas son algunas de las otras limitaciones principales:

• Complejidad del software: Adaptar los modelos de IA para que funcionen en varios dispositivos de borde con diferentes configuraciones de hardware puede ser complejo y requerir ajustes y optimizaciones.
  ‍
• Cuellos de botella en el post-procesamiento: A menudo hay un retraso al transferir grandes cantidades de datos desde el dispositivo al host para el post-procesamiento. A menudo consume más tiempo que la propia inferencia del modelo de IA.
  ‍
• Explosión de datos: Con muchos dispositivos IoT generando datos constantemente, el volumen de datos que debe manejarse localmente puede ser abrumador, lo que sobrecarga aún más los dispositivos edge.

Conociendo el sensor de visión inteligente Sony IMX500

El sensor de visión inteligente Sony IMX500 es una pieza de hardware revolucionaria en el procesamiento de IA en el borde. Es el primer sensor de visión inteligente del mundo con capacidades de IA en el chip. Este sensor ayuda a superar muchos retos en la IA en el borde, incluyendo los cuellos de botella en el procesamiento de datos, los problemas de privacidad y las limitaciones de rendimiento.

Mientras que otros sensores simplemente transmiten imágenes y fotogramas, el IMX500 cuenta toda una historia. Procesa los datos directamente en el sensor, lo que permite a los dispositivos generar información en tiempo real. Durante la sesión, Wei Tang dijo: "Al aprovechar nuestra avanzada tecnología de sensores de imagen, pretendemos potenciar una nueva generación de aplicaciones que puedan mejorar la vida cotidiana". El IMX500 está diseñado para cumplir este objetivo, transformando la forma en que los dispositivos gestionan los datos directamente en el sensor, sin necesidad de enviarlos a la nube para su procesamiento.

Estas son algunas de sus características principales:

• Salida de metadatos: En lugar de enviar imágenes completas, genera metadatos, lo que reduce significativamente el tamaño de los datos, lo que reduce el uso de ancho de banda y los costos.
  ‍
• Mayor privacidad: Al procesar los datos en el dispositivo, el IMX500 mejora la privacidad, especialmente en situaciones en las que está involucrada información sensible, como las tareas de visión artificial relacionadas con humanos, como el conteo de personas.
  ‍
• Procesamiento en tiempo real: La capacidad del sensor para manejar datos rápidamente significa que admite una toma de decisiones rápida y en tiempo real que permite aplicaciones de IA en el borde como los sistemas autónomos.

El IMX500 no es solo un sensor de cámara: es una potente herramienta de detección que transforma la forma en que los dispositivos perciben el mundo que les rodea e interactúan con él. Al integrar la IA directamente en el sensor, Sony hace que la IA de vanguardia sea más accesible para sectores como la automoción, la sanidad y las ciudades inteligentes. En secciones posteriores, profundizaremos en el modo en que el IMX500 funciona con los modelosYOLO Ultralytics para mejorar la detección de objetos y el procesamiento de datos en dispositivos periféricos.

‍

Plataforma AITRIOS de Sony: Simplificando la IA en el edge

Después de presentar el sensor IMX500, Wei Tang expresó que, si bien el hardware es crucial, no es suficiente por sí solo para abordar el alcance total de los desafíos que implica la implementación de la IA en el Edge. Habló de cómo la integración de la IA en dispositivos como cámaras y sensores requiere algo más que hardware avanzado: necesita un software inteligente para gestionarlo. Aquí es donde entra en juego la plataforma AITRIOS de Sony, que ofrece una solución de software fiable diseñada para que la implementación de la IA en dispositivos Edge sea más sencilla y eficiente.

AITRIOS actúa como un puente entre los modelos complejos de IA y las limitaciones de los dispositivos periféricos. Proporciona a los desarrolladores una gama de herramientas para implementar rápidamente modelos de IA preentrenados. Pero lo que es más importante, admite el reentrenamiento continuo para que los modelos de IA puedan seguir adaptándose a los cambios del mundo real. 

Wei también destacó cómo AITRIOS simplifica el proceso para aquellos que no tienen una gran experiencia en IA, ofreciendo flexibilidad para personalizar los modelos de IA para casos de uso específicos de IA en el borde. También aborda retos comunes como las limitaciones de memoria y las caídas de rendimiento, lo que facilita la integración de la IA en dispositivos más pequeños sin sacrificar la precisión ni la velocidad. 

‍

Optimización de los modelos YOLO en la IMX500

En la segunda parte de la charla, el micrófono pasó a Amir, que se adentró en el aspecto técnico de cómo Sony optimizó los modelosYOLO en el sensor IMX500. 

Amir empezó diciendo: "Los modelosYOLO son edge-enabling y son bastante fáciles de optimizar, gracias a Glenn y al equipo. Os convenceré de ello, no os preocupéis". A continuación, Amir explicó que, aunque se suele prestar mucha atención a la optimización del propio modelo de IA, este enfoque suele pasar por alto un problema crucial: los cuellos de botella del postprocesamiento.

Amir señaló que, en muchos casos, una vez que el modelo de IA completa su tarea, el proceso de transferencia de datos y el manejo del post-procesamiento en un dispositivo host puede causar retrasos significativos. Esta transferencia de datos de ida y vuelta entre el dispositivo y el host introduce latencia, lo que puede ser un obstáculo importante para lograr el mejor rendimiento.

‍

Para solucionarlo, Amir hizo hincapié en la importancia de analizar todo el sistema de principio a fin, en lugar de centrarse únicamente en el modelo de IA. Con el sensor IMX500, descubrieron que el postprocesamiento era el principal cuello de botella que ralentizaba todo. El verdadero avance fue desbloquear la supresión no máxima (NMS) en el chip. 

Permitía realizar el postprocesamiento directamente en el sensor, eliminando la necesidad de transferir grandes cantidades de datos a un dispositivo host. Al ejecutar NMS directamente en el IMX500, Sony rompió lo que Amir denominó el "techo de cristal del posprocesamiento", consiguiendo un rendimiento y una reducción de la latencia mucho mejores.

‍

A continuación, veremos cómo esta innovación ha ayudado a los modelos YOLO , especialmente al YOLOv8 Nano, funcionen de forma más eficiente en dispositivos periféricos, creando nuevas oportunidades para el procesamiento de IA en tiempo real en hardware más pequeño y con recursos limitados.

Los modelos YOLOv8 multiplican por 4 su velocidad gracias a la IMX500 de Sony

Para concluir la charla con broche de oro, Amir demostró cómo habían sido capaces de cuadruplicar el rendimiento del modelo YOLOv8 Nano ejecutando NMS on edge. Lo demostró en una Raspberry Pi 5 integrada con el sensor IMX500 AI. Amir comparó el rendimiento cuando el posprocesamiento se gestionaba en un dispositivo host frente al chip IMX500. 

Los resultados mostraron claramente una mejora importante en los fotogramas por segundo (FPS) y la eficiencia general cuando el procesamiento se realizó en el chip. La optimización hizo que la detección de objetos fuera más rápida y fluida, y también demostró la viabilidad del procesamiento de IA en tiempo real en dispositivos más pequeños y con recursos limitados, como la Raspberry Pi.

Conclusiones clave

El sensor IMX500 de Sony, la plataforma AITRIOS y los modelos Ultralytics YOLO están dando una nueva forma al desarrollo de la IA en los bordes. El procesamiento de IA en chip reduce la transferencia de datos y la latencia, al tiempo que mejora la privacidad, la seguridad y la eficiencia. Al centrarse en todo el sistema, y no sólo en el modelo de IA, estas innovaciones hacen que la IA periférica sea más accesible a los desarrolladores y a quienes no tienen una gran experiencia en IA. A medida que la tecnología de IA avanzada siga avanzando, es probable que permita dispositivos más inteligentes, una toma de decisiones más rápida y una mayor protección de la privacidad en una amplia gama de sectores y aplicaciones.

¡Manténgase conectado con nuestra comunidad para seguir aprendiendo sobre la IA! Consulte nuestro repositorio de GitHub para descubrir cómo podemos usar la IA para crear soluciones innovadoras en diversas industrias como la agricultura y la fabricación. 🚀