Implementación de Ultralytics YOLO11 en Rockchip para una IA en el borde eficiente

Una palabra de moda reciente en la comunidad de IA es la IA en el borde, especialmente cuando se trata de visión artificial. A medida que crecen las aplicaciones basadas en IA, aumenta la necesidad de ejecutar modelos de forma eficiente en dispositivos integrados con recursos limitados de energía y computación.

Por ejemplo, los drones utilizan IA de visión para la navegación en tiempo real, las cámaras inteligentes detectan objetos al instante y los sistemas de automatización industrial realizan controles de calidad sin depender de la computación en la nube. Estas aplicaciones requieren un procesamiento de IA rápido y eficiente directamente en dispositivos periféricos para garantizar el rendimiento en tiempo real y una latencia baja. Sin embargo, ejecutar modelos de IA en dispositivos periféricos no siempre es fácil. A menudo, los modelos de IA requieren más energía y memoria de las que pueden ofrecer muchos dispositivos periféricos.

RKNN Toolkit de Rockchip ayuda a resolver este problema al optimizar modelos de aprendizaje profundo para dispositivos basados en Rockchip. Utiliza unidades de procesamiento neuronal (NPUs) dedicadas para acelerar la inferencia y reducir la latencia y el consumo energético en comparación con el procesamiento mediante CPU o GPU.

La comunidad de Vision AI llevaba tiempo queriendo ejecutar Ultralytics YOLO11 en dispositivos basados en Rockchip, y os hemos escuchado. Hemos añadido compatibilidad para exportar YOLO11 al formato de modelo RKNN. En este artículo veremos cómo funciona la exportación a RKNN y por qué implementar YOLO11 en dispositivos basados en Rockchip resulta tan útil para Edge AI.

¿Qué son Rockchip y RKNN Toolkit?#

Rockchip es una empresa que diseña sistemas en chip (SoCs): procesadores diminutos, pero potentes, que impulsan muchos dispositivos integrados. Estos chips combinan una CPU, una GPU y una unidad de procesamiento neuronal (NPU) para realizar desde tareas de computación general hasta aplicaciones de IA de visión que se basan en la detección de objetos y el procesamiento de imágenes.

Los SoC de Rockchip se utilizan en diversos dispositivos, como ordenadores de placa única (SBCs), placas de desarrollo, sistemas industriales de IA y cámaras inteligentes. Muchos fabricantes de hardware conocidos, como Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas y Banana Pi, fabrican dispositivos con tecnología SoC de Rockchip. Estas placas son populares para aplicaciones de IA en el borde y visión artificial porque ofrecen un equilibrio entre rendimiento, eficiencia energética y precio asequible.

Fig. 1. Ejemplo de dispositivo con tecnología Rockchip.

Para ayudar a que los modelos de IA se ejecuten de forma eficiente en estos dispositivos, Rockchip ofrece RKNN (Rockchip Neural Network) Toolkit. Esta herramienta permite a los desarrolladores convertir y optimizar modelos de aprendizaje profundo para utilizar las unidades de procesamiento neuronal (NPUs) de Rockchip.

Los modelos RKNN están optimizados para ofrecer inferencias de baja latencia y un consumo eficiente de energía. Al convertir los modelos a RKNN, los desarrolladores pueden conseguir velocidades de procesamiento más altas, reducir el consumo energético y mejorar la eficiencia en dispositivos con tecnología Rockchip.

Los modelos RKNN están optimizados#

Veamos más de cerca cómo mejoran los modelos RKNN el rendimiento de la IA en dispositivos compatibles con Rockchip.

A diferencia de las CPU y las GPU, que realizan una amplia variedad de tareas de computación, las NPU de Rockchip están diseñadas específicamente para el aprendizaje profundo. Al convertir modelos de IA al formato RKNN, los desarrolladores pueden ejecutar inferencias directamente en la NPU. Esto hace que los modelos RKNN sean especialmente útiles para tareas de visión artificial en tiempo real, donde el procesamiento rápido y eficiente es esencial.

Las NPU son más rápidas y eficientes que las CPU y las GPU para las tareas de IA porque están diseñadas para realizar cálculos de redes neuronales en paralelo. Mientras que las CPU procesan las tareas paso a paso y las GPU distribuyen las cargas de trabajo entre varios núcleos, las NPU están optimizadas para realizar cálculos específicos de IA de forma más eficiente.

Como resultado, los modelos RKNN se ejecutan más rápido y consumen menos energía, por lo que son ideales para dispositivos con batería, cámaras inteligentes, automatización industrial y otras aplicaciones de IA en el borde que requieren tomar decisiones en tiempo real.

Resumen de los modelos Ultralytics YOLO#

Los modelos Ultralytics YOLO (You Only Look Once) están diseñados para tareas de visión artificial en tiempo real, como la detección de objetos, la segmentación de instancias y la clasificación de imágenes. Destacan por su velocidad, precisión y eficiencia, y se utilizan ampliamente en sectores como la agricultura, la fabricación, la atención sanitaria y los sistemas autónomos.

Estos modelos han mejorado mucho con el tiempo. Por ejemplo, YOLOv5 de Ultralytics facilitó el uso de la detección de objetos con PyTorch. Después, YOLOv8 de Ultralytics añadió nuevas tareas, como la estimación de pose, y reunió la detección, la segmentación, la clasificación y la estimación de pose en un único framework. Ahora, YOLO11 va un paso más allá: aumenta la precisión y utiliza menos recursos. De hecho, YOLO11m ofrece mejores resultados en el conjunto de datos COCO con un 22 % menos de parámetros que YOLOv8m, por lo que es más preciso y eficiente.

Fig. 2. Detección de objetos con Ultralytics YOLO11.

Los modelos Ultralytics YOLO también admiten la exportación a varios formatos, lo que permite un despliegue flexible en distintas plataformas. Entre estos formatos se incluyen ONNX, TensorRT, CoreML y OpenVINO, que ofrecen a los desarrolladores la libertad de optimizar el rendimiento según el hardware de destino.

Gracias a la compatibilidad añadida para exportar YOLO11 al formato de modelo RKNN, YOLO11 ya puede aprovechar las NPU de Rockchip. El modelo más pequeño, YOLO11n en formato RKNN, alcanza un tiempo de inferencia de 99,5 ms por imagen, lo que permite el procesamiento en tiempo real incluso en dispositivos integrados.

Exportar tu modelo Ultralytics YOLO11 al formato RKNN#

En el momento de redactar este texto, los modelos de detección de objetos Ultralytics YOLO11 se podían exportar al formato RKNN. Desde entonces, la exportación a RKNN se ha ampliado a todas las tareas de Ultralytics y a la cuantización INT8 (quantize=8), tal como se describe en la guía de integración de RKNN enlazada más arriba.

Exportar Ultralytics YOLO11 al formato RKNN es un proceso sencillo. Puedes cargar tu modelo YOLO11 entrenado de forma personalizada, especificar la plataforma Rockchip de destino y convertirlo al formato RKNN con unas pocas líneas de código. El formato RKNN es compatible con diversos SoC de Rockchip, incluidos RK3588, RK3566 y RK3576, lo que garantiza una amplia compatibilidad de hardware.

Fig. 3. Exportación de Ultralytics YOLO11 al formato de modelo RKNN.

Desplegar Ultralytics YOLO11 en dispositivos basados en Rockchip#

Una vez exportado, el modelo RKNN se puede desplegar en dispositivos basados en Rockchip. Para desplegarlo, solo tienes que cargar el archivo RKNN exportado en tu dispositivo Rockchip y ejecutar la inferencia, es decir, utilizar el modelo de IA entrenado para analizar nuevas imágenes o vídeos y detectar objetos en tiempo real. Con solo unas pocas líneas de código, puedes empezar a identificar objetos en imágenes o secuencias de vídeo.

Fig. 4. Ejecución de una inferencia con el modelo RKNN exportado.

Aplicaciones de IA en el borde de Ultralytics YOLO11 y Rockchip#

Para hacerte una mejor idea de dónde se puede desplegar Ultralytics YOLO11 en dispositivos compatibles con Rockchip en el mundo real, veamos algunas aplicaciones clave de IA en el borde.

Los procesadores Rockchip se utilizan ampliamente en tabletas con Android, placas de desarrollo y sistemas industriales de IA. Gracias a la compatibilidad con Android, Linux y Python, puedes crear y desplegar fácilmente soluciones basadas en IA de visión para diversos sectores.

Tabletas resistentes con Ultralytics YOLO11 integrado#

Una aplicación habitual de Ultralytics YOLO11 en dispositivos con tecnología Rockchip son las tabletas resistentes. Son tabletas duraderas y de alto rendimiento, diseñadas para entornos exigentes como almacenes, obras y entornos industriales. Estas tabletas pueden aprovechar la detección de objetos para mejorar la eficiencia y la seguridad.

Por ejemplo, en la logística de almacén, los trabajadores pueden utilizar una tableta con tecnología Rockchip y YOLO11 para escanear y detectar automáticamente el inventario, reduciendo los errores humanos y agilizando el procesamiento. Del mismo modo, en las obras, estas tabletas pueden detectar si los trabajadores llevan el equipo de seguridad obligatorio, como cascos y chalecos, lo que ayuda a las empresas a hacer cumplir la normativa y prevenir accidentes.

Fig. 5. Detección de equipos de seguridad con Ultralytics YOLO11.

IA industrial para el control de calidad#

En la fabricación y la automatización, las placas industriales con tecnología Rockchip pueden desempeñar un papel importante en el control de calidad y la supervisión de procesos. Una placa industrial es un módulo informático compacto y de alto rendimiento, diseñado para sistemas integrados en entornos industriales. Estas placas suelen incluir procesadores, memoria, interfaces de E/S y opciones de conectividad que permiten integrarlas con sensores, cámaras y maquinaria automatizada.

La ejecución de modelos Ultralytics YOLO11 en estas placas permite analizar líneas de producción en tiempo real, detectar problemas al instante y mejorar la eficiencia. Por ejemplo, en la fabricación de automóviles, un sistema de IA que utilice hardware Rockchip y YOLO11 puede detectar arañazos, piezas mal alineadas o defectos de pintura mientras los coches avanzan por la cadena de montaje. Al identificar estos defectos en tiempo real, los fabricantes pueden reducir los residuos y los costes de producción, y garantizar estándares de calidad más altos antes de que los vehículos lleguen a los clientes.

Ventajas de ejecutar Ultralytics YOLO11 en dispositivos basados en Rockchip#

Los dispositivos basados en Rockchip ofrecen un buen equilibrio entre rendimiento, coste y eficiencia, por lo que son una excelente opción para desplegar Ultralytics YOLO11 en aplicaciones de IA en el borde.

Estas son algunas ventajas de ejecutar Ultralytics YOLO11 en dispositivos basados en Rockchip:

• Mejora del rendimiento de la IA: los dispositivos compatibles con Rockchip gestionan la inferencia de IA de forma más eficiente que las placas basadas en CPU, como Raspberry Pi, lo que permite detectar objetos más rápido y reducir la latencia.
• Solución rentable: si estás experimentando con IA y necesitas una opción económica que siga ofreciendo un gran rendimiento, Rockchip es una excelente alternativa. Permite ejecutar Ultralytics YOLO11 a un precio asequible sin renunciar a la velocidad ni a la eficiencia.
• Eficiencia energética: ejecutar modelos de visión artificial en dispositivos con tecnología Rockchip consume menos energía que hacerlo en GPU, por lo que es ideal para dispositivos con batería y aplicaciones de IA integrada.

Conclusiones clave#

Ultralytics YOLO11 puede ejecutarse de forma eficiente en dispositivos basados en Rockchip gracias a la aceleración por hardware y al formato RKNN. Esto reduce el tiempo de inferencia y mejora el rendimiento, por lo que es ideal para tareas de visión artificial en tiempo real y aplicaciones de IA en el borde.

RKNN Toolkit ofrece herramientas de optimización clave, como la cuantización, para garantizar que los modelos Ultralytics YOLO11 funcionen bien en plataformas Rockchip. Optimizar los modelos para que el procesamiento en el dispositivo sea eficiente será fundamental a medida que se adopte más la IA en el edge. Con las herramientas y el hardware adecuados, los desarrolladores pueden abrir nuevas posibilidades para las soluciones de visión artificial en distintos sectores.

Únete a nuestra comunidad y explora nuestro repositorio de GitHub para aprender más sobre la IA. Descubre cómo la visión artificial en la agricultura y la IA en la atención sanitaria impulsan la innovación visitando nuestras páginas de soluciones. Además, echa un vistazo a nuestras opciones de licencia para empezar hoy mismo a crear tus soluciones de IA de visión.