Implementación de Ultralytics YOLO11 en Rockchip para una Edge AI eficiente

Un término de moda reciente en la comunidad de la IA es la IA de borde (edge AI), especialmente en lo que respecta a la visión artificial. A medida que crecen las aplicaciones basadas en IA, existe una mayor necesidad de ejecutar modelos de forma eficiente en dispositivos integrados con energía y recursos informáticos limitados.

Por ejemplo, los drones utilizan visión por IA para la navegación en tiempo real, las cámaras inteligentes detectan objetos al instante y los sistemas de automatización industrial realizan controles de calidad sin depender de la computación en la nube. Estas aplicaciones requieren un procesamiento de IA rápido y eficiente directamente en los dispositivos de borde para garantizar un rendimiento en tiempo real y una baja latencia. Sin embargo, ejecutar modelos de IA en dispositivos de borde no siempre es fácil. Los modelos de IA a menudo requieren más energía y memoria de la que muchos dispositivos de borde pueden manejar.

El RKNN Toolkit de Rockchip ayuda a resolver este problema optimizando modelos de aprendizaje profundo para dispositivos con tecnología Rockchip. Utiliza Unidades de Procesamiento Neuronal (NPUs) dedicadas para acelerar la inferencia, reduciendo la latencia y el consumo de energía en comparación con el procesamiento de CPU o GPU.

La comunidad de Visión AI ha estado ansiosa por ejecutar Ultralytics YOLO11 en dispositivos basados en Rockchip, y te hemos escuchado. Hemos añadido soporte para exportar YOLO11 a RKNN en formato de modelo. En este artículo, exploraremos cómo funciona la exportación a RKNN y por qué implementar YOLO11 en dispositivos con tecnología Rockchip supone un punto de inflexión.

Link to this section¿Qué es Rockchip y el RKNN Toolkit?#

Rockchip es una empresa que diseña sistemas en chip (SoCs), procesadores pequeños pero potentes que ejecutan muchos dispositivos integrados. Estos chips combinan una CPU, una GPU y una Unidad de Procesamiento Neuronal (NPU) para manejar desde tareas informáticas generales hasta aplicaciones de visión por IA que dependen de la detección de objetos y el procesamiento de imágenes.

Los SoCs de Rockchip se utilizan en una variedad de dispositivos, incluyendo ordenadores de placa única (SBCs), placas de desarrollo, sistemas de IA industrial y cámaras inteligentes. Muchos fabricantes de hardware conocidos, Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas y Banana Pi, construyen dispositivos con SoCs de Rockchip. Estas placas son populares para la IA de borde y aplicaciones de visión artificial porque ofrecen un equilibrio entre rendimiento, eficiencia energética y asequibilidad.

Fig 1. Un ejemplo de un dispositivo con tecnología Rockchip.

Para ayudar a que los modelos de IA se ejecuten de manera eficiente en estos dispositivos, Rockchip proporciona el RKNN (Rockchip Neural Network) Toolkit. Permite a los desarrolladores convertir y optimizar modelos de aprendizaje profundo para utilizar las Unidades de Procesamiento Neuronal (NPUs) de Rockchip.

Los modelos RKNN están optimizados para una inferencia de baja latencia y un uso eficiente de la energía. Al convertir los modelos a RKNN, los desarrolladores pueden lograr velocidades de procesamiento más rápidas, un menor consumo de energía y una mayor eficiencia en dispositivos con tecnología Rockchip.

Link to this sectionLos modelos RKNN están optimizados#

Echemos un vistazo más de cerca a cómo los modelos RKNN mejoran el rendimiento de la IA en dispositivos con Rockchip.

A diferencia de las CPUs y GPUs, que manejan una amplia gama de tareas informáticas, las NPUs de Rockchip están diseñadas específicamente para el aprendizaje profundo. Al convertir los modelos de IA al formato RKNN, los desarrolladores pueden ejecutar inferencias directamente en la NPU. Esto hace que los modelos RKNN sean especialmente útiles para tareas de visión artificial en tiempo real, donde un procesamiento rápido y eficiente es esencial.

Las NPUs son más rápidas y eficientes que las CPUs y GPUs para tareas de IA porque están construidas para manejar cálculos de redes neuronales en paralelo. Mientras que las CPUs procesan las tareas paso a paso y las GPUs distribuyen las cargas de trabajo entre múltiples núcleos, las NPUs están optimizadas para realizar cálculos específicos de IA de manera más eficiente.

Como resultado, los modelos RKNN se ejecutan más rápido y utilizan menos energía, lo que los hace ideales para dispositivos que funcionan con baterías, cámaras inteligentes, automatización industrial y otras aplicaciones de IA de borde que requieren una toma de decisiones en tiempo real.

Link to this sectionVisión general de los modelos Ultralytics YOLO#

Los modelos Ultralytics YOLO (You Only Look Once) están diseñados para tareas de visión artificial en tiempo real como la detección de objetos, la segmentación de instancias y la clasificación de imágenes. Son conocidos por su velocidad, precisión y eficiencia, y se utilizan ampliamente en industrias como la agricultura, la fabricación, la atención sanitaria y los sistemas autónomos.

Estos modelos han mejorado sustancialmente con el tiempo. Por ejemplo, Ultralytics YOLOv5 hizo que la detección de objetos fuera más fácil de usar con PyTorch. Luego, Ultralytics YOLOv8 añadió nuevas características como la estimación de pose y la clasificación de imágenes. Ahora, YOLO11 va un paso más allá al aumentar la precisión mientras utiliza menos recursos. De hecho, YOLO11m funciona mejor en el conjunto de datos COCO mientras utiliza un 22% menos de parámetros que YOLOv8m, lo que lo hace más preciso y eficiente.

Fig 2. Detección de objetos usando YOLO11.

Los modelos Ultralytics YOLO también admiten la exportación a múltiples formatos, lo que permite una implementación flexible en diferentes plataformas. Estos formatos incluyen ONNX, TensorRT, CoreML y OpenVINO, dando a los desarrolladores la libertad de optimizar el rendimiento en función de su hardware de destino.

Con el soporte añadido para exportar YOLO11 al formato de modelo RKNN, YOLO11 ahora puede aprovechar las NPUs de Rockchip. El modelo más pequeño, YOLO11n en formato RKNN, logra un impresionante tiempo de inferencia de 99,5 ms por imagen, permitiendo un procesamiento en tiempo real incluso en dispositivos integrados.

Link to this sectionExporta tu modelo YOLO11 al formato RKNN#

Actualmente, los modelos de detección de objetos YOLO11 pueden exportarse al formato RKNN. Además, mantente atento: estamos trabajando para añadir soporte para otras tareas de visión artificial y la cuantización INT8 en futuras actualizaciones.

Exportar YOLO11 al formato RKNN es un proceso sencillo. Puedes cargar tu modelo YOLO11 entrenado a medida, especificar la plataforma Rockchip de destino y convertirlo al formato RKNN con unas pocas líneas de código. El formato RKNN es compatible con varios SoCs de Rockchip, incluidos RK3588, RK3566 y RK3576, lo que garantiza un amplio soporte de hardware.

Fig 3. Exportación de YOLO11 al formato de modelo RKNN.

Link to this sectionImplementación de YOLO11 en dispositivos basados en Rockchip#

Una vez exportado, el modelo RKNN puede implementarse en dispositivos basados en Rockchip. Para implementar el modelo, simplemente carga el archivo RKNN exportado en tu dispositivo Rockchip y ejecuta la inferencia: el proceso de utilizar el modelo de IA entrenado para analizar nuevas imágenes o vídeos y detectar objetos en tiempo real. Con solo unas pocas líneas de código, puedes empezar a identificar objetos a partir de imágenes o secuencias de vídeo.

Fig 4. Ejecución de una inferencia usando el modelo RKNN exportado.

Link to this sectionAplicaciones de IA de borde de YOLO11 y Rockchip#

Para hacerte una mejor idea de dónde puede implementarse YOLO11 en dispositivos con Rockchip en el mundo real, veamos algunas aplicaciones clave de IA de borde.

Los procesadores Rockchip se utilizan ampliamente en tabletas basadas en Android, placas de desarrollo y sistemas de IA industrial. Con soporte para Android, Linux y Python, puedes construir e implementar fácilmente soluciones basadas en visión por IA para una variedad de industrias.

Link to this sectionTabletas resistentes integradas con YOLO11#

Una aplicación común que implica ejecutar YOLO11 en dispositivos con tecnología Rockchip son las tabletas resistentes. Son tabletas duraderas y de alto rendimiento diseñadas para entornos difíciles como almacenes, obras de construcción y entornos industriales. Estas tabletas pueden aprovechar la detección de objetos para mejorar la eficiencia y la seguridad.

Por ejemplo, en la logística de almacenes, los trabajadores pueden usar una tableta con tecnología Rockchip y YOLO11 para escanear y detectar inventario automáticamente, reduciendo el error humano y acelerando los tiempos de procesamiento. Del mismo modo, en las obras de construcción, estas tabletas pueden usarse para detectar si los trabajadores llevan el equipo de seguridad necesario, como cascos y chalecos, ayudando a las empresas a aplicar las normativas y evitar accidentes.

Fig 5. Detección de equipo de seguridad usando YOLO11.

Link to this sectionIA industrial para control de calidad#

Con respecto a la fabricación y la automatización, las placas industriales con tecnología Rockchip pueden desempeñar un papel importante en el control de calidad y la monitorización de procesos. Una placa industrial es un módulo informático compacto de alto rendimiento diseñado para sistemas integrados en entornos industriales. Estas placas suelen incluir procesadores, memoria, interfaces de E/S y opciones de conectividad que pueden integrarse con sensores, cámaras y maquinaria automatizada.

Ejecutar modelos YOLO11 en estas placas hace posible analizar las líneas de producción en tiempo real, detectando problemas al instante y mejorando la eficiencia. Por ejemplo, en la fabricación de automóviles, un sistema de IA que utiliza hardware de Rockchip y YOLO11 puede detectar arañazos, piezas desalineadas o defectos de pintura a medida que los coches avanzan por la línea de montaje. Al identificar estos defectos en tiempo real, los fabricantes pueden reducir los residuos, bajar los costes de producción y garantizar estándares de calidad más altos antes de que los vehículos lleguen a los clientes.

Link to this sectionBeneficios de ejecutar YOLO11 en dispositivos basados en Rockchip#

Los dispositivos basados en Rockchip ofrecen un buen equilibrio entre rendimiento, coste y eficiencia, lo que los convierte en una gran opción para implementar YOLO11 en aplicaciones de IA de borde.

Aquí tienes algunas ventajas de ejecutar YOLO11 en dispositivos basados en Rockchip:

• Rendimiento de IA mejorado: Los dispositivos con Rockchip manejan la inferencia de IA de manera más eficiente que las placas basadas en CPU como Raspberry Pi, ofreciendo una detección de objetos más rápida y una menor latencia.
• Solución rentable: Si estás experimentando con IA y necesitas una opción económica que siga ofreciendo un rendimiento potente, Rockchip es una gran opción. Proporciona una forma asequible de ejecutar YOLO11 sin comprometer la velocidad ni la eficiencia.
• Eficiencia energética: Ejecutar modelos de visión artificial en dispositivos con tecnología Rockchip consume menos energía que las GPUs, lo que los hace ideales para dispositivos que funcionan con baterías y aplicaciones de IA integradas.

Link to this sectionConclusiones clave#

Ultralytics YOLO11 puede ejecutarse de manera eficiente en dispositivos basados en Rockchip aprovechando la aceleración de hardware y el formato RKNN. Esto reduce el tiempo de inferencia y mejora el rendimiento, haciéndolo ideal para tareas de visión artificial en tiempo real y aplicaciones de IA de borde.

El RKNN Toolkit proporciona herramientas de optimización clave como la cuantización y el ajuste fino, asegurando que los modelos YOLO11 funcionen bien en las plataformas Rockchip. Optimizar los modelos para un procesamiento eficiente en el dispositivo será esencial a medida que crezca la adopción de la IA de borde. Con las herramientas y el hardware adecuados, los desarrolladores pueden desbloquear nuevas posibilidades para soluciones de visión artificial en diversas industrias.

Únete a nuestra comunidad y explora nuestro repositorio de GitHub para aprender más sobre IA. Mira cómo la visión artificial en la agricultura y la IA en la atención sanitaria están impulsando la innovación visitando nuestras páginas de soluciones. Además, ¡consulta nuestras opciones de licencia para empezar a construir tus soluciones de visión por IA hoy mismo!