Llevando modelos de Ultralytics YOLO al hardware de Axelera AI para IA de borde

En Ultralytics, observamos una tendencia creciente a ejecutar modelos de visión artificial directamente en dispositivos de borde a medida que la IA se adopta más ampliamente. En nuestras conversaciones con la comunidad de visión artificial, tanto en línea como en persona en conferencias tecnológicas recientes, nuestro equipo ha visto un interés creciente en desplegar IA de visión más cerca de donde se generan los datos.

Desde entornos de comercio minorista inteligente y automatización industrial hasta la robótica, la información en tiempo real se está volviendo esencial, y depender únicamente de la nube ya no es suficiente.

En pocas palabras, la edge AI implica ejecutar modelos de IA localmente en dispositivos en lugar de enviar datos a servidores centralizados para su procesamiento. Esto permite reducir la latencia, mejorar la fiabilidad y responder a eventos del mundo real en tiempo real.

Sin embargo, desplegar modelos de alto rendimiento en estos entornos conlleva sus propios desafíos, ya que los recursos informáticos limitados y las restricciones de energía requieren que los modelos sean eficientes y estén optimizados para el hardware en el que se ejecutan.

Los modelos Ultralytics YOLO como Ultralytics YOLO26 están diseñados para visión artificial en tiempo real, pero liberar todo su potencial en el borde requiere la combinación adecuada de software y hardware. Por eso estamos emocionados de anunciar nuestra colaboración con Axelera AI.

Nos hemos asociado con Axelera AI para presentar una integración de exportación actualizada, permitiendo un despliegue eficiente y de alto rendimiento de los modelos Ultralytics YOLO en Metis® AI Processing Units (AIPUs).

Fig 1. Una mirada a una Metis AI Processing Unit (Fuente)

En este artículo, exploraremos cómo los modelos Ultralytics YOLO pueden compilarse fácilmente para el despliegue en Metis. ¡Empecemos!

Link to this sectionLa edge AI es el futuro de la visión artificial#

A medida que las aplicaciones de visión artificial siguen evolucionando, la necesidad de un procesamiento más rápido y eficiente es cada vez más crucial. Los enfoques tradicionales basados en la nube pueden introducir latencia, depender de una conectividad estable y es posible que no cumplan con las demandas en tiempo real de muchos casos de uso de visión inteligente.

La edge AI aborda estos desafíos permitiendo que los modelos se ejecuten directamente en dispositivos locales, lo que permite procesar los datos más cerca de su fuente. Por ejemplo, considera los drones potenciados por visión utilizados en operaciones de búsqueda y rescate.

Estos sistemas necesitan analizar fuentes de vídeo en tiempo real para detectar personas, obstáculos o peligros, a menudo en áreas remotas con conectividad a Internet limitada o inexistente. Al ejecutar modelos de visión artificial directamente en el dron, la edge AI permite una toma de decisiones más rápida y un rendimiento más fiable sin depender de la infraestructura en la nube.

Este cambio está abriendo nuevas posibilidades en todos los sectores. Aplicaciones como la detección de objetos en tiempo real en el comercio minorista, la inspección de calidad automatizada en la fabricación y la percepción en robótica se benefician de tiempos de respuesta más rápidos y una mayor fiabilidad.

La edge AI se está convirtiendo rápidamente en un factor clave para desplegar sistemas de visión artificial escalables y receptivos en entornos del mundo real.

Link to this sectionExplorando las Metis AI Processing Units de Axelera AI#

Antes de sumergirnos en la nueva integración de exportación, demos un paso atrás y aprendamos más sobre las Metis AI Processing Units de Axelera AI y el papel que desempeñan en la habilitación de una edge AI eficiente.

Axelera AI desarrolla hardware diseñado específicamente para acelerar la inferencia de IA en el borde. Una parte clave de esto es la Metis AIPU, o AI Processing Unit, un procesador especializado construido para ejecutar redes neuronales de manera eficiente en dispositivos de borde.

A diferencia de las unidades centrales de procesamiento (CPUs) de propósito general o incluso de las unidades de procesamiento gráfico (GPUs), las AIPUs están diseñadas para manejar los patrones computacionales específicos de las cargas de trabajo de IA. Esto les permite ofrecer un alto rendimiento manteniendo un bajo consumo de energía, lo cual es crítico para entornos de borde donde los recursos suelen ser limitados.

Lo que hace que el enfoque de Axelera AI sea particularmente innovador es su diseño de pila completa. Metis está construido con computación digital en memoria (D-IMC) y RISC-V para un alto rendimiento con la eficiencia energética que demanda la computación de borde. Los cuatro núcleos de Metis son programables de forma independiente, lo que significa que puedes ejecutar cuatro modelos por chip en paralelo. Además del hardware, el Voyager SDK incluye un compilador y un tiempo de ejecución que trabajan juntos para optimizar los modelos para el despliegue.

Esto permite a los desarrolladores pasar de modelos entrenados a una inferencia lista para producción de manera más eficiente. Específicamente, las Metis AIPUs hacen posible ejecutar modelos avanzados de visión artificial, como los modelos Ultralytics YOLO, directamente en dispositivos de borde desde entornos empresariales, minoristas, de salud y fabricación hasta equipos industriales y satélites.

Link to this sectionExportación de modelos Ultralytics YOLO para el despliegue en Metis#

El paquete Python de Ultralytics proporciona una interfaz unificada para entrenar, evaluar y desplegar modelos YOLO en una variedad de tareas de visión artificial. Los modelos YOLO suelen desarrollarse y entrenarse usando PyTorch, que es muy adecuado para la experimentación y el desarrollo de modelos.

Sin embargo, al desplegar estos modelos en hardware de borde especializado, deben convertirse a un formato optimizado para el dispositivo de destino. Aquí es donde entran las integraciones de exportación compatibles con el paquete Python de Ultralytics.

Ultralytics ofrece una gama de opciones de exportación que permiten convertir los modelos YOLO a diferentes formatos dependiendo del objetivo de despliegue, como ONNX, TensorRT y otros backends específicos de hardware. Estas integraciones simplifican el proceso de preparación de modelos para aplicaciones del mundo real al gestionar los pasos necesarios de optimización y conversión.

Basándose en esto, Ultralytics ha introducido una integración de exportación actualizada con Axelera AI, permitiendo que los modelos YOLO se exporten para el despliegue en Metis AIPUs.

Durante la exportación, el modelo se compila y cuantiza en una representación optimizada diseñada específicamente para el hardware de Axelera. Este proceso produce un modelo compilado en formato ".axm", junto con los metadatos necesarios para el despliegue y la inferencia.

Fig 2. Los modelos Ultralytics YOLO pueden ejecutarse en Metis AIPUs. (Fuente)

La integración admite una amplia gama de tareas de visión artificial en modelos de Ultralytics YOLOv8, Ultralytics YOLO11 y Ultralytics YOLO26, incluyendo detección de objetos, estimación de poses, segmentación de instancias, detección de cuadros delimitadores orientados (OBB) y clasificación de imágenes. Aunque la mayoría de las tareas se admiten directamente a través del flujo de trabajo de exportación, la segmentación de YOLO26 puede utilizarse a través del model zoo con el Voyager SDK.

Este soporte ampliado brinda a los desarrolladores la flexibilidad de desplegar diferentes tipos de modelos de visión según su aplicación, desde detectar objetos en tiempo real hasta comprender escenas, rastrear movimientos y analizar datos visuales complejos.

Una vez exportados, los modelos pueden desplegarse y ejecutarse sin depender de PyTorch en el momento de la inferencia. En su lugar, se ejecutan utilizando el tiempo de ejecución del Voyager SDK, que admite la creación de tuberías de extremo a extremo para tareas como procesamiento de vídeo, detección en tiempo real y seguimiento directamente en dispositivos de borde.

Link to this sectionPrimeros pasos con la exportación de modelos Ultralytics YOLO#

Ahora que tenemos una mejor comprensión de la nueva integración de exportación, repasemos cómo exportar modelos Ultralytics YOLO a este formato personalizado y ejecutarlos en hardware Metis en el borde.

Link to this sectionPaso 1: Instala el paquete de Python de Ultralytics#

Para empezar, primero necesitarás instalar el paquete Python de Ultralytics. Proporciona una interfaz sencilla y coherente para entrenar, evaluar y exportar modelos YOLO.

Puedes instalarlo usando pip ejecutando el siguiente comando en tu terminal o símbolo del sistema:

pip install ultralytics

Si encuentras algún problema durante la instalación o la exportación, la documentación oficial de Ultralytics y la guía de problemas comunes son excelentes recursos para la resolución de problemas.

Link to this sectionPaso 2: Instala los controladores de Axelera y el Voyager SDK#

Para exportar y ejecutar modelos en el hardware de Axelera, también necesitarás instalar los controladores de Axelera y el Voyager SDK. Este paso habilita la comunicación con la Metis AIPU y proporciona el tiempo de ejecución y las herramientas de compilación necesarias.

Los pasos a continuación deben realizarse en un entorno Linux con acceso al hardware Axelera AI Metis. Abre una terminal en tu sistema, o usa una celda de cuaderno si estás ejecutando Jupyter Notebook en una configuración local compatible, y ejecuta los comandos a continuación.

Comienza añadiendo la clave del repositorio de Axelera de la siguiente manera:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

A continuación, como se muestra a continuación, añade el repositorio de Axelera a tu sistema:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Luego, instala el Voyager SDK y carga el controlador de Metis de la siguiente manera:

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

Una vez completados estos pasos, tu sistema estará listo para exportar y ejecutar modelos Ultralytics YOLO en dispositivos Axelera AI Metis.

Link to this sectionPaso 3: Exportación de modelos Ultralytics YOLO#

Una vez instalado el paquete Ultralytics, puedes cargar tu modelo YOLO y exportarlo como un paquete compilado para Metis. Este proceso convierte el modelo a un formato optimizado para el despliegue en hardware Axelera AI Metis.

En el ejemplo a continuación, utilizamos un modelo YOLO26 nano preentrenado y lo exportamos para Metis. El modelo exportado se guardará en un directorio llamado "/yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Link to this sectionPaso 4: Ejecuta la inferencia con el modelo exportado#

Después de exportar el modelo, puedes cargarlo y ejecutar la inferencia en imágenes o secuencias de vídeo inéditas. Esto permite realizar tareas de visión artificial en tiempo real directamente en dispositivos Axelera AI Metis.

Por ejemplo, el fragmento de código a continuación muestra cómo cargar el modelo exportado y ejecutar la inferencia en una URL disponible públicamente.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

En este caso, el modelo analiza la imagen de entrada y detecta objetos, guardando los resultados en el directorio "runs/detect/predict".

Link to this sectionDónde pueden tener impacto los modelos Ultralytics YOLO y el hardware de Axelera AI#

A continuación, hablemos de algunas aplicaciones comunes de edge AI donde los modelos Ultralytics YOLO pueden desplegarse en hardware de Axelera AI en escenarios del mundo real.

Las Metis AIPUs de Axelera AI están diseñadas para una variedad de entornos de despliegue, desde sistemas integrados y PCs industriales hasta robótica y servidores de borde. Con una inferencia de alto rendimiento y eficiencia energética, permiten que las aplicaciones de visión artificial se ejecuten directamente en el dispositivo en todos los sectores. El Voyager SDK también incluye un generador de tuberías para que los ingenieros de ML y APP puedan comercializar modelos para el borde.

Link to this sectionSistemas de visión inteligente en el comercio minorista operando en el borde#

En entornos minoristas, entender el comportamiento del cliente en tiempo real puede marcar una diferencia significativa.

Usando modelos Ultralytics YOLO ejecutándose en hardware de Axelera AI, las tiendas pueden monitorear el tráfico peatonal, contar personas y analizar patrones de movimiento en la tienda a medida que ocurren. Dado que todo se ejecuta en el dispositivo, la información se puede generar al instante sin depender de la conectividad en la nube, lo que ayuda a los equipos a responder más rápido mientras mantienen la privacidad de los datos.

Fig 3. Detección y conteo de personas en un centro comercial usando YOLO26

Link to this sectionUso de edge AI para la inspección de servicios públicos e infraestructura#

El mantenimiento de infraestructura a gran escala, como las líneas eléctricas, es complejo y requiere muchos recursos. Estas redes a menudo abarcan grandes distancias, lo que hace que las inspecciones consuman mucho tiempo, sean costosas y potencialmente peligrosas. Cuando las fallas o los signos tempranos de desgaste no se detectan, pueden escalar hacia cortes, daños en los equipos o riesgos de seguridad.

Los drones se utilizan cada vez más para mejorar la eficiencia de la inspección. Pueden cubrir largas distancias, acceder a áreas de difícil alcance y capturar imágenes de alta resolución de activos críticos.

Combinar drones con edge AI mejora aún más estos flujos de trabajo. Los modelos Ultralytics YOLO ejecutándose en hardware de Axelera AI permiten el análisis en tiempo real durante las inspecciones, identificando fallas, clasificando componentes y detectando anomalías en el sitio. Esto reduce la necesidad de revisión manual y respalda un monitoreo de infraestructura más rápido y fiable.

Fig 4. Detección de varias partes de una línea eléctrica con YOLO26

Link to this sectionImpulsando la robótica con información de IA de visión en tiempo real#

Para la robótica, la velocidad y la capacidad de respuesta son críticas. Ya sea navegando en un almacén o operando en entornos industriales dinámicos, los robots necesitan interpretar su entorno al instante.

Los modelos Ultralytics YOLO ejecutándose en hardware de Axelera AI permiten a los robots interpretar su entorno en tiempo real, desde la detección de obstáculos hasta el seguimiento de personas y la identificación de objetos. Esto permite que los sistemas se muevan de forma más segura, se adapten a condiciones dinámicas y operen con mayor autonomía sin depender de una conectividad constante en la nube.

Link to this sectionBeneficios clave de ejecutar modelos Ultralytics YOLO en Metis AIPUs#

Aquí tienes algunas de las ventajas clave de desplegar modelos Ultralytics YOLO en el hardware Metis de Axelera AI utilizando la nueva integración:

• Integración perfecta con el flujo de trabajo de Ultralytics: La exportación de modelos YOLO para el despliegue en Metis encaja naturalmente en el paquete Python de Ultralytics, simplificando la transición del entrenamiento a la inferencia.
• Soporte para múltiples tareas de visión artificial: Puedes desplegar modelos para detección de objetos, estimación de pose, segmentación, clasificación y más en YOLOv8, YOLO11 y YOLO26.
• Ejecución de modelos en paralelo: Las Metis AIPUs están diseñadas con cuatro núcleos programables de forma independiente capaces de ejecutar cuatro modelos por separado en paralelo para adaptarse a tus necesidades.
• Escalable en aplicaciones de edge AI: Desde análisis minoristas e inspección industrial hasta robótica e infraestructura inteligente, la integración admite una amplia gama de casos de uso del mundo real.

Link to this sectionConclusiones clave#

Los modelos Ultralytics YOLO y las Metis AIPUs de Axelera AI facilitan llevar la visión artificial de alto rendimiento al borde. Al simplificar el despliegue y optimizar los modelos para hardware especializado, esta integración ayuda a cerrar la brecha entre el desarrollo y las aplicaciones del mundo real.

A medida que la edge AI continúa creciendo, contar con opciones de despliegue eficientes y escalables será clave para construir sistemas receptivos y fiables. Esta colaboración es un paso hacia hacer que la IA de visión avanzada sea más accesible en todos los sectores.

¿Quieres saber más sobre la IA? Explora nuestro repositorio de GitHub, conéctate con nuestra comunidad y consulta nuestras opciones de licencia para poner en marcha tu proyecto de visión artificial. Descubre cómo innovaciones como la IA en el comercio minorista y la visión artificial en la salud están dando forma al futuro.