Llevando modelos de Ultralytics YOLO al hardware de Axelera AI para IA de borde

En Ultralytics, estamos viendo un cambio creciente hacia la ejecución de modelos de visión artificial directamente en dispositivos edge a medida que la IA se adopta de forma más generalizada. En nuestras conversaciones con la comunidad de visión artificial, tanto en línea como en persona en recientes conferencias tecnológicas, nuestro equipo ha observado un interés cada vez mayor en implementar la IA de visión más cerca de donde se generan los datos.

Desde entornos de comercio minorista inteligente y automatización industrial hasta la robótica, la información en tiempo real se está volviendo esencial, y depender únicamente de la nube ya no es suficiente.

En pocas palabras, la IA en el edge consiste en ejecutar modelos de IA localmente en los dispositivos en lugar de enviar datos a servidores centralizados para su procesamiento. Esto permite reducir la latencia, mejorar la fiabilidad y responder a eventos del mundo real en tiempo real.

Sin embargo, desplegar modelos de alto rendimiento en estos entornos conlleva sus propios desafíos, ya que los recursos informáticos limitados y las restricciones de energía requieren que los modelos sean eficientes y estén optimizados para el hardware en el que se ejecutan.

Los modelos de Ultralytics YOLO como Ultralytics YOLO26 están diseñados para la visión artificial en tiempo real, pero explotar todo su potencial en el edge requiere la combinación adecuada de software y hardware. Por eso nos emociona anunciar nuestra colaboración con Axelera AI.

Nos hemos asociado con Axelera AI para presentar una integración de exportación actualizada, lo que permite un despliegue eficiente y de alto rendimiento de los modelos de Ultralytics YOLO en unidades de procesamiento de IA (AIPUs) Metis®.

Fig 1. Una vista de una unidad de procesamiento de IA Metis (Fuente)

En este artículo, exploraremos cómo los modelos Ultralytics YOLO pueden compilarse fácilmente para el despliegue en Metis. ¡Empecemos!

La edge AI es el futuro de la visión artificial#

A medida que las aplicaciones de visión artificial siguen evolucionando, la necesidad de un procesamiento más rápido y eficiente es cada vez más crucial. Los enfoques tradicionales basados en la nube pueden introducir latencia, depender de una conectividad estable y es posible que no cumplan con las demandas en tiempo real de muchos casos de uso de visión inteligente.

La IA en el edge aborda estos desafíos al permitir que los modelos se ejecuten directamente en los dispositivos locales, lo que permite procesar los datos más cerca de su origen. Por ejemplo, considera los drones impulsados por visión utilizados en operaciones de búsqueda y rescate.

Estos sistemas necesitan analizar fuentes de vídeo en tiempo real para detectar personas, obstáculos o peligros, a menudo en áreas remotas con conectividad a Internet limitada o inexistente. Al ejecutar modelos de visión artificial directamente en el dron, la edge AI permite una toma de decisiones más rápida y un rendimiento más fiable sin depender de la infraestructura en la nube.

Este cambio está abriendo nuevas posibilidades en todos los sectores. Aplicaciones como la detección de objetos en tiempo real en el comercio minorista, la inspección de calidad automatizada en la fabricación y la percepción en robótica se benefician de tiempos de respuesta más rápidos y una mayor fiabilidad.

La edge AI se está convirtiendo rápidamente en un factor clave para desplegar sistemas de visión artificial escalables y receptivos en entornos del mundo real.

Explorando las Metis AI Processing Units de Axelera AI#

Antes de sumergirnos en la nueva integración de exportación, demos un paso atrás y conozcamos más sobre las unidades de procesamiento de IA Metis de Axelera AI y el papel que desempeñan para permitir una IA en el edge eficiente.

Axelera AI desarrolla hardware diseñado específicamente para acelerar la inferencia de IA en el borde. Una parte clave de esto es la Metis AIPU, o AI Processing Unit, un procesador especializado construido para ejecutar redes neuronales de manera eficiente en dispositivos de borde.

A diferencia de las unidades centrales de procesamiento (CPUs) de propósito general o incluso de las unidades de procesamiento gráfico (GPUs), las AIPUs están diseñadas para manejar los patrones computacionales específicos de las cargas de trabajo de IA. Esto les permite ofrecer un alto rendimiento manteniendo un bajo consumo de energía, lo cual es crítico para entornos de borde donde los recursos suelen ser limitados.

Lo que hace que el enfoque de Axelera AI sea particularmente innovador es su diseño de pila completa. Metis está construido con computación digital en memoria (D-IMC) y RISC-V para un alto rendimiento con la eficiencia energética que demanda la computación de borde. Los cuatro núcleos de Metis son programables de forma independiente, lo que significa que puedes ejecutar cuatro modelos por chip en paralelo. Además del hardware, el Voyager SDK incluye un compilador y un tiempo de ejecución que trabajan juntos para optimizar los modelos para el despliegue.

Esto permite a los desarrolladores pasar de modelos entrenados a una inferencia lista para producción de manera más eficiente. Específicamente, las Metis AIPUs hacen posible ejecutar modelos avanzados de visión artificial, como los modelos Ultralytics YOLO, directamente en dispositivos de borde desde entornos empresariales, minoristas, de salud y fabricación hasta equipos industriales y satélites.

Exportación de modelos Ultralytics YOLO para el despliegue en Metis#

El paquete Python de Ultralytics proporciona una interfaz unificada para entrenar, evaluar y desplegar modelos YOLO en una variedad de tareas de visión artificial. Los modelos YOLO se desarrollan y entrenan normalmente utilizando PyTorch, que es muy adecuado para la experimentación y el desarrollo de modelos.

Sin embargo, al desplegar estos modelos en hardware edge especializado, es necesario convertirlos a un formato optimizado para el dispositivo de destino. Aquí es donde entran en juego las integraciones de exportación compatibles con el paquete Python de Ultralytics.

Ultralytics ofrece una gama de opciones de exportación que permiten convertir los modelos YOLO a diferentes formatos dependiendo del objetivo de despliegue, como ONNX, TensorRT y otros backends específicos de hardware. Estas integraciones simplifican el proceso de preparación de modelos para aplicaciones del mundo real al gestionar los pasos necesarios de optimización y conversión.

A partir de esto, Ultralytics ha introducido una integración con Axelera AI de exportación actualizada, lo que permite exportar los modelos YOLO para su despliegue en AIPUs Metis.

Durante la exportación, el modelo se compila y cuantiza en una representación optimizada diseñada específicamente para el hardware de Axelera. Este proceso produce un modelo compilado en formato ".axm", junto con los metadatos necesarios para el despliegue y la inferencia.

Fig 2. Los modelos de Ultralytics YOLO se pueden ejecutar en AIPUs Metis. (Fuente)

La integración es compatible con una amplia gama de tareas de visión artificial en los modelos de Ultralytics YOLOv8, Ultralytics YOLO11 y Ultralytics YOLO26, incluyendo detección de objetos, estimación de poses, segmentación de instancias, detección con cuadro delimitador orientado (OBB) y clasificación de imágenes. Aunque la mayoría de las tareas son compatibles directamente a través del flujo de trabajo de exportación, la segmentación de YOLO26 se puede utilizar a través del zoológico de modelos con el SDK Voyager.

Este soporte ampliado brinda a los desarrolladores la flexibilidad de desplegar diferentes tipos de modelos de visión según su aplicación, desde detectar objetos en tiempo real hasta comprender escenas, rastrear movimientos y analizar datos visuales complejos.

Una vez exportados, los modelos pueden desplegarse y ejecutarse sin depender de PyTorch en el momento de la inferencia. En su lugar, se ejecutan utilizando el tiempo de ejecución del Voyager SDK, que admite la creación de tuberías de extremo a extremo para tareas como procesamiento de vídeo, detección en tiempo real y seguimiento directamente en dispositivos de borde.

Primeros pasos con la exportación de modelos Ultralytics YOLO#

Ahora que tenemos una mejor comprensión de la nueva integración de exportación, repasemos cómo exportar modelos Ultralytics YOLO a este formato personalizado y ejecutarlos en hardware Metis en el borde.

Paso 1: Instala el paquete de Python de Ultralytics#

Para empezar, primero necesitarás instalar el paquete Python de Ultralytics. Proporciona una interfaz sencilla y coherente para entrenar, evaluar y exportar modelos YOLO.

Puedes instalarlo usando pip ejecutando el siguiente comando en tu terminal o símbolo del sistema:

pip install ultralytics

Si encuentras algún problema durante la instalación o la exportación, la documentación oficial de Ultralytics y la guía de problemas comunes son excelentes recursos para la resolución de problemas.

Paso 2: Instala los controladores de Axelera y el Voyager SDK#

Para exportar y ejecutar modelos en el hardware de Axelera, también necesitarás instalar los controladores de Axelera y el Voyager SDK. Este paso habilita la comunicación con la Metis AIPU y proporciona el tiempo de ejecución y las herramientas de compilación necesarias.

Los pasos a continuación deben realizarse en un entorno Linux con acceso al hardware Axelera AI Metis. Abre una terminal en tu sistema, o usa una celda de cuaderno si estás ejecutando Jupyter Notebook en una configuración local compatible, y ejecuta los comandos a continuación.

Comienza añadiendo la clave del repositorio de Axelera de la siguiente manera:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

A continuación, como se muestra a continuación, añade el repositorio de Axelera a tu sistema:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Luego, instala el Voyager SDK y carga el controlador de Metis de la siguiente manera:

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

Una vez completados estos pasos, tu sistema estará listo para exportar y ejecutar modelos Ultralytics YOLO en dispositivos Axelera AI Metis.

Paso 3: Exportación de modelos Ultralytics YOLO#

Una vez instalado el paquete Ultralytics, puedes cargar tu modelo YOLO y exportarlo como un paquete compilado para Metis. Este proceso convierte el modelo a un formato optimizado para el despliegue en hardware Axelera AI Metis.

En el ejemplo a continuación, utilizamos un modelo YOLO26 nano preentrenado y lo exportamos para Metis. El modelo exportado se guardará en un directorio llamado "/yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Paso 4: Ejecuta la inferencia con el modelo exportado#

Después de exportar el modelo, puedes cargarlo y ejecutar la inferencia en imágenes o secuencias de vídeo inéditas. Esto permite realizar tareas de visión artificial en tiempo real directamente en dispositivos Axelera AI Metis.

Por ejemplo, el fragmento de código a continuación muestra cómo cargar el modelo exportado y ejecutar la inferencia en una URL disponible públicamente.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

En este caso, el modelo analiza la imagen de entrada y detecta objetos, guardando los resultados en el directorio "runs/detect/predict".

Dónde pueden tener impacto los modelos Ultralytics YOLO y el hardware de Axelera AI#

A continuación, hablemos de algunas aplicaciones comunes de edge AI donde los modelos Ultralytics YOLO pueden desplegarse en hardware de Axelera AI en escenarios del mundo real.

Las Metis AIPUs de Axelera AI están diseñadas para una variedad de entornos de despliegue, desde sistemas integrados y PCs industriales hasta robótica y servidores de borde. Con una inferencia de alto rendimiento y eficiencia energética, permiten que las aplicaciones de visión artificial se ejecuten directamente en el dispositivo en todos los sectores. El Voyager SDK también incluye un generador de tuberías para que los ingenieros de ML y APP puedan comercializar modelos para el borde.

Sistemas de visión inteligente en el comercio minorista operando en el borde#

En entornos minoristas, entender el comportamiento del cliente en tiempo real puede marcar una diferencia significativa.

Usando modelos Ultralytics YOLO ejecutándose en hardware de Axelera AI, las tiendas pueden monitorear el tráfico peatonal, contar personas y analizar patrones de movimiento en la tienda a medida que ocurren. Dado que todo se ejecuta en el dispositivo, la información se puede generar al instante sin depender de la conectividad en la nube, lo que ayuda a los equipos a responder más rápido mientras mantienen la privacidad de los datos.

Fig. 3. Detectando y contando personas en un centro comercial usando Ultralytics YOLO26

Uso de edge AI para la inspección de servicios públicos e infraestructura#

El mantenimiento de infraestructura a gran escala, como las líneas eléctricas, es complejo y requiere muchos recursos. Estas redes a menudo abarcan grandes distancias, lo que hace que las inspecciones consuman mucho tiempo, sean costosas y potencialmente peligrosas. Cuando las fallas o los signos tempranos de desgaste no se detectan, pueden escalar hacia cortes, daños en los equipos o riesgos de seguridad.

Los drones se utilizan cada vez más para mejorar la eficiencia de la inspección. Pueden cubrir largas distancias, acceder a áreas de difícil alcance y capturar imágenes de alta resolución de activos críticos.

Combinar drones con edge AI mejora aún más estos flujos de trabajo. Los modelos Ultralytics YOLO ejecutándose en hardware de Axelera AI permiten el análisis en tiempo real durante las inspecciones, identificando fallas, clasificando componentes y detectando anomalías en el sitio. Esto reduce la necesidad de revisión manual y respalda un monitoreo de infraestructura más rápido y fiable.

Fig. 4. Detectando varias partes de una línea eléctrica con Ultralytics YOLO26

Impulsando la robótica con información de IA de visión en tiempo real#

Para la robótica, la velocidad y la capacidad de respuesta son críticas. Ya sea navegando en un almacén o operando en entornos industriales dinámicos, los robots necesitan interpretar su entorno al instante.

Los modelos Ultralytics YOLO ejecutándose en hardware de Axelera AI permiten a los robots interpretar su entorno en tiempo real, desde la detección de obstáculos hasta el seguimiento de personas y la identificación de objetos. Esto permite que los sistemas se muevan de forma más segura, se adapten a condiciones dinámicas y operen con mayor autonomía sin depender de una conectividad constante en la nube.

Beneficios clave de ejecutar modelos Ultralytics YOLO en Metis AIPUs#

Aquí tienes algunas de las ventajas clave de desplegar modelos Ultralytics YOLO en el hardware Metis de Axelera AI utilizando la nueva integración:

• Integración perfecta con el flujo de trabajo de Ultralytics: La exportación de modelos YOLO para el despliegue en Metis encaja naturalmente en el paquete Python de Ultralytics, simplificando la transición del entrenamiento a la inferencia.
• Soporte para múltiples tareas de visión artificial: Puedes desplegar modelos para detección de objetos, estimación de pose, segmentación, clasificación y más en YOLOv8, YOLO11 y YOLO26.
• Ejecución de modelos en paralelo: Las Metis AIPUs están diseñadas con cuatro núcleos programables de forma independiente capaces de ejecutar cuatro modelos por separado en paralelo para adaptarse a tus necesidades.
• Escalable en aplicaciones de edge AI: Desde análisis minoristas e inspección industrial hasta robótica e infraestructura inteligente, la integración admite una amplia gama de casos de uso del mundo real.

Conclusiones clave#

Los modelos Ultralytics YOLO y las Metis AIPUs de Axelera AI facilitan llevar la visión artificial de alto rendimiento al borde. Al simplificar el despliegue y optimizar los modelos para hardware especializado, esta integración ayuda a cerrar la brecha entre el desarrollo y las aplicaciones del mundo real.

A medida que la edge AI continúa creciendo, contar con opciones de despliegue eficientes y escalables será clave para construir sistemas receptivos y fiables. Esta colaboración es un paso hacia hacer que la IA de visión avanzada sea más accesible en todos los sectores.

¿Quieres aprender más sobre IA? Explora nuestro repositorio de GitHub, conecta con nuestra comunidad y echa un vistazo a nuestras opciones de licencias para impulsar tu proyecto de visión artificial. Descubre cómo innovaciones como la IA en el comercio minorista y la visión artificial en la sanidad están dando forma al futuro.