Pon a prueba YOLO-World

Los proyectos de visión artificial suelen implicar dedicar mucho tiempo a anotar datos y entrenar modelos de detección de objetos. Pero eso podría quedar pronto en el pasado. El laboratorio de IA de Tencent lanzó YOLO-World, un modelo de detección de objetos en tiempo real y con vocabulario abierto, el 31 de enero de 2024. YOLO-World es un modelo zero-shot, lo que significa que puedes ejecutar inferencias de detección de objetos en imágenes sin tener que entrenarlo.

Los modelos zero-shot tienen el potencial de cambiar nuestra forma de abordar las aplicaciones de visión artificial. En este artículo, exploraremos cómo funciona YOLO-World y sus posibles usos, y compartiremos un ejemplo de código práctico para que puedas empezar.

Una mirada a YOLO-World#

Puedes pasar una imagen y un prompt de texto que describa los objetos que buscas al modelo YOLO-World. Por ejemplo, si te interesa encontrar «una persona con una camisa roja» en una foto, YOLO-World recibe esta entrada y se pone manos a la obra.

La arquitectura única del modelo combina tres elementos principales:

• Un detector basado en el modelo de detección de objetos Ultralytics YOLOv8, para analizar el contenido visual de la imagen.
• Un codificador de texto preentrenado por CLIP de OpenAI, diseñado específicamente para comprender tu prompt de texto.
• Una red, la red de agregación de rutas visión-lenguaje (RepVL-PAN), que integra los datos de imagen procesados con los datos de texto.

El detector YOLO analiza la imagen de entrada para identificar posibles objetos. El codificador de texto transforma tu descripción a un formato que el modelo puede entender. A continuación, estos dos flujos de información se combinan mediante RepVL-PAN usando fusión de modalidades cruzadas multinivel. Esto permite a YOLO-World detectar y localizar con precisión en la imagen los objetos descritos en tu prompt.

Un ejemplo de resultados de YOLO-World.

Ventajas de elegir YOLO-World#

Una de las mayores ventajas de usar YOLO-World es que no tienes que entrenar el modelo para una clase específica. Ya ha aprendido a partir de pares de imágenes y textos, por lo que sabe encontrar objetos basándose en descripciones. Puedes evitar horas de recopilación y anotación de datos, entrenamiento en GPU costosas y mucho más.

Estas son otras ventajas de usar YOLO-World:

• Rendimiento en tiempo real: YOLO-World ofrece rendimiento en tiempo real, igual que la arquitectura YOLO original. Es ideal para aplicaciones que requieren una detección inmediata de objetos, como los vehículos autónomos y los sistemas de vigilancia.
• Segmentación de instancias: YOLO-World puede delimitar y separar con precisión los objetos de las imágenes, incluso si esos objetos no se le enseñaron específicamente durante el entrenamiento.
• Eficiencia: YOLO-World combina una gran precisión con eficiencia computacional, lo que lo hace práctico para aplicaciones del mundo real. Su arquitectura optimizada permite detectar objetos rápidamente sin exigir demasiado a la capacidad de procesamiento.

Aplicaciones de YOLO-World#

Los modelos YOLO-World pueden utilizarse en una gran variedad de aplicaciones. Veamos algunas.

Control de calidad en la fabricación#

Los productos fabricados en una cadena de montaje se revisan visualmente para detectar defectos antes de embalarlos. La detección de defectos suele hacerse a mano, lo que lleva tiempo y puede dar lugar a errores. Estos errores pueden causar problemas como costes elevados y la necesidad de realizar reparaciones o retiradas. Para ayudar con esta tarea, se han creado cámaras especiales de visión artificial y sistemas de IA que realizan estas comprobaciones.

Los modelos YOLO-World suponen un gran avance en este ámbito. Gracias a sus capacidades zero-shot, pueden encontrar defectos en productos incluso cuando no se han entrenado para ese problema específico. Por ejemplo, una fábrica que produzca botellas de agua puede identificar fácilmente, mediante YOLO-World, si una botella está correctamente sellada con un tapón o si le falta el tapón o este es defectuoso.

Un ejemplo de inspección de tapones de botellas.

Robótica#

Los modelos YOLO-World permiten a los robots interactuar con entornos desconocidos. Aunque no se hayan entrenado con objetos específicos que puedan estar en una habitación, aún pueden identificar qué objetos hay presentes. Por ejemplo, imagina que un robot entra en una habitación en la que nunca había estado. Con un modelo YOLO-World, todavía puede reconocer e identificar objetos como sillas, mesas o lámparas, aunque no se haya entrenado específicamente con esos elementos.

Además de detectar objetos, YOLO-World también puede determinar el estado de esos objetos gracias a su función «prompt-then-detect». Por ejemplo, en la robótica agrícola, puede utilizarse para identificar frutas maduras y no maduras programando el robot para que las detecte.

IA en la industria del automóvil#

La industria del automóvil implica muchas piezas móviles, y YOLO-World puede utilizarse en distintas aplicaciones relacionadas con los vehículos. Por ejemplo, en el mantenimiento de vehículos, la capacidad de YOLO-World para reconocer una gran variedad de objetos sin etiquetado manual ni un preentrenamiento exhaustivo resulta extremadamente útil. YOLO-World puede utilizarse para identificar las piezas del coche que deben sustituirse. Incluso podría automatizar tareas como los controles de calidad y detectar defectos o piezas que falten en coches nuevos.

Otra aplicación es la detección de objetos zero-shot en coches autónomos. Las capacidades de detección zero-shot de YOLO-World pueden mejorar la capacidad de un vehículo autónomo para detectar y clasificar objetos de la carretera, como peatones, señales de tráfico y otros vehículos, en tiempo real. De este modo, puede ayudar a detectar obstáculos y prevenir accidentes para lograr un trayecto más seguro.

Un ejemplo de detección de objetos en una carretera.

Gestión del inventario en tiendas minoristas#

Identificar objetos en las estanterías de las tiendas minoristas es una parte importante del seguimiento del inventario, el mantenimiento de las existencias y la automatización de procesos. La capacidad de Ultralytics YOLO-World para reconocer una gran variedad de objetos sin etiquetado manual ni un preentrenamiento exhaustivo resulta extremadamente útil para la gestión del inventario.

Por ejemplo, en la gestión del inventario, YOLO-World puede localizar y categorizar rápidamente artículos de una estantería, como distintas marcas de bebidas energéticas. Las tiendas minoristas pueden mantener un inventario preciso, gestionar eficazmente los niveles de existencias y agilizar las operaciones de la cadena de suministro.

Todas las aplicaciones son únicas y muestran hasta qué punto puede utilizarse YOLO-World. A continuación, vamos a trabajar con YOLO-World y a ver un ejemplo de código.

Recorrido por el código#

Como hemos mencionado antes, YOLO-World puede utilizarse para detectar distintas piezas de un coche con fines de mantenimiento. Una aplicación de visión artificial que detecte las reparaciones necesarias implicaría hacer una foto del coche, identificar sus piezas, examinar cada pieza para comprobar si presenta daños y recomendar reparaciones. Cada parte de este sistema utilizaría técnicas y enfoques de IA diferentes. Para este recorrido por el código, centrémonos en la parte en la que se detectan las piezas del coche.

Con YOLO-World, puedes identificar distintas piezas de un coche en una imagen en menos de 5 minutos. También puedes ampliar este código para probar distintas aplicaciones con YOLO-World. Para empezar, tendremos que instalar el paquete de Ultralytics con pip, como se muestra a continuación.

Para obtener más instrucciones y prácticas recomendadas relacionadas con el proceso de instalación, consulta nuestra guía de instalación de Ultralytics. Si encuentras dificultades al instalar los paquetes necesarios para YOLOv8, consulta nuestra guía de problemas habituales, donde encontrarás soluciones y consejos.

Cuando hayas instalado el paquete necesario, podemos descargar una imagen de Internet para ejecutar nuestras inferencias. Utilizaremos la imagen que aparece a continuación.

Nuestra imagen de entrada.

A continuación, importaremos el paquete necesario, inicializaremos nuestro modelo y estableceremos las clases que buscamos en la imagen de entrada. En este caso, nos interesan las siguientes clases: coche, rueda, puerta de coche, espejo retrovisor y matrícula.

Después utilizaremos el método predict, proporcionando la ruta de la imagen junto con los parámetros correspondientes al número máximo de detecciones y los umbrales de intersección sobre unión (IoU) y confianza (conf) para ejecutar una inferencia en la imagen. Por último, los objetos detectados se guardan en un archivo llamado «result.jpg».

La siguiente imagen de salida se guardará en tus archivos.

Nuestra imagen de salida.

Si prefieres ver lo que YOLO-World puede hacer sin programar, puedes ir a la página de demostración de YOLO-World, subir una imagen de entrada e introducir las clases personalizadas.

Lee nuestra página de documentación sobre YOLO-World para aprender a guardar el modelo con las clases personalizadas, de modo que puedas utilizarlo directamente más adelante sin tener que introducirlas repetidamente.

¿Te has dado cuenta de que no se detectaron las puertas del coche?#

Si vuelves a mirar la imagen de salida, observarás que no se detectó la clase personalizada «car door». A pesar de sus grandes logros, YOLO-World tiene ciertas limitaciones. Para combatir estas limitaciones y utilizar el modelo YOLO-World de forma eficaz, es importante usar los tipos correctos de prompts de texto.

Aquí tienes algunas ideas al respecto:

• Es posible que YOLO-World no necesite niveles de confianza altos para realizar predicciones precisas, por lo que reducir los umbrales de confianza puede mejorar las tasas de detección.
• Añade clases que no te interesen. Esto ayudará a mejorar la detección de objetos principal al reducir los falsos positivos de los objetos secundarios.
• Detectar primero los objetos grandes antes de centrarse en los detalles más pequeños puede mejorar la precisión de la detección.
• Menciona los colores en tus clases para detectar objetos basándote en sus características de color.
• Describir el tamaño de los objetos en los prompts también puede ayudar a YOLO-World a identificar objetos específicos con mayor precisión.
• Los métodos de posprocesamiento, como filtrar las predicciones por tamaño o ajustar los niveles de confianza por clase, pueden mejorar aún más los resultados de la detección de objetos.

Los límites son infinitos#

En general, los modelos YOLO-World pueden convertirse en una herramienta potente gracias a sus avanzadas capacidades de detección de objetos. Ofrecen una gran eficiencia y precisión, y ayudan a automatizar distintas tareas en diversas aplicaciones, como el ejemplo de identificación de piezas de coches que hemos tratado de forma práctica.

No dudes en explorar nuestro repositorio de GitHub para obtener más información sobre nuestras contribuciones a la visión artificial y la IA. Si te interesa saber cómo la IA está transformando sectores como la tecnología de la sanidad, consulta nuestras páginas de soluciones. ¡Las posibilidades de innovaciones como YOLO-World parecen infinitas!