¿Qué es YOLOE? Cómo llevar más lejos los modelos de visión artificial

La detección de objetos es una tarea clave de la visión artificial cuyo objetivo es identificar y localizar objetos en imágenes o vídeos. Es una parte fundamental de la visión artificial, un campo de la inteligencia artificial (AI) que permite a las máquinas comprender e interpretar datos visuales. Por ejemplo, la detección de objetos puede ayudar a identificar un coche en una imagen o localizar a una persona en una transmisión de vídeo.

Una de las familias de modelos más conocidas compatibles con tareas de visión artificial, como la detección de objetos, es la serie de modelos YOLO (You Only Look Once). Diseñados para ofrecer velocidad y precisión, los modelos YOLO han mejorado continuamente con el tiempo. Por ejemplo, Ultralytics YOLO11 (al que posteriormente sucedió Ultralytics YOLO26) ofrece un buen rendimiento en situaciones reales y proporciona resultados precisos incluso en entornos más complejos.

Para seguir impulsando este progreso, un nuevo modelo llamado YOLOE pretende ampliar las capacidades de los modelos YOLO. A diferencia de los modelos tradicionales, que requieren un nuevo entrenamiento para reconocer objetos nuevos, YOLOE puede seguir indicaciones sencillas de texto o imagen para detectar objetos que no ha visto antes, lo que lo hace mucho más adaptable a entornos cambiantes.

En este artículo, analizaremos más de cerca qué hace que YOLOE sea único, cómo se compara con los modelos YOLO anteriores y cómo puedes empezar a usarlo hoy.

Descripción general de YOLOE#

YOLOE es un modelo de visión artificial que lleva la detección de objetos un paso más allá. Fue presentado en marzo de 2025 por investigadores de la Universidad de Tsinghua. Lo que distingue a YOLOE de los modelos tradicionales es el uso de la detección con vocabulario abierto.

Aunque la mayoría de los modelos se entrenan para reconocer una lista fija de objetos, YOLOE te permite especificar qué buscar mediante una breve descripción o una imagen de ejemplo. Por ejemplo, si buscas una «mochila verde», puedes escribir esa descripción o mostrarle una foto al modelo, y YOLOE la localizará en la escena.

Además, incluso sin ninguna indicación, YOLOE puede detectar por sí solo muchos objetos cotidianos. Esta capacidad para reconocer objetos que nunca ha visto se denomina detección sin ejemplos. Resulta especialmente útil en entornos dinámicos donde la tarea o los objetos de interés pueden cambiar inesperadamente.

Fig. 1. Un vistazo a las capacidades de YOLOE.

Características principales de YOLOE#

YOLOE admite una amplia variedad de funciones diseñadas para mejorar su rendimiento en aplicaciones reales. Gracias a su capacidad para procesar entradas estructuradas y no estructuradas, YOLOE abre nuevas posibilidades para la detección y la segmentación de objetos.

Estas son algunas de las principales características que ofrece el modelo:

• Detección basada en indicaciones: YOLOE puede buscar objetos a partir de una breve indicación de texto o una imagen de ejemplo. Esto significa que no tienes que volver a entrenar el modelo cada vez que cambia tu tarea; basta con describirle o mostrarle al modelo lo que buscas.
• Segmentación de instancias: Además de dibujar cuadros delimitadores alrededor de los objetos, YOLOE puede delinear su forma exacta mediante la segmentación de instancias. Esto resulta especialmente útil cuando los objetos se solapan o necesitas conocer sus límites precisos.
• Reconocimiento de objetos sin indicaciones: YOLOE puede reconocer objetos incluso sin instrucciones específicas. Utiliza un conjunto de descripciones aprendidas previamente para identificar objetos rápidamente, lo que agiliza y mejora la eficiencia del proceso.

Comparación de YOLOE con otros modelos YOLO#

Ahora que ya sabemos mejor qué es YOLOE, echemos un vistazo a algunos modelos de la familia YOLO que son similares.

A medida que ha avanzado la visión artificial, también lo han hecho los modelos YOLO. Por ejemplo, Ultralytics YOLOv8 incorporó compatibilidad con nuevas tareas, como la segmentación y la clasificación, mientras que las versiones posteriores, como Ultralytics YOLO11, se han centrado en mejorar la precisión y el rendimiento en una gama más amplia de tareas.

Además, YOLO-World se lanzó en enero de 2024 e introdujo la posibilidad de utilizar indicaciones escritas, lo que permite a los usuarios describir los objetos que quieren encontrar. Aunque YOLO-World era una excelente opción para la detección sin ejemplos, carecía de funciones como la segmentación de instancias y la compatibilidad con indicaciones visuales.

YOLOE amplía YOLO-World con estas capacidades, mejora la flexibilidad y el rendimiento y ofrece una herramienta con mayor impacto para aplicaciones de visión artificial en el mundo real. Para ver cómo se comparan los detectores de vocabulario abierto y los modelos de lenguaje visual en conjuntos de datos de detección del mundo real, consulta la tabla de clasificación VLM de Ultralytics.

Fig. 2. YOLO-World y YOLOE admiten la detección sin ejemplos.

Uso de YOLOE con el paquete Python de Ultralytics#

Tanto si quieres detectar objetos concretos como explorar todo lo que aparece en una imagen, empezar a usar YOLOE es muy sencillo. Este modelo es compatible con el paquete Python de Ultralytics, por lo que resulta fácil integrarlo en tus proyectos. A continuación, veremos cómo utilizarlo.

Instalación del paquete Ultralytics#

El primer paso es instalar el paquete de Python de Ultralytics con un gestor de paquetes como pip. Puedes hacerlo ejecutando pip install ultralytics en el terminal o en el símbolo del sistema.

Una vez instalado el paquete, tendrás todo lo que necesitas para cargar el modelo, hacer predicciones y probar distintos modos de detección. Si tienes algún problema durante la instalación, la documentación oficial de Ultralytics incluye una útil sección de resolución de problemas.

Hay varias formas de utilizar YOLOE para realizar predicciones. Realizar predicciones significa utilizar el modelo entrenado para identificar y localizar objetos en imágenes o vídeos. Estos distintos métodos te permiten adaptar la forma de interactuar con el modelo a tus necesidades concretas.

Veamos cada uno de estos métodos por separado.

Detección de objetos específicos con indicaciones de texto o imagen#

YOLOE puede detectar objetos a partir de una breve descripción de texto. Por ejemplo, si buscas un caballo en movimiento, puedes utilizar una indicación como «caballo caminando».

Para empezar, carga el modelo YOLOE preentrenado y configura la indicación (la descripción de lo que quieres que busque el modelo), como se muestra en el fragmento de código siguiente.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

Una vez configurados el modelo y la indicación, puedes ejecutar el modelo sobre una imagen o un vídeo. Sustituye la ruta del archivo del código por la ruta de tu imagen o vídeo:

results = model.predict("path/to/your/image.jpg")
results[0].show()

Esto mostrará la imagen con el objeto detectado claramente marcado según tu indicación. Puedes cambiar la indicación para buscar otros objetos, como «maleta roja», «bicicleta» o «cebra», según lo que busques.

Fig. 3. Ejemplo del uso de YOLOE para detectar objetos específicos mediante una indicación de texto.

Del mismo modo, puedes utilizar una imagen para dar indicaciones a YOLOE con el paquete Python de Ultralytics. En el modo de indicación visual, el modelo utiliza la imagen para encontrar elementos de aspecto similar en otra escena. Esto resulta especialmente útil para objetos difíciles de describir o que no tienen etiquetas claras.

Para consultar el código con más detalle, echa un vistazo a la documentación de Ultralytics.

Detección general de objetos con YOLOE#

En algunos casos, puede que no sepas exactamente qué buscar o que no busques ningún objeto en particular. En esos casos, resulta útil el modo sin indicaciones.

Con esta opción, no tienes que escribir una descripción ni proporcionar una imagen de ejemplo. YOLOE analiza las imágenes por sí solo y detecta todo lo que puede reconocer, como personas, animales, muebles u objetos cotidianos.

Es una forma práctica de explorar una escena sin dar instrucciones específicas al modelo. Tanto si estás examinando una sala abarrotada como revisando una grabación con mucha actividad, el modo sin indicaciones te permite ver rápidamente qué aparece en una imagen.

Puedes utilizar el siguiente código para ejecutar YOLOE en modo sin indicaciones. Primero se carga el modelo; después, procesa la imagen y detecta automáticamente los objetos que aparecen en ella. Por último, se muestran los resultados y se resaltan los objetos detectados.

Asegúrate de sustituir la ruta del archivo por la ruta real de tu imagen.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

La imagen siguiente muestra un ejemplo de lo que YOLOE puede detectar en modo sin indicaciones.

Fig. 4. Uso de YOLOE en modo sin indicaciones.

Aplicaciones de YOLOE en tiempo real#

La capacidad de YOLOE para responder a indicaciones de texto e imagen lo convierte en una herramienta fiable para aplicaciones en tiempo real. Su flexibilidad resulta especialmente útil en entornos dinámicos donde la rapidez y la precisión son esenciales.

Veamos algunos ejemplos reales de cómo se puede utilizar YOLOE.

Mejora de la gestión de equipajes: detección de maletas en tiempo real#

En aeropuertos concurridos, localizar equipajes concretos puede ser complicado, especialmente cuando hay maletas desaparecidas. YOLOE puede agilizar este proceso al ayudar a analizar vídeos en directo e identificar rápidamente objetos a partir de indicaciones sencillas como «maleta roja».

Si una maleta ha desaparecido o está en el lugar equivocado, el personal puede cambiar fácilmente la indicación para buscar otro objeto, como una «maleta negra». Esta capacidad de adaptación inmediata puede ayudar al personal del aeropuerto a localizar rápidamente el equipaje correcto sin revisar horas de grabación ni volver a entrenar el modelo, lo que agiliza y mejora la eficiencia de la gestión de equipajes y la resolución de incidencias con maletas desaparecidas.

Vigilancia de espacios públicos con YOLOE#

Las grabaciones de vigilancia de espacios públicos, como mercados y cafeterías concurridos, suelen incluir una combinación de personas, objetos y actividades que cambian a lo largo del día. YOLOE puede analizar estas grabaciones en tiempo real en modo sin indicaciones y detectar automáticamente objetos como bolsos, mesas o bicicletas sin necesidad de instrucciones específicas.

Fig. 5. YOLOE puede detectar distintos objetos en un espacio público concurrido.

Esto resulta especialmente útil para que los equipos de seguridad detecten objetos desatendidos o sigan el movimiento de la multitud. La capacidad de YOLOE para detectar varios objetos a la vez facilita la gestión de espacios públicos durante eventos o periodos de gran afluencia, y ayuda a los equipos a mantenerse informados y reaccionar con rapidez.

Ventajas e inconvenientes de YOLOE#

Estas son algunas de las principales ventajas de utilizar YOLOE en aplicaciones de visión artificial:

• Rendimiento en tiempo real: YOLOE está optimizado para procesar datos de forma rápida y eficiente, lo que permite realizar detecciones en tiempo real incluso en entornos dinámicos, como transmisiones de vídeo en directo o espacios públicos concurridos.
• Escalabilidad: YOLOE es escalable y funciona bien en una gran variedad de aplicaciones, desde la seguridad y la vigilancia hasta el comercio minorista, la atención sanitaria y los vehículos autónomos.
• Facilidad de uso: como YOLOE es compatible con el paquete Python de Ultralytics, resulta fácil integrarlo en tus proyectos de visión artificial existentes.

Sin embargo, hay algunas limitaciones que debes tener en cuenta al utilizar YOLOE. Estos son un par de factores que conviene considerar:

• Requiere suficientes datos de entrenamiento: aunque YOLOE admite la detección sin ejemplos, su rendimiento con objetos que no ha visto depende de lo bien que generalice a partir de sus datos de entrenamiento. En algunos casos, puede necesitar datos adicionales o un ajuste fino para rendir bien en tareas muy especializadas.
• Sensibilidad a la calidad de entrada: la precisión del modelo puede verse afectada por imágenes o vídeos de baja calidad. Las entradas borrosas o con poca luz pueden reducir la capacidad del modelo para detectar objetos con precisión, por lo que es importante utilizar entradas de alta calidad para obtener el mejor rendimiento.

Conclusiones clave#

YOLOE aporta más flexibilidad a la visión artificial al permitir que los usuarios guíen la detección con indicaciones de texto o imagen. Funciona bien en situaciones reales donde las escenas cambian rápidamente y no es posible volver a entrenar el modelo.

Desde la gestión de equipajes hasta la vigilancia de espacios públicos, YOLOE se adapta fácilmente a nuevas tareas. A medida que la IA se vuelve más accesible, modelos como YOLOE ayudan a más sectores a utilizar la tecnología de visión de forma práctica y eficiente.

Únete a nuestra comunidad y explora nuestro repositorio de GitHub para conocer más innovaciones en IA. Descubre los últimos avances en áreas como la IA en el comercio minorista y la visión artificial en la sanidad en nuestras páginas de soluciones. Echa un vistazo a nuestras opciones de licencia y empieza hoy mismo con la visión artificial.