Comprende la segmentación de conceptos guiada por prompts

La IA visual avanza rápidamente y se utiliza cada vez más para analizar imágenes y vídeos en entornos reales. Por ejemplo, se están integrando aplicaciones que van desde los sistemas de gestión del tráfico hasta la analítica minorista con modelos de visión artificial.

En muchas de estas aplicaciones, los modelos de visión, como los modelos de detección de objetos, se entrenan para reconocer un conjunto predefinido de objetos, incluidos vehículos, personas y equipos. Durante el entrenamiento, estos modelos reciben muchos ejemplos etiquetados para aprender cómo aparece cada objeto y cómo distinguirlo de los demás en una escena.

En las tareas de segmentación, los modelos van un paso más allá al producir contornos precisos a nivel de píxel alrededor de estos objetos. Esto permite a los sistemas entender exactamente dónde se encuentra cada objeto en una imagen.

Esto funciona bien siempre que el sistema solo tenga que reconocer aquello con lo que se ha entrenado. Sin embargo, en entornos reales, rara vez es así.

Las escenas visuales suelen ser dinámicas. Aparecen objetos y conceptos visuales nuevos, cambian las condiciones y los usuarios a menudo quieren segmentar objetos que no formaban parte de la configuración de entrenamiento original.

Estas limitaciones son especialmente evidentes en la segmentación. A medida que la IA visual continúa evolucionando, crece la necesidad de modelos de segmentación más flexibles que puedan adaptarse a nuevos conceptos sin tener que volver a entrenarse repetidamente. Por eso la segmentación de conceptos guiada por prompts (PCS) está ganando atención.

En lugar de depender de una lista fija de categorías de objetos, los usuarios pueden describir lo que quieren segmentar mediante texto, prompts visuales o imágenes de ejemplo. A continuación, estos modelos pueden identificar y segmentar todas las regiones que coincidan con el concepto descrito, aunque dicho concepto no se haya incluido explícitamente durante el entrenamiento.

En este artículo, veremos cómo funciona la segmentación de conceptos guiada por prompts, en qué se diferencia de los enfoques tradicionales y dónde se utiliza actualmente.

¿Qué es la segmentación de conceptos guiada por prompts?#

En la mayoría de los casos, los modelos de segmentación se entrenan para reconocer una lista reducida de tipos de objetos. Esto funciona bien cuando un sistema de IA visual solo necesita detectar y segmentar un conjunto específico de objetos.

Sin embargo, en las aplicaciones del mundo real, las escenas visuales son dinámicas. Aparecen objetos nuevos, cambian los requisitos de las tareas y los usuarios a menudo necesitan segmentar conceptos que no se incluyeron en el conjunto de etiquetas original. Normalmente, para abordar estas situaciones hay que recopilar nuevos datos y anotaciones de alta calidad y volver a entrenar el modelo, lo que aumenta los costes y ralentiza la implementación.

La segmentación de conceptos guiada por prompts resuelve este problema al permitir que los usuarios indiquen al modelo qué debe buscar, en lugar de elegir de una lista fija de etiquetas. Los usuarios describen el objeto o la idea que buscan y el modelo resalta todas las áreas coincidentes de la imagen. Esto facilita mucho conectar la intención del usuario con los píxeles reales de una imagen.

Fig. 1. Ejemplo del uso de prompts de conceptos para la segmentación (Fuente)

Guiar la segmentación con distintos tipos de prompts#

Los modelos compatibles con la segmentación de conceptos guiada por prompts son flexibles porque pueden aceptar distintos tipos de entradas. En otras palabras, hay más de una forma de indicar al modelo qué debe buscar, como descripciones de texto, indicaciones visuales o imágenes de ejemplo.

Veamos cada enfoque con más detalle:

• Prompts de texto: Se pueden utilizar frases cortas como «autobús escolar» o «zona tumoral» para describir el concepto que se quiere segmentar. El modelo interpreta el significado de las palabras e identifica las regiones coincidentes.
• Prompts visuales: Estos prompts utilizan puntos, cuadros o bocetos aproximados dentro de la imagen como indicaciones. Estas señales orientan dónde buscar y ayudan a definir el contorno final.
• Imágenes de ejemplo: Las imágenes de referencia o pequeños recortes representan el concepto de interés. El modelo busca regiones visualmente similares y las segmenta según su apariencia visual.

Diferencias entre PCS y la segmentación tradicional#

Antes de profundizar en el funcionamiento de la segmentación de conceptos guiada por prompts, comparémosla con varios métodos tradicionales de segmentación de objetos.

PCS permite crear modelos de vocabulario abierto y guiados por prompts. Puede trabajar con ideas nuevas descritas mediante prompts, mientras que la segmentación tradicional no puede hacerlo. Existen varios tipos de enfoques tradicionales de segmentación, cada uno con sus propias suposiciones y limitaciones.

Estos son algunos de los principales tipos de segmentación tradicional:

• Segmentación semántica: Cada píxel de la imagen se etiqueta como parte de una categoría, como carretera, edificio o persona. Todos los píxeles con la misma etiqueta se agrupan, por lo que el modelo no separa las instancias individuales de los objetos.
• Segmentación de instancias: El modelo identifica y segmenta objetos individuales, de modo que dos personas o dos coches se tratan como elementos independientes.
• Segmentación panóptica: Esta técnica combina la segmentación semántica y la segmentación de instancias para ofrecer una visión completa de la escena, incluyendo tanto las regiones de fondo como los objetos individuales.

Todos estos enfoques dependen de una lista predefinida de categorías de objetos. Funcionan bien dentro de ese ámbito, pero no gestionan adecuadamente los conceptos que quedan fuera de él. Cuando es necesario segmentar un objeto específico nuevo, normalmente se requieren datos de entrenamiento adicionales y un ajuste fino del modelo.

PCS pretende cambiar esta situación. En lugar de limitarte a categorías predefinidas, te permite describir lo que quieres segmentar en una imagen durante la inferencia.

La evolución de los modelos PCS#

A continuación, repasemos cómo evolucionaron los modelos de segmentación hasta llegar a la segmentación de conceptos guiada por prompts.

Un modelo fundacional popular que marcó un cambio en la segmentación fue SAM, o el Modelo de segmentación universal. Se presentó en 2023. En lugar de depender de categorías de objetos predefinidas, SAM permitía a los usuarios guiar la segmentación mediante prompts visuales sencillos, como puntos o cuadros delimitadores.

Con SAM, los usuarios ya no tenían que seleccionar una etiqueta. Bastaba con indicar dónde estaba un objeto para que el modelo generara una máscara. Esto hizo que la segmentación fuera más flexible, aunque los usuarios todavía tenían que mostrarle al modelo dónde buscar.

SAM 2, publicado en 2024, desarrolló esta idea al gestionar escenas más complejas y ampliar la segmentación guiada por prompts al vídeo. Mejoró la robustez ante distintas condiciones de iluminación, formas de objetos y movimientos, aunque seguía dependiendo principalmente de prompts visuales para guiar la segmentación.

El modelo SAM 3 es el paso más reciente de esta evolución. Se publicó el año pasado y es un modelo unificado que combina la comprensión visual con la orientación lingüística, lo que permite un comportamiento uniforme en tareas de segmentación de imágenes y vídeos.

Con SAM 3, los usuarios no están limitados a señalar o dibujar prompts. En su lugar, pueden describir mediante texto lo que quieren segmentar, y el modelo busca en la imagen o en los fotogramas del vídeo las regiones que coinciden con esa descripción.

La segmentación se guía por conceptos en lugar de categorías de objetos fijas, lo que permite utilizar un vocabulario abierto en distintas escenas y a lo largo del tiempo. De hecho, SAM 3 funciona en un amplio espacio de conceptos aprendidos, fundamentado en una ontología derivada de fuentes como Wikidata y ampliada mediante datos de entrenamiento a gran escala.

Fig. 2. Ejemplo del uso de prompts en SAM 3 para segmentar una sola imagen (Fuente)

En comparación con las versiones anteriores, que dependían sobre todo de prompts geométricos, SAM 3 supone un paso hacia una segmentación más flexible y basada en conceptos. Esto lo hace más adecuado para aplicaciones del mundo real en las que los objetos o las ideas de interés pueden cambiar y no siempre se pueden definir de antemano.

Cómo funciona la segmentación visual guiada por prompts#

Entonces, ¿cómo funciona la segmentación de conceptos guiada por prompts? Se basa en grandes modelos de visión preentrenados y modelos de visión y lenguaje, entrenados con enormes colecciones de imágenes y, en muchos casos, con texto emparejado. Este entrenamiento les permite aprender patrones visuales generales y significado semántico.

La mayoría de los modelos PCS utilizan arquitecturas basadas en Transformer, que procesan una imagen completa de una vez para entender cómo se relacionan entre sí las distintas regiones. Un Transformer de visión extrae las características visuales de la imagen, mientras que un codificador de texto convierte las palabras en representaciones numéricas con las que el modelo puede trabajar.

Durante el entrenamiento, estos modelos pueden aprender a partir de distintos tipos de supervisión, incluidas máscaras a nivel de píxel que definen los límites exactos de los objetos, cuadros delimitadores que ubican los objetos de forma aproximada y etiquetas a nivel de imagen que describen lo que aparece en una imagen. El entrenamiento con distintos tipos de datos etiquetados ayuda al modelo a captar tanto los detalles sutiles como los conceptos visuales más amplios.

En el momento de la inferencia, es decir, cuando el modelo se utiliza realmente para realizar predicciones, PCS sigue un proceso guiado por prompts. El usuario proporciona indicaciones mediante descripciones de texto, pistas visuales como puntos o cuadros, o imágenes de ejemplo. El modelo codifica tanto el prompt como la imagen en una representación interna compartida o en embeddings, e identifica las regiones que se alinean con el concepto descrito.

A continuación, un decodificador de máscaras convierte esta representación compartida en máscaras de segmentación precisas a nivel de píxel. Como el modelo vincula las características visuales con el significado semántico, puede segmentar conceptos nuevos aunque no se hayan incluido explícitamente durante el entrenamiento.

Además, a menudo se puede perfeccionar el resultado ajustando el prompt o añadiendo indicaciones adicionales, lo que ayuda al modelo a gestionar escenas complejas o ambiguas. Este proceso iterativo permite optimizar el sistema de forma práctica durante la implementación.

Los modelos de segmentación de conceptos guiada por prompts suelen evaluarse según su capacidad para segmentar conceptos que no se habían visto anteriormente y su robustez en distintas escenas. Los benchmarks suelen centrarse en la calidad de las máscaras, la generalización y la eficiencia computacional, reflejando los requisitos de implementación del mundo real.

Casos de uso reales de PCS#

A continuación, veamos dónde se utiliza ya la segmentación de conceptos guiada por prompts y dónde está empezando a generar un impacto real.

Segmentación flexible de imágenes médicas#

Las imágenes médicas incluyen numerosas estructuras biológicas, enfermedades y tipos de exploración, y cada día aparecen nuevos casos. A los modelos de segmentación tradicionales les cuesta mantenerse al día con esta variedad.

PCS encaja de forma natural en este ámbito porque permite a los profesionales clínicos describir lo que quieren encontrar en lugar de elegir de una lista breve y rígida. Mediante frases de texto o prompts visuales, PCS puede utilizarse para segmentar directamente órganos o zonas preocupantes, sin volver a entrenar el modelo para cada tarea nueva. Esto facilita la gestión de necesidades clínicas diversas, reduce la necesidad de dibujar máscaras manualmente y funciona con muchos tipos de imágenes médicas.

Un buen ejemplo es MedSAM-3, que adapta la arquitectura SAM 3 para la PCS guiada por texto en imágenes médicas. Este modelo puede recibir prompts con términos anatómicos y patológicos explícitos, como nombres de órganos —hígado o riñón— y conceptos relacionados con lesiones, como tumor o lesión. Dado un prompt, el modelo segmenta directamente la región correspondiente de la imagen médica.

MedSAM-3 también integra modelos grandes de lenguaje multimodales (MLLMs o LLMs multimodales), capaces de razonar tanto sobre texto como sobre imágenes. Estos modelos funcionan en una configuración con un agente en el circuito, en la que los resultados se perfeccionan de forma iterativa para mejorar la precisión en los casos más complejos.

Fig. 3. Pipeline de MedSAM-3 para la segmentación de tumores guiada por texto en imágenes médicas (Fuente)

MedSAM-3 ofrece un buen rendimiento con datos de rayos X, MRI, CT, ecografías y vídeos, lo que demuestra cómo PCS puede permitir flujos de trabajo de imagen médica más flexibles y eficientes en entornos clínicos reales.

Segmentación adaptativa para cirugía robótica y automatización#

La cirugía robótica depende de sistemas de visión para seguir instrumentos y comprender escenas quirúrgicas que cambian rápidamente. Los instrumentos se mueven con rapidez, la iluminación varía y pueden aparecer herramientas nuevas en cualquier momento, lo que dificulta mantener sistemas de etiquetas predefinidos.

Con PCS, los robots pueden seguir instrumentos, orientar cámaras y supervisar pasos quirúrgicos en tiempo real. Esto reduce el etiquetado manual y facilita la adaptación de los sistemas a distintos procedimientos. Los cirujanos o los sistemas automatizados pueden utilizar prompts de texto como «pinza», «bisturí» o «instrumento de cámara» para indicar qué debe segmentarse en una imagen.

Fig. 4. Segmentación de instrumentos quirúrgicos utilizados durante una cirugía robótica (Fuente)

Segmentación de vocabulario abierto con Ultralytics YOLOE-26#

Otro modelo de vanguardia interesante relacionado con la segmentación de conceptos guiada por prompts es nuestro Ultralytics YOLOE-26. Nuestro modelo incorpora la segmentación de vocabulario abierto y guiada por prompts a la familia de modelos Ultralytics YOLO.

YOLOE-26 se basa en la arquitectura Ultralytics YOLO26 y admite la segmentación de instancias con vocabulario abierto. YOLOE-26 permite a los usuarios guiar la segmentación de varias formas.

Admite prompts de texto, en los que frases breves y fundamentadas visualmente pueden especificar el objeto objetivo, así como prompts visuales, que proporcionan orientación adicional basada en indicios de la imagen. Además, YOLOE-26 incluye un modo sin prompts para la inferencia zero-shot, en el que el modelo detecta y segmenta objetos a partir de un vocabulario integrado sin requerir prompts del usuario.

YOLOE-26 es ideal para aplicaciones como la analítica de vídeo, la percepción robótica y los sistemas en el edge, donde las categorías de objetos pueden cambiar, pero la baja latencia y un rendimiento fiable siguen siendo esenciales. También resulta especialmente útil para el etiquetado de datos y la curación de datasets, ya que agiliza los flujos de trabajo al automatizar parte del proceso de anotación.

Ventajas e inconvenientes de la segmentación de conceptos guiada por prompts#

Estas son algunas de las principales ventajas de utilizar la segmentación de conceptos guiada por prompts:

• Iteración y creación de prototipos más rápidas: Las nuevas tareas de segmentación se pueden probar rápidamente cambiando los prompts, en lugar de reconstruir datasets o volver a entrenar modelos, lo que acelera la experimentación y el desarrollo.
• Adaptabilidad entre dominios: A menudo, el mismo modelo PCS se puede aplicar a distintos dominios, como la imagen médica, la robótica o la analítica de vídeo, con cambios mínimos en el flujo de trabajo.
• Perfeccionamiento interactivo: Los usuarios pueden ajustar los prompts de forma iterativa o añadir indicaciones para mejorar los resultados, lo que facilita gestionar escenas ambiguas o casos límite sin volver a entrenar el modelo.

Aunque PCS ofrece ventajas claras, estas son algunas limitaciones que debes tener en cuenta:

• Sensibilidad a los prompts: Pequeños cambios en la forma de redactar o proporcionar un prompt pueden afectar al resultado. Los prompts demasiado vagos o demasiado específicos pueden producir una segmentación incompleta o incorrecta.
• Comportamiento menos predecible: Como el modelo interpreta prompts en lugar de seleccionar etiquetas fijas, los resultados pueden variar más entre escenas y entradas, lo que puede ser un problema en pipelines estrictamente controlados.
• Interpretación ambigua de los conceptos: Algunos conceptos son subjetivos o están definidos de forma imprecisa, lo que puede provocar resultados de segmentación incoherentes entre usuarios o entre imágenes.
• Fiabilidad limitada para objetivos muy específicos: En general, los modelos basados en prompts son menos fiables para tareas definidas de forma muy concreta y específicas de una instancia, como la detección de defectos, que requieren identificar de forma precisa y coherente características sutiles.

Elegir entre la segmentación guiada por prompts y la tradicional#

Al explorar la segmentación guiada por prompts, quizá te preguntes para qué aplicaciones es más adecuada y cuándo un modelo tradicional de visión artificial como Ultralytics YOLO26 encaja mejor con el problema que intentas resolver. La segmentación guiada por prompts funciona bien con objetos generales, pero no es adecuada para casos de uso que requieren resultados muy precisos y coherentes.

La detección de defectos es un buen ejemplo. En la fabricación, los defectos suelen ser diminutos y sutiles, como pequeños arañazos, abolladuras, desalineaciones o irregularidades de superficie. También pueden variar mucho en función de los materiales, la iluminación y las condiciones de producción.

Estos problemas son difíciles de describir con un prompt sencillo y aún más difíciles de detectar de forma fiable para un modelo de propósito general. En conjunto, los modelos basados en prompts tienden a pasar por alto los defectos o a producir resultados inestables, mientras que los modelos entrenados específicamente con datos de defectos son mucho más fiables para los sistemas de inspección del mundo real.

Conclusiones clave#

La segmentación de conceptos guiada por prompts facilita la adaptación de los sistemas de visión al mundo real, donde aparecen objetos e ideas nuevos constantemente. En lugar de estar limitados a etiquetas fijas, los usuarios pueden describir simplemente lo que quieren segmentar y dejar que el modelo se encargue del resto, ahorrando tiempo y reduciendo el trabajo manual. Aunque todavía tiene limitaciones, PCS ya está cambiando la forma de utilizar la segmentación en la práctica y probablemente se convertirá en una parte esencial de los futuros sistemas de visión.

Descubre más sobre la IA visitando nuestro repositorio de GitHub y uniéndote a nuestra comunidad. Consulta nuestras páginas de soluciones para obtener más información sobre la IA en robótica y la visión artificial en la fabricación. Descubre nuestras opciones de licencia y empieza hoy mismo a utilizar la IA visual.