Interactive Segmentation

La segmentación interactiva es un enfoque altamente colaborativo de la visión por ordenador en el que un usuario humano proporciona información continua o puntual —como clics, cuadros delimitadores o indicaciones de texto— para guiar a un modelo de IA en el aislamiento de objetos específicos dentro de una imagen. A diferencia de los métodos totalmente automatizados, esta técnica con intervención humana permite a los usuarios definir exactamente qué debe segmentarse, por lo que resulta especialmente valiosa al trabajar con datos visuales ambiguos, objetos superpuestos o clases no observadas. Durante los últimos años, la introducción de modelos fundacionales ha mejorado drásticamente la velocidad y la precisión de este proceso, convirtiéndolo en una herramienta esencial para la anotación de datos y la obtención de imágenes de precisión.

Cómo funciona la segmentación interactiva#

En esencia, el flujo de trabajo se basa en la segmentación de conceptos mediante indicaciones, donde el modelo interpreta las instrucciones del usuario para generar una máscara con precisión a nivel de píxel. Un usuario puede colocar un clic «positivo» sobre el objeto en primer plano que quiere seleccionar y un clic «negativo» en las áreas del fondo que desea excluir. Los modelos avanzados, como el modelo de segmentación de cualquier cosa (SAM) y sus sucesores, Meta SAM 3, van más allá al aceptar diversos tipos de gestos [1], cuadros delimitadores e incluso descripciones de texto para fundamentar la búsqueda visual. El modelo calcula el límite óptimo basándose en estas indicaciones, y el usuario puede perfeccionar iterativamente la máscara con clics adicionales hasta alcanzar la precisión deseada.

Aplicaciones en el mundo real#

La segmentación interactiva está transformando los flujos de trabajo de numerosos sectores al combinar la experiencia humana con la eficiencia de la IA.

• Imágenes médicas: En la IA en sanidad, médicos y radiólogos utilizan herramientas interactivas para aislar tumores, lesiones u órganos específicos en exploraciones de MRI y CT. Las investigaciones sobre el modelado espacial de imágenes médicas [2] muestran que los clics interactivos permiten a los profesionales sanitarios corregir rápidamente las predicciones de la IA, garantizando la rigurosa precisión necesaria para el diagnóstico de los pacientes.
• Cartografía geoespacial y por satélite: Los urbanistas y científicos medioambientales utilizan modelos interactivos para acelerar la extracción de elementos SIG [3]. En lugar de trazar manualmente líneas costeras complejas, límites agrícolas o nuevas infraestructuras, los analistas pueden colocar unos pocos clics estratégicos para generar al instante polígonos geográficos precisos.
• Detección de defectos industriales: En la IA aplicada a la fabricación, los ingenieros de control de calidad pueden utilizar indicaciones interactivas para resaltar defectos microscópicos en las líneas de producción, adaptando dinámicamente el sistema a nuevos tipos de defectos sin volver a entrenar todo el modelo.

Segmentación interactiva frente a segmentación de instancias#

Aunque ambos conceptos implican separar objetos a nivel de píxel, tienen distintas finalidades operativas. La segmentación de instancias suele ser un proceso totalmente automatizado en el que un modelo, como Ultralytics YOLO26, detecta y delimita clases predefinidas (por ejemplo, «coche», «persona» o «perro») sin intervención del usuario. Puedes obtener más información sobre su funcionamiento en nuestra guía sobre segmentación de instancias.

Por el contrario, la segmentación interactiva no depende estrictamente de clases predefinidas. Es independiente de la clase, lo que significa que segmenta cualquier elemento al que señale el usuario, por lo que encaja perfectamente en flujos de aprendizaje activo donde es necesario anotar rápidamente objetos nuevos y añadirlos a conjuntos de datos personalizados mediante herramientas como Ultralytics Platform.

Ejemplo con Ultralytics#

Puedes implementar fácilmente la segmentación interactiva en tus propios proyectos usando PyTorch y el paquete de Python ultralytics. En este ejemplo, utilizamos FastSAM para segmentar un objeto específico proporcionando una indicación mediante un cuadro delimitador.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Este fragmento muestra cómo una sencilla indicación espacial guía directamente al modelo para aislar la región de interés, lo que agiliza tareas complejas de segmentación de imágenes con un mínimo de código.