Interactive Segmentation

La segmentación interactiva es un enfoque altamente colaborativo para la computer vision en el que un usuario humano proporciona entradas continuas o de disparo único (como clics, BBox o indicaciones de texto) para guiar a un modelo de IA en el aislamiento de objetos específicos dentro de una imagen. A diferencia de los métodos totalmente automatizados, esta técnica de interacción humana en el bucle permite a los usuarios definir exactamente qué necesita ser segmentado, lo que la hace especialmente valiosa al lidiar con datos visuales ambiguos, objetos superpuestos o clases no vistas. En los últimos años, la introducción de modelos fundamentales ha mejorado drásticamente la velocidad y la precisión de este proceso, convirtiéndolo en una herramienta vital para la data annotation y la obtención de imágenes de precisión.

Cómo funciona la segmentación interactiva#

At its core, the workflow relies on promptable concept segmentation, where the model interprets user guidance to generate a pixel-perfect mask. A user might place a "positive" click on the foreground object they want to select and a "negative" click on background areas they want to exclude. Advanced models like the Segment Anything Model (SAM) and its successors, Meta SAM 3, take this further by accepting diverse gesture types [1], bounding boxes, and even text descriptions to ground the visual search. The model calculates the optimal boundary based on these prompts, and the user can iteratively refine the mask with additional clicks until the desired accuracy is achieved.

Aplicaciones en el mundo real#

La segmentación interactiva está transformando los flujos de trabajo en numerosas industrias al combinar la experiencia humana con la eficiencia de la IA.

• Imagen médica: En la AI in healthcare, los médicos y radiólogos utilizan herramientas interactivas para aislar tumores, lesiones u órganos específicos en exploraciones por resonancia magnética y tomografía computarizada. La investigación sobre el modelado espacial para imágenes médicas [2] muestra que los clics interactivos permiten a los profesionales médicos corregir rápidamente las predicciones de la IA, garantizando la rigurosa precisión requerida para el diagnóstico del paciente.
• Mapeo geoespacial y satelital: Los planificadores urbanos y científicos ambientales utilizan modelos interactivos para acelerar la GIS feature extraction [3]. En lugar de trazar manualmente costas complejas, límites agrícolas o nueva infraestructura, los analistas pueden realizar unos pocos clics estratégicos para generar instantáneamente polígonos geográficos precisos.
• Detección de defectos industriales: Para la AI in manufacturing, los ingenieros de control de calidad pueden utilizar indicaciones interactivas para resaltar defectos microscópicos en las líneas de producción, adaptando dinámicamente el sistema a nuevos tipos de defectos sin necesidad de reentrenar todo el modelo.

Segmentación interactiva frente a segmentación de instancias#

Aunque ambos conceptos implican separar objetos a nivel de píxel, cumplen propósitos operativos diferentes. La instance segmentation suele ser un proceso totalmente automatizado donde un modelo, como Ultralytics YOLO26, detecta y delinea clases predefinidas (por ejemplo, "coche", "persona", "perro") sin intervención del usuario. Puedes obtener más información sobre cómo funciona esto en nuestra guía de segmentación de instancias.

Por el contrario, la segmentación interactiva no depende estrictamente de clases predefinidas. Es agnóstica respecto a las clases, lo que significa que segmenta cualquier cosa a la que el usuario apunte, convirtiéndola en una opción excelente para canales de active learning donde los objetos nuevos necesitan ser anotados rápidamente y agregados a conjuntos de datos personalizados utilizando herramientas como el Ultralytics Platform.

Ejemplo utilizando Ultralytics#

Puedes implementar fácilmente la segmentación interactiva en tus propios proyectos utilizando PyTorch y el paquete de Python ultralytics. En este ejemplo, utilizamos FastSAM para segmentar un objeto específico proporcionando un BBox como indicación.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Este fragmento demuestra cómo una simple indicación espacial guía directamente al modelo para aislar la región de interés, simplificando las tareas complejas de image segmentation con un código mínimo.