Interactive Segmentation

La segmentación interactiva es un enfoque altamente colaborativo de la visión artificial donde un usuario humano proporciona información continua o de un solo disparo, como clics, cajas delimitadoras o prompts de texto, para guiar a un modelo de IA en el aislamiento de objetos específicos dentro de una imagen. A diferencia de los métodos totalmente automatizados, esta técnica de "human-in-the-loop" permite a los usuarios definir exactamente qué debe segmentarse, lo que la hace especialmente valiosa al tratar con datos visuales ambiguos, objetos superpuestos o clases no vistas. En los últimos años, la introducción de modelos fundamentales ha mejorado drásticamente la velocidad y la precisión de este proceso, convirtiéndolo en una herramienta vital para la anotación de datos y la obtención de imágenes de precisión.

Link to this sectionCómo funciona la segmentación interactiva#

En esencia, el flujo de trabajo se basa en la segmentación de conceptos mediante prompts, donde el modelo interpreta la guía del usuario para generar una máscara píxel a píxel. Un usuario puede colocar un clic "positivo" en el objeto en primer plano que desea seleccionar y un clic "negativo" en las áreas de fondo que desea excluir. Modelos avanzados como el Segment Anything Model (SAM) y sus sucesores, Meta SAM 3, llevan esto más allá al aceptar diversos tipos de gestos [1], cajas delimitadoras e incluso descripciones de texto para fundamentar la búsqueda visual. El modelo calcula el límite óptimo basándose en estos prompts, y el usuario puede refinar iterativamente la máscara con clics adicionales hasta lograr la precisión deseada.

Link to this sectionAplicaciones en el mundo real#

La segmentación interactiva está transformando los flujos de trabajo en numerosas industrias al combinar la experiencia humana con la eficiencia de la IA.

• Imagen médica: En la IA en el sector sanitario, los médicos y radiólogos utilizan herramientas interactivas para aislar tumores, lesiones u órganos específicos en resonancias magnéticas y tomografías computarizadas. La investigación sobre el modelado espacial para imágenes médicas [2] muestra que los clics interactivos permiten a los profesionales médicos corregir rápidamente las predicciones de la IA, asegurando la precisión rigurosa necesaria para el diagnóstico del paciente.
• Mapeo geoespacial y satelital: Los planificadores urbanos y científicos ambientales utilizan modelos interactivos para acelerar la extracción de características SIG [3]. En lugar de trazar manualmente costas complejas, límites agrícolas o nueva infraestructura, los analistas pueden colocar unos pocos clics estratégicos para generar instantáneamente polígonos geográficos precisos.
• Detección de defectos industriales: Para la IA en la fabricación, los ingenieros de control de calidad pueden usar prompts interactivos para resaltar defectos microscópicos en las líneas de producción, adaptando dinámicamente el sistema a nuevos tipos de defectos sin reentrenar todo el modelo.

Link to this sectionSegmentación interactiva frente a segmentación de instancias#

Aunque ambos conceptos implican separar objetos a nivel de píxel, cumplen diferentes propósitos operativos. La segmentación de instancias suele ser un proceso totalmente automatizado donde un modelo, como Ultralytics YOLO26, detecta y perfila clases predefinidas (p. ej., "coche", "persona", "perro") sin intervención del usuario. Puedes aprender más sobre cómo funciona esto en nuestra guía de segmentación de instancias.

Por el contrario, la segmentación interactiva no depende estrictamente de clases predefinidas. Es agnóstica a la clase, lo que significa que segmenta cualquier cosa a la que el usuario apunte, lo que la convierte en un ajuste excelente para los conductos de aprendizaje activo donde los objetos novedosos deben anotarse rápidamente y agregarse a conjuntos de datos personalizados mediante herramientas como la Plataforma Ultralytics.

Link to this sectionEjemplo utilizando Ultralytics#

Puedes implementar fácilmente la segmentación interactiva en tus propios proyectos utilizando PyTorch y el paquete de Python ultralytics. En este ejemplo, usamos FastSAM para segmentar un objeto específico proporcionando un prompt de caja delimitadora.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Este fragmento demuestra cómo un simple prompt espacial guía directamente al modelo para aislar la región de interés, agilizando tareas complejas de segmentación de imágenes con un código mínimo.