Image Segmentation

La segmentación de imágenes es la tarea de visión artificial que divide una imagen en regiones asignando etiquetas a sus píxeles. Su resultado es un conjunto de máscaras que muestra exactamente qué píxeles pertenecen a cada clase u objeto. A diferencia de la detección de objetos, que localiza cada objeto con una caja delimitadora rectangular que también incluye el fondo, la segmentación traza el contorno real de cada objeto o región y ofrece mucho más detalle que la clasificación de imágenes, que asigna una sola etiqueta a toda la imagen. Esta precisión es importante siempre que una decisión dependa del área, el contorno o el contacto entre objetos, desde medir un tumor hasta encontrar el espacio libre delante de un coche.

Tipos de segmentación de imágenes#

Las tareas de segmentación se diferencian por el significado de las etiquetas de los píxeles. En visión artificial se distinguen los «objetos», elementos contables como personas y coches, del «fondo», regiones amorfas como la carretera, la hierba y el cielo.

• Segmentación semántica: Asigna una clase a cada píxel, tanto a los objetos como al fondo, y combina todos los objetos de una misma clase en una sola región.
• Segmentación de instancias: Detecta cada objeto contable y le asigna su propia máscara e ID, de modo que dos personas que se tocan siguen separadas; los píxeles del fondo quedan sin etiquetar.
• Segmentación panóptica: Asigna una clase a cada píxel y añade un ID de instancia a los píxeles de los objetos contables, unificando los otros dos tipos.
• Segmentación interactiva: Devuelve una máscara de lo que señale el clic, el cuadro o la instrucción de texto del usuario, como hacen los modelos que aceptan instrucciones, por ejemplo Segment Anything Model (SAM).

Los tres primeros tipos responden a preguntas distintas, así que elegir entre ellos es una decisión sencilla:

Cómo funcionan los modelos de segmentación#

Los métodos clásicos agrupan los píxeles según señales de bajo nivel, como la intensidad, el color y los bordes: umbralización con el método de Otsu, crecimiento de regiones, transformación watershed, agrupamiento de colores k-means y cortes de grafos. OpenCV implementa varios de estos métodos, que siguen siendo útiles con imágenes limpias y controladas, como piezas retroiluminadas en una cinta transportadora; agrupan los píxeles sin saber qué representa cada grupo.

Los modelos de aprendizaje profundo aprenden tanto los límites como el significado de las regiones a partir de máscaras etiquetadas. Las redes codificador-decodificador, como U-Net, reducen la resolución de una imagen para captar el contexto y luego la aumentan hasta su resolución completa para hacer predicciones píxel a píxel. Los modelos de instancias, como Mask R-CNN y los modelos de segmentación de YOLO, incorporan un cabezal de máscaras a un detector de objetos, y los modelos Transformer, como Mask2Former, gestionan la segmentación semántica, de instancias y panóptica con una única arquitectura. Los modelos fundacionales que aceptan instrucciones han ampliado la segmentación a objetos arbitrarios: SAM llegó en 2023 tras entrenarse con 1.100 millones de máscaras de 11 millones de imágenes, SAM 2 añadió vídeo en 2024 y SAM 3 llegó en noviembre de 2025 y segmenta cada instancia de un concepto indicado en una instrucción de texto. Como las etiquetas de segmentación son polígonos o máscaras píxel a píxel, que llevan mucho más tiempo dibujar que las cajas, estos modelos que aceptan instrucciones ahora generan borradores de muchas máscaras de entrenamiento a partir de un solo clic.

El tipo de tarea también determina la forma de la salida. Ultralytics ofrece YOLO26 en dos familias de modelos independientes: -seg para la segmentación de instancias y -sem para la segmentación semántica. Al ejecutarlas en la misma foto se aprecia la diferencia:

from ultralytics import YOLO

# Carga un modelo de segmentación de instancias y otro de segmentación semántica
instance_model = YOLO("yolo26n-seg.pt")
semantic_model = YOLO("yolo26n-sem.pt")

# Segmenta la misma imagen de una calle con ambos modelos
image = "https://ultralytics.com/images/bus.jpg"
instance_results = instance_model(image)
semantic_results = semantic_model(image)

# Salida de instancias: una máscara binaria por objeto detectado, con forma (objetos, altura, anchura)
print(instance_results[0].masks.data.shape)

# Salida semántica: un mapa de clases para toda la imagen, con forma (altura, anchura)
print(semantic_results[0].semantic_mask.data.shape)

La primera dimensión de la salida de instancias es igual al número de objetos detectados, lo que permite contarlos. Cada tipo de salida tiene su propia métrica: precisión media promedio (mAP) de las máscaras para la segmentación de instancias, intersección sobre unión (IoU) media para la segmentación semántica y calidad panóptica (PQ) para la segmentación panóptica.

Aplicaciones en el mundo real#

• Análisis de imágenes médicas: Las herramientas de radiología delinean órganos, tumores y lesiones en escáneres de TC y RM para medir su volumen y planificar intervenciones quirúrgicas o radioterapia.
• Conducción autónoma: Los sistemas de percepción segmentan la carretera, la acera, los vehículos y los peatones en cada fotograma para determinar el espacio por el que se puede circular.
• Análisis de imágenes por satélite: Los mapas de cobertura del suelo etiquetan cada píxel como agua, bosque, terreno agrícola o edificios para hacer un seguimiento de los cambios con el tiempo.
• Edición de fotos y vídeos: La eliminación de fondos, el desenfoque en modo retrato y la sustitución del cielo dependen de máscaras de personas y del cielo calculadas en el dispositivo.
• Robótica y fabricación: Los robots utilizan máscaras de objetos para calcular puntos de agarre en piezas irregulares, y los sistemas de inspección miden el área exacta de defectos como arañazos y grietas.