Panoptic Segmentation

La segmentación panóptica es una tarea de visión artificial que asigna dos valores a cada píxel de una imagen: una etiqueta de clase y, para los píxeles que pertenecen a un objeto contable, un ID de instancia. Combina la segmentación semántica, que etiqueta cada píxel por clase pero fusiona los objetos de una misma clase, con la segmentación de instancias, que separa los objetos individuales pero deja el fondo sin etiquetar. El resultado es un mapa único y sin solapamientos de toda la escena, en el que la carretera, el cielo y la hierba aparecen como regiones, y cada coche y persona, como un segmento propio. Alexander Kirillov y sus colegas de Facebook AI Research y la Universidad de Heidelberg definieron la tarea y su métrica en el artículo Panoptic Segmentation, publicado en CVPR 2019; eligieron ese término porque incluye todo lo visible desde un único punto de vista.

Elementos de fondo y objetos#

La segmentación panóptica divide las clases en dos tipos:

• Objetos: Elementos contables con una forma definida, como personas, coches, animales y bolsos. Cada uno recibe su propio ID de instancia, por lo que dos personas de pie una al lado de la otra forman dos segmentos.
• Elementos de fondo: Regiones amorfas de textura o material similar, como carreteras, cielo, hierba, agua y paredes. Todos los píxeles de una clase de fondo forman un solo segmento, porque no tiene sentido dividir el cielo en instancias.

El conjunto de referencia panóptico COCO utiliza 133 clases —80 de objetos y 53 de fondo—, y el conjunto de referencia de conducción Cityscapes evalúa 19 clases —8 de objetos y 11 de fondo—. Los píxeles ambiguos o que no pertenecen a ninguna clase se marcan como void y se ignoran durante la evaluación. El formato panóptico de COCO almacena cada imagen como un PNG en el que cada segmento tiene un ID único, además de un archivo JSON que asigna cada ID a su categoría.

Cómo funcionan los modelos panópticos#

Los primeros sistemas ejecutaban una rama semántica y otra de instancias sobre una red troncal compartida y fusionaban sus resultados mediante reglas fijas. Panoptic FPN, por ejemplo, resuelve los solapamientos entre instancias según la confianza, da prioridad a las instancias frente a los elementos de fondo y después elimina las regiones de fondo que no alcanzan un umbral de área:

Los modelos ascendentes, como Panoptic-DeepLab, predicen un mapa semántico, el centro de cada objeto y un desplazamiento de cada píxel hasta su centro; después agrupan los píxeles de objetos según el centro al que apuntan. Los modelos universales utilizan una arquitectura de clasificación de máscaras para la segmentación semántica, de instancias y panóptica. Mask2Former predice un conjunto fijo de consultas, cada una de las cuales genera una máscara y una clase. Esto sirve tanto para objetos como para elementos de fondo y alcanzó un PQ de 57.8 en la segmentación panóptica de COCO, según el artículo presentado en CVPR 2022. El siguiente flujo de Hugging Face Transformers ejecuta un punto de control de Mask2Former entrenado con la segmentación panóptica de COCO:

import numpy as np
from transformers import pipeline

# Load Mask2Former trained on COCO panoptic: 80 thing and 53 stuff classes
segmenter = pipeline("image-segmentation", model="facebook/mask2former-swin-tiny-coco-panoptic")

# Each returned segment is one non-overlapping region with a class label and a binary mask
segments = segmenter("https://ultralytics.com/images/bus.jpg", subtask="panoptic")

for segment in segments:
    share = np.array(segment["mask"]).mean() / 255
    print(f"{segment['label']}: {share:.1%} of pixels")

La salida enumera 10 segmentos. Las cuatro personas, los dos bolsos y el autobús (el 30.7 % de la imagen) aparecen cada uno como segmentos de objetos independientes, junto a un segmento de fondo por cada una de estas categorías: pavimento fusionado (30.9 %), edificios y otros fusionados (19.5 %) y árboles fusionados (4.8 %). El sufijo «-merged» indica clases de fondo de COCO que combinan etiquetas más específicas. Ningún píxel pertenece a dos segmentos, y el 0.4 % de los píxeles que no pertenecen a ningún segmento se considera void.

Calidad panóptica (PQ)#

Las predicciones panópticas se evalúan mediante la calidad panóptica. Un segmento predicho coincide con un segmento de referencia de la misma clase cuando su intersección sobre unión (IoU) supera 0.5; como los segmentos no se solapan, cada uno puede tener como máximo una coincidencia. Las coincidencias son verdaderos positivos (TP), las predicciones sin coincidencia son falsos positivos (FP), y los segmentos de referencia sin coincidencia son falsos negativos (FN). PQ es la suma de los IoU de todas las coincidencias dividida por TP + ½FP + ½FN, y se descompone en dos partes:

• Calidad de segmentación (SQ): El IoU medio de los segmentos coincidentes, que mide el ajuste de las máscaras.
• Calidad de reconocimiento (RQ): TP / (TP + ½FP + ½FN), la puntuación F1 de la detección de segmentos.

PQ se calcula para cada clase y después se promedia; los conjuntos de referencia también la presentan por separado para objetos y elementos de fondo.

Segmentación panóptica, semántica y de instancias#

• Segmentación semántica: Responde a «¿a qué clase pertenece este píxel?» para cada píxel. Tres coches contiguos forman una sola región de coches.
• Segmentación de instancias: Responde a «¿a qué objeto pertenece este píxel?» únicamente para los objetos detectados. Los píxeles del fondo no reciben etiquetas y las máscaras de objetos distintos pueden solaparse.
• Segmentación panóptica: Responde a ambas preguntas para cada píxel, con exactamente un segmento por píxel.

Ultralytics YOLO26 ofrece las dos partes como tareas independientes: los modelos -seg devuelven una máscara y una clase para cada objeto, y los modelos de -sem de segmentación semántica devuelven una clase para cada píxel, preentrenados con las 19 clases de Cityscapes o las 150 clases de ADE20K.

Aplicaciones en el mundo real#

• Vehículos autónomos: Una sola salida representa las carreteras transitables y las aceras como elementos de fondo, y cada peatón y vehículo como un objeto independiente que puede seguir un rastreador.
• Robótica: Un robot móvil necesita un único mapa coherente que muestre tanto el suelo por el que puede desplazarse como cada objeto que puede recoger o debe evitar.
• Análisis de imágenes médicas: La patología digital segmenta las regiones de tejido como elementos de fondo y cuenta los núcleos y las células individuales como objetos.
• 3D y vídeo: La segmentación panóptica de vídeo mantiene los ID de instancia coherentes entre fotogramas, y la segmentación panóptica de LiDAR, evaluada con SemanticKITTI y nuScenes, asigna una clase y un ID de instancia a cada punto 3D de un escaneo.