Segmentación de Instancias

La segmentación de instancias es una técnica fundamental en la visión por computadora (CV) que va más allá de la simple detección de objetos para delinear con precisión cada objeto distinto en una imagen. Mientras que la detección de objetos estándar identifica la presencia y ubicación de los objetos utilizando cuadros delimitadores rectangulares, la segmentación de instancias va un paso más allá al generar una máscara a nivel de píxeles para cada entidad detectada. Esto significa que el modelo no solo sabe que hay un «coche» o una «persona» en la imagen, sino que también identifica exactamente qué píxeles pertenecen a ese coche o persona específicos, recortándolos eficazmente del fondo y entre sí.

Cómo funciona la segmentación de instancias

Esta técnica combina los objetivos de otras dos tareas importantes de la visión por computadora: la detección de objetos y la segmentación semántica. Para entender cómo funciona, es útil distinguirla de sus contrapartes:

• Segmentación semántica: Clasifica cada píxel de una imagen en una categoría (por ejemplo, «cielo», «carretera», «coche»). Sin embargo, trata todos los objetos de la misma clase como una sola entidad. Si dos coches se superponen, la segmentación semántica ve una gran mancha de píxeles de «coche».
• Segmentación de instancias: trata cada objeto como un individuo distinto. Detecta objetos y asigna una etiqueta única (ID de instancia) a los píxeles de cada objeto. Incluso si dos coches se superponen, el modelo los separa en «Coche A» y «Coche B».
• Segmentación panóptica: un enfoque híbrido que combina la segmentación semántica y la segmentación por instancias para proporcionar una comprensión completa de la escena, etiquetando los elementos del fondo (cosas) y los objetos distintos (objetos).

Los algoritmos modernos suelen lograrlo utilizando arquitecturas de aprendizaje profundo (DL), como las redes neuronales convolucionales (CNN). Modelos como Ultralytics utilizan una arquitectura unificada para predecir cuadros delimitadores y generar máscaras de segmentación simultáneamente, lo que permite velocidades de inferencia en tiempo real adecuadas para el análisis de vídeo .

Aplicaciones en el mundo real

El detalle granular proporcionado por la segmentación de instancias la hace indispensable para aplicaciones que requieren un análisis preciso de formas y separación de objetos.

• Vehículos autónomos: Los coches autónomos deben hacer algo más que evitar cajas rectangulares. Necesitan comprender los contornos exactos de los coches aparcados, los peatones y los bordillos para circular con seguridad por espacios reducidos. Mediante el uso de conjuntos de datos como Cityscapes, se pueden entrenar modelos para distinguir entre vehículos individuales en tráfico denso, lo que garantiza una planificación segura de la ruta.
• Análisis de imágenes médicas: en campos como la patología, identificar y contar células o núcleos individuales es fundamental para el diagnóstico. La segmentación de instancias permite al software separar las células que se tocan en imágenes microscópicas, lo que proporciona recuentos precisos y mide el tamaño de anomalías como tumores en resonancias magnéticas.
• Robótica: Para que un robot pueda coger un objeto específico de un contenedor con artículos mezclados, necesita conocer la orientación y los límites del objeto. La segmentación de instancias proporciona los datos geométricos necesarios para que los brazos robóticos realicen tareas de manipulación precisas.

Implementación de la segmentación de instancias con Python

Utilización de la ultralytics paquete, puede implementar la segmentación de instancias con solo unas pocas líneas de código. El siguiente ejemplo muestra cómo cargar un modelo preentrenado YOLO26 modelo de segmentación y ejecutar la inferencia en una imagen.

from ultralytics import YOLO

# Load a pre-trained YOLO26 instance segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image
# The model predicts classes, bounding boxes, and pixel-wise masks
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the results
# This displays the image with masks overlaid on detected objects
results[0].show()

Este flujo de trabajo utiliza modelos entrenados en el COCO , que incluye 80 categorías de objetos comunes . Para casos de uso especializados, como la inspección industrial o la supervisión agrícola, puede realizar el entrenamiento del modelo en sus propios conjuntos de datos personalizados para detect segment objetos segment .

Retos y consideraciones clave

Aunque potente, la segmentación de instancias es computacionalmente más costosa que la simple detección de cuadros delimitadores. El proceso de generación de máscaras requiere más memoria y potencia de procesamiento, lo que puede ser un factor a tener en cuenta a la hora de implementar en dispositivos periféricos. Además, el etiquetado de datos para el entrenamiento requiere mucho trabajo, ya que los anotadores deben dibujar polígonos precisos alrededor de cada objeto en lugar de simples rectángulos. A menudo se necesitan herramientas diseñadas específicamente para la anotación de datos a fin de agilizar este flujo de trabajo.

A pesar de estos retos, los avances en la arquitectura de los modelos, como los que se encuentran en el Ultralytics YOLO , siguen optimizando el equilibrio entre precisión y velocidad, haciendo que la segmentación de alta calidad sea accesible para una amplia gama de aplicaciones en tiempo real.