Segmentación semántica

Cómo funciona la segmentación semántica

El objetivo principal de la segmentación semántica es clasificar cada píxel de una imagen en un conjunto predefinido de categorías. Por ejemplo, en una imagen que contenga varios coches, peatones y árboles, un modelo de segmentación semántica etiquetaría todos los píxeles de un coche como "coche", todos los píxeles de un peatón como "peatón" y todos los píxeles de un árbol como "árbol". Trata todas las instancias de la misma clase de objeto de forma idéntica.

La segmentación semántica moderna depende en gran medida del aprendizaje profundo, en particular de las redes neuronales convolucionales (CNN). Estos modelos suelen entrenarse mediante técnicas de aprendizaje supervisado, lo que requiere grandes conjuntos de datos con anotaciones detalladas a nivel de píxel. El proceso consiste en introducir una imagen en la red, que a continuación genera un mapa de segmentación. Este mapa es esencialmente una imagen en la que el valor de cada píxel (a menudo representado por el color) corresponde a su etiqueta de clase prevista, separando visualmente diferentes categorías como "carretera", "edificio", "persona", etc. La calidad del etiquetado de los datos es crucial para entrenar modelos precisos.

Principales diferencias con otras tareas de segmentación

Es importante distinguir la segmentación semántica de las tareas de visión por ordenador relacionadas:

• Clasificación de imágenes: Asigna una única etiqueta a toda la imagen (por ejemplo, "esta imagen contiene un gato"). No localiza ni delimita objetos.
• Detección de objetos: Identifica y localiza objetos utilizando cuadros delimitadores. Indica dónde están los objetos, pero no proporciona su forma exacta a nivel de píxel.
• Segmentación por instancias: Va un paso más allá de la segmentación semántica, ya que no sólo clasifica cada píxel, sino que también distingue entre diferentes instancias de la misma clase de objeto. Por ejemplo, asignaría un ID y una máscara únicos a cada coche de la escena. Para más información, consulte esta guía en la que se comparan la segmentación por instancias y la segmentación semántica.
• Segmentación panóptica: Combina la segmentación semántica y por instancias, proporcionando tanto una etiqueta de categoría para cada píxel como IDs de instancia únicos para objetos contables ("cosas") mientras agrupa regiones de fondo incontables ("cosas") como el cielo o la carretera.

Aplicaciones reales

La comprensión detallada de la escena que proporciona la segmentación semántica es crucial para muchas aplicaciones del mundo real:

• Conducción autónoma: Los coches de conducción autónoma utilizan la segmentación semántica para comprender con precisión su entorno. Al clasificar los píxeles pertenecientes a carreteras, carriles, aceras, peatones, otros vehículos y obstáculos, el sistema de conducción autónoma puede tomar decisiones de navegación más seguras. Se trata de un componente clave de la IA para soluciones de automoción.
• Análisis de imágenes médicas: En sanidad, la segmentación semántica ayuda a analizar exploraciones médicas como resonancias magnéticas o tomografías computarizadas. Puede delimitar automáticamente órganos, identificar y medir tumores o lesiones y resaltar anomalías con precisión a nivel de píxel. Por ejemplo, los modelos YOLO de Ultralytics pueden utilizarse para detectar tumores y ayudar a los radiólogos en el diagnóstico y la planificación de tratamientos basados en técnicas detalladas de imagen médica.
• Análisis de imágenes de satélite: Se utiliza para la clasificación de la cubierta terrestre, el seguimiento de la deforestación, la planificación urbana y las aplicaciones agrícolas. Puede diferenciar entre bosques, masas de agua, campos y zonas edificadas a partir de fotos de satélite, como muestran los ejemplos del Observatorio de la Tierra de la NASA. Más información sobre el uso de la visión por ordenador para analizar imágenes de satélite.
• Robótica: Permite a los robots percibir e interactuar con su entorno de forma más eficaz mediante la comprensión de la disposición y los objetos dentro de una escena. Más información sobre la integración de la visión por ordenador en la robótica.

Modelos y herramientas

La segmentación semántica emplea a menudo modelos de aprendizaje profundo, en particular arquitecturas derivadas de CNN.

• Arquitecturas: Entre las primeras arquitecturas populares figuran las redes totalmente convolucionales (FCN), que sustituyeron las capas totalmente conectadas de las redes de clasificación por capas convolucionales para generar mapas espaciales, y la red en U, que utiliza una estructura de codificador-decodificador con conexiones de salto, especialmente eficaz para la segmentación de imágenes biomédicas.
• Modelos modernos: Modelos de última generación como Ultralytics YOLOv8 y el más reciente YOLO11 también ofrecen potentes capacidades para diversas tareas de segmentación, equilibrando velocidad y precisión.
• Plataformas de formación: Herramientas como Ultralytics HUB ofrecen plataformas para gestionar conjuntos de datos como el muy utilizado COCO Segmentation dataset, entrenar modelos personalizados y explorar opciones de despliegue de modelos.
• Marcos de trabajo: El desarrollo utiliza a menudo marcos como PyTorch y TensorFlow. Técnicas como el aumento de datos se utilizan habitualmente para mejorar la solidez de los modelos.