Semantic Mapping

La cartografía semántica consiste en crear un mapa espacial de un entorno en el que cada ubicación tiene un significado, es decir, una etiqueta de clase como carretera, acera, pared, puerta, silla o persona, además de su geometría. Un mapa geométrico indica a un robot dónde están las superficies; un mapa semántico también le indica qué son, de modo que puede seguir una instrucción como «ve a la mesa de la cocina», mantenerse fuera del césped o prever la presencia de peatones cerca de un paso de cebra. Los mapas semánticos combinan la segmentación semántica o la detección de objetos con la percepción de profundidad y la localización, y son una parte esencial de la percepción en robótica, vehículos autónomos e informática espacial.

Cómo funciona el mapeo semántico#

Cada nuevo fotograma de la cámara pasa por tres pasos. Un modelo de segmentación asigna una clase a cada píxel. La profundidad obtenida mediante LiDAR, una cámara estéreo o RGB-D, o la estimación monocular de profundidad, convierte los píxeles etiquetados en puntos 3D; la pose del robot, estimada mediante SLAM visual u odometría, sitúa esos puntos en las celdas de un mapa compartido. Por último, la fusión de sensores a lo largo del tiempo combina las nuevas etiquetas con todo lo que cada celda ha acumulado hasta entonces; los objetos en movimiento reciben un tratamiento distinto para que una persona que pasa caminando no se convierta en una pared permanente.

Los modelos de segmentación semántica Ultralytics YOLO26, preentrenados con Cityscapes, asignan a cada píxel una de 19 clases urbanas, entre ellas carretera, acera, edificio, vegetación, persona y coche: la entrada por fotograma que fusiona un mapa semántico a nivel de calle.

La fusión es lo que convierte las predicciones ruidosas de cada fotograma en un mapa fiable. SemanticFusion, desarrollado por John McCormac y sus colegas del Imperial College London en 2017, mantenía una distribución de probabilidad sobre las clases para cada elemento de superficie y multiplicaba por ella cada nueva predicción de la red, en una actualización bayesiana recursiva. Esta simulación aplica la misma actualización a un mapa de 1000 celdas observado por un modelo de segmentación que acierta el 70 % de las veces:

import numpy as np

rng = np.random.default_rng(0)
num_cells, num_classes = 1000, 4  # map cells; classes such as road, sidewalk, building, vegetation
truth = rng.integers(0, num_classes, num_cells)

# Sensor model: segmentation labels a cell correctly 70% of the time, otherwise picks another class
likelihood = np.full((num_classes, num_classes), 0.1)
np.fill_diagonal(likelihood, 0.7)
log_belief = np.zeros((num_cells, num_classes))  # uniform prior in every cell

for frame in range(1, 11):
    # A new frame observes every cell from a new viewpoint, with independent errors
    wrong = rng.random(num_cells) > 0.7
    labels = np.where(wrong, (truth + rng.integers(1, num_classes, num_cells)) % num_classes, truth)

    # Recursive Bayesian update: add the log-likelihood of this observation to each cell's belief
    log_belief += np.log(likelihood[labels])
    if frame in (1, 3, 10):
        print(f"Frame {frame:>2}: {(log_belief.argmax(axis=1) == truth).mean():.1%} of cells correct")

El mapa tiene un 69,6 % de aciertos después de un fotograma, un 80,6 % después de tres y un 98,2 % después de diez. Esta mejora depende de que los errores cambien entre observaciones, así que la fusión resulta más útil cuando el robot ve cada lugar desde distintos puntos de vista; un error que el modelo repite desde todos los ángulos permanece en el mapa. SemanticFusion informó de la misma tendencia y de una mejora mayor frente a las etiquetas de un solo fotograma en un conjunto de datos con más variación de puntos de vista.

Representaciones de mapas y conceptos relacionados#

Los mapas semánticos van desde cuadrículas 2D, en las que cada celda de un mapa de ocupación también almacena una clase, hasta nubes de puntos 3D etiquetadas, vóxeles y mallas. Kimera, del MIT, genera en tiempo real una malla 3D métrico-semántica, y los grafos de escenas 3D organizan la misma información en objetos, habitaciones y edificios vinculados mediante relaciones. Los mapas de vocabulario abierto almacenan incrustaciones de CLIP en lugar de clases fijas, de modo que un robot puede buscar cualquier texto en el mapa, como «extintor».

La cartografía semántica se apoya en varias tareas relacionadas. El SLAM visual proporciona las poses de la cámara y el mapa geométrico. La cartografía de ocupación registra únicamente si el espacio está libre, ocupado o se desconoce. La segmentación de instancias y la segmentación panóptica separan los objetos individuales, algo que necesitan los mapas a nivel de objeto para contar sillas o seguir coches aparcados. La búsqueda semántica es una técnica de recuperación no relacionada que solo comparte el término.

Aplicaciones en el mundo real#

• Conducción autónoma: Los mapas de alta definición registran carriles, pasos de cebra, semáforos y bordillos con precisión centimétrica, y la cartografía semántica en línea crea un mapa en vista cenital de esos mismos elementos a partir de los sensores del propio coche.
• Robots móviles: La pila de navegación ROS 2, Nav2, ofrece una capa de mapa de costes de segmentación semántica que asigna un coste de tránsito a cada clase, para que el robot planifique rutas por las superficies preferidas.
• Agricultura: Los robots y los drones agrícolas cartografían cultivos y malas hierbas fila por fila para aplicar tratamientos localizados y estimar el rendimiento.
• Realidad aumentada: ARKit de Apple clasifica cada cara de la malla reconstruida de una habitación como pared, suelo, techo, mesa, asiento, ventana, puerta o ninguna.