Image Registration

El registro de imágenes es el proceso de visión artificial que alinea dos o más imágenes de la misma escena para que cada punto físico ocupe las mismas coordenadas de píxel en todas ellas. Las imágenes pueden proceder de distintos momentos, puntos de vista o sensores: un paso de satélite en enero y otro en junio, una resonancia magnética y un TAC del mismo paciente o fotogramas consecutivos de una cámara que se mueve. Una vez registradas, las imágenes se pueden comparar píxel a píxel, fusionar en una sola vista o unir para crear un mosaico.

El registro designa una imagen como fija o de referencia y transforma la otra, la imagen móvil, para adaptarla a su sistema de coordenadas. Para ello hay que tomar tres decisiones: cómo medir si las imágenes están alineadas, qué tipo de transformación geométrica se permite y cómo buscar la mejor. Una vez calculada la transformación, se remuestrea la imagen móvil y se interpolan los valores de píxel en las nuevas posiciones.

Métodos basados en características y en intensidad#

El registro basado en características detecta puntos distintivos, como esquinas y manchas, en ambas imágenes; describe cada uno con un descriptor, como ORB o SIFT, y empareja los descriptores entre las imágenes. Los puntos clave emparejados proporcionan pares de ubicaciones correspondientes, y un estimador robusto, como RANSAC, ajusta una transformación descartando los emparejamientos incorrectos. Los métodos basados en características son rápidos y gestionan grandes desplazamientos, por lo que suelen utilizarse para unir panorámicas y cartografiar con drones. Los métodos de emparejamiento de imágenes aprendidos amplían su uso a escenas en las que los descriptores diseñados manualmente no funcionan bien. Este ejemplo deforma una foto de prueba con una rotación, una escala y un desplazamiento conocidos, y luego recupera la transformación con OpenCV:

import cv2
import numpy as np
from skimage import data

# Fixed image, and a moving copy rotated 10 degrees, scaled 1.1x, and shifted (25, -15) pixels
fixed = data.camera()
warp = cv2.getRotationMatrix2D((256, 256), 10, 1.1)
warp[:, 2] += (25, -15)
moving = cv2.warpAffine(fixed, warp, (512, 512))

# Detect and match ORB features in both images
orb = cv2.ORB_create(1000)
kp_moving, des_moving = orb.detectAndCompute(moving, None)
kp_fixed, des_fixed = orb.detectAndCompute(fixed, None)
matches = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True).match(des_moving, des_fixed)
src = np.float32([kp_moving[m.queryIdx].pt for m in matches])
dst = np.float32([kp_fixed[m.trainIdx].pt for m in matches])

# Fit a similarity transform (rotation, scale, translation) with RANSAC, rejecting wrong matches
M, inliers = cv2.estimateAffinePartial2D(src, dst, method=cv2.RANSAC)
angle, scale = np.degrees(np.arctan2(M[1, 0], M[0, 0])), np.hypot(M[0, 0], M[1, 0])
print(f"Kept {inliers.sum()} of {len(matches)} matches: rotation {angle:.2f} degrees, scale {scale:.3f}")

# Resample the moving image into the fixed image's coordinates
registered = cv2.warpAffine(moving, M, (512, 512))
cv2.imwrite("registered.png", registered)

Imprime Kept 497 of 567 matches: rotation 10.01 degrees, scale 0.910. La transformación estimada es la inversa de la deformación aplicada: una rotación de 10 grados en sentido contrario y una escala de 1/1.1. registered.png se alinea con la foto original en las zonas donde ambas se solapan.

El registro basado en intensidad prescinde de las características explícitas y compara directamente los valores de píxel, ajustando la transformación para maximizar una medida de similitud. La idea se remonta a Bruce Lucas y Takeo Kanade, cuyo artículo de 1981, «Una técnica iterativa de registro de imágenes aplicada a la visión estéreo», presentó el método que también se utiliza para el flujo óptico. La correlación funciona bien con imágenes del mismo sensor, mientras que la información mutua, introducida para el registro médico a mediados de la década de 1990, permite trabajar con modalidades distintas, como una resonancia magnética y un TAC, en los que el mismo tejido tiene diferente brillo. Un optimizador, a menudo el descenso de gradiente aplicado a una pirámide de imágenes de gruesa a fina, busca los mejores parámetros. Bibliotecas como el marco de registro SimpleITK ofrecen la métrica, el optimizador, la transformación y el interpolador como componentes independientes.

Los métodos de aprendizaje profundo, como VoxelMorph, publicado por Guha Balakrishnan y sus colaboradores en 2019, entrenan una red neuronal convolucional para predecir un campo de deformación en una sola pasada hacia delante. Así, sustituyen una optimización para cada par, que tarda minutos o más, por una predicción que tarda menos de un segundo en una GPU.

Elegir un modelo de transformación#

La transformación debe corresponder a las diferencias reales entre las imágenes:

• Traslación y rígida: Desplazamientos y, en el caso rígido, rotación, conservando las distancias. Es habitual en escaneos del mismo objeto rígido.
• Similitud y afín: La transformación de similitud añade un escalado uniforme, y la afín añade escalado no uniforme y cizallamiento: una sola transformación para toda la imagen. Es adecuada para imágenes de satélite tomadas a escalas ligeramente distintas.
• Proyectiva (homografía): Modela cambios de perspectiva en escenas planas o con cámaras en rotación, como en el escaneado de documentos y las panorámicas.
• Deformable: Permite que cada región se mueva de forma independiente, algo necesario para los tejidos blandos que cambian de forma entre escaneos.

Los modelos más flexibles pueden ajustarse a casi cualquier cosa, incluidos cambios reales que el análisis debería detectar; por eso, el registro suele empezar con el modelo más sencillo que resulte plausible y solo añade flexibilidad cuando persiste el error de alineación. Las escenas con profundidad y una cámara en movimiento presentan paralaje que no puede eliminarse con una única transformación 2D; su alineación requiere, en cambio, geometría epipolar y reconstrucción 3D.

Dónde se utiliza el registro#

En teledetección y análisis de imágenes satelitales, el registro es el primer paso de la detección de cambios: las imágenes de una misma zona tomadas con varios meses de diferencia deben alinearse antes de que un modelo pueda detectar nuevas construcciones o áreas deforestadas, ya que un ligero desplazamiento parecería un cambio a lo largo de todos los bordes de las carreteras. En el análisis de imágenes médicas, alinear escáneres de visitas distintas permite a los profesionales clínicos medir si ha crecido un tumor; alinear una PET con un TAC combina la actividad metabólica con la anatomía, y registrar un atlas etiquetado sobre una nueva exploración transfiere sus etiquetas anatómicas: una forma clásica de segmentación de imágenes de las estructuras cerebrales.

Las aplicaciones de vídeo registran fotogramas consecutivos para calcular el movimiento de la cámara. La estabilización elimina ese movimiento, y los sistemas de seguimiento lo utilizan para que el movimiento de la cámara no se confunda con el de los objetos. El rastreador TrackTrack, predeterminado en el seguimiento de objetos de Ultralytics YOLO, registra cada fotograma respecto al anterior siguiendo características de esquina mediante flujo óptico disperso a media resolución y ajustando una transformación de similitud con RANSAC. Así, los objetos correctos siguen asociados a sus trayectorias desde una cámara de dron o de vehículo.