Epipolar Geometry

En visión artificial, la geometría epipolar describe la relación geométrica entre dos vistas de cámara de una misma escena. Un píxel de una imagen corresponde a un rayo de posibles puntos 3D, y ese rayo se proyecta en la segunda imagen como una línea —la línea epipolar— sobre la que debe encontrarse la correspondencia del píxel. La restricción depende únicamente de los parámetros internos de las cámaras y de su pose relativa, con independencia de la estructura de la escena, y convierte la búsqueda de una correspondencia en toda la imagen en una búsqueda a lo largo de una sola línea. Por eso, la geometría epipolar es la base de la visión estéreo, la estructura a partir del movimiento y el SLAM visual que guía a los robots y los cascos de realidad virtual. Multiple View Geometry in Computer Vision, de Richard Hartley y Andrew Zisserman, es la obra de referencia.

Epípolos, líneas epipolares y plano epipolar#

Los dos centros de cámara y cualquier punto de la escena definen un plano: el plano epipolar. La línea que une los centros de cámara es la línea de base y atraviesa cada plano de imagen en el epípolo, la imagen del centro de la otra cámara, que puede quedar fuera del encuadre o en el infinito. Cada plano epipolar corta cada imagen en una línea epipolar, también llamada epilínea, por lo que todas las líneas epipolares de una imagen pasan por su epípolo. A medida que el punto de la escena se desplaza a lo largo del rayo de visión de la primera cámara, su proyección en la segunda imagen se desplaza a lo largo de la línea epipolar.

Matrices fundamental y esencial#

La matriz fundamental F, una matriz de 3 × 3 de rango dos, recoge toda la relación en coordenadas de píxel. Para los puntos correspondientes x y x′ expresados en forma homogénea (x, y, 1), la restricción epipolar es x′ᵀ F x = 0, y el producto F x proporciona los coeficientes de la línea epipolar de x en la segunda imagen. Cuando las cámaras se calibran mediante la calibración de cámaras, la matriz esencial E = K′ᵀ F K expresa la misma restricción en coordenadas normalizadas y se descompone en la rotación relativa R y la traslación t como E = [t]ₓ R. Christopher Longuet-Higgins introdujo la matriz esencial y el algoritmo de ocho puntos en 1981, y Olivier Faugeras, Quang-Tuan Luong y Richard Hartley desarrollaron la matriz fundamental no calibrada a principios de la década de 1990. Como E solo determina la dirección de t, dos vistas por sí solas proporcionan la forma de la escena hasta una escala desconocida; una línea de base conocida o el tamaño de un objeto fija la escala.

Ambas matrices se estiman a partir de puntos clave emparejados, como las características SIFT, mediante un estimador robusto como RANSAC, que ajusta repetidamente la matriz a una muestra mínima de correspondencias y conserva el modelo con el que coinciden más correspondencias. Este ejemplo crea dos vistas de 100 puntos, sustituye 20 correspondencias por otras aleatorias incorrectas y estima F con la variante MAGSAC de RANSAC de OpenCV:

import cv2
import numpy as np

rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]])  # intrinsics shared by both cameras

# 100 scene points seen by two cameras; the second sits 0.5 m to the right, turned 5 degrees
points = rng.uniform([-2, -1, 4], [2, 1, 8], (100, 3))
rvec = np.array([0.0, np.radians(5), 0.0])
tvec = -cv2.Rodrigues(rvec)[0] @ np.array([0.5, 0.0, 0.0])
x1 = cv2.projectPoints(points, np.zeros(3), np.zeros(3), K, None)[0].reshape(-1, 2) + rng.normal(0, 0.5, (100, 2))
x2 = cv2.projectPoints(points, rvec, tvec, K, None)[0].reshape(-1, 2) + rng.normal(0, 0.5, (100, 2))
x2[:20] = rng.uniform([0, 0], [640, 480], (20, 2))  # replace 20 matches with wrong ones

# Robust estimation keeps the matches that agree with a single fundamental matrix
F, inliers = cv2.findFundamentalMat(x1, x2, cv2.USAC_MAGSAC, 1.0)
kept = inliers.ravel() == 1
print(f"Kept {kept[20:].sum()} of 80 true matches and {kept[:20].sum()} of 20 wrong ones")

# Each point in image 1 defines a line a*x + b*y + c = 0 in image 2 that its match must lie on
lines = cv2.computeCorrespondEpilines(x1, 1, F).reshape(-1, 3)
dist = np.abs((lines[:, :2] * x2).sum(axis=1) + lines[:, 2])
print(f"Median distance to epipolar line: {np.median(dist[20:]):.2f} px (true), {np.median(dist[:20]):.0f} px (wrong)")
print(f"Wrong match that survived: {dist[:20][kept[:20]].round(2)} px from its line")

Conserva 75 de las 80 correspondencias verdaderas y rechaza 19 de las 20 incorrectas. Las correspondencias verdaderas se encuentran a una distancia mediana de 0,43 píxeles de sus líneas epipolares, determinada por el ruido de medio píxel; las incorrectas, a 144 píxeles. La única correspondencia incorrecta que sobrevive queda a 0,61 píxeles de su línea, ya que la restricción limita la correspondencia a una línea y solo la apariencia permite elegir el punto correcto a lo largo de ella.

Una rotación pura no tiene línea de base, y un solo plano se ajusta igual de bien a muchas matrices fundamentales; por eso, ambos casos se resuelven con una homografía, la transformación 3 × 3 entre vistas de un plano. ORB-SLAM inicializa su mapa ajustando en paralelo una homografía y una matriz fundamental y se queda con la que explica mejor las correspondencias.

Rectificación, disparidad y profundidad#

La rectificación transforma un par estéreo para que sus líneas epipolares sean horizontales y estén alineadas, de modo que todas las correspondencias queden en la misma fila de la imagen. A continuación, los algoritmos de correspondencia estéreo buscan en cada fila; el desplazamiento entre columnas de las correspondencias, la disparidad d, permite calcular la profundidad Z = f × B / d para una distancia focal f y una línea de base B, que es como los sistemas estéreo generan mapas de estimación de profundidad. El benchmark estéreo KITTI evalúa estos algoritmos con escenas rectificadas de conducción autónoma.

Aplicaciones más allá de la visión estéreo#

En la reconstrucción 3D, COLMAP verifica cada par de imágenes ajustando matrices fundamentales, esenciales o de homografía, y descarta los pares y las correspondencias que no cuentan con suficiente respaldo geométrico. Los flujos de trabajo de emparejamiento de imágenes emplean la misma comprobación para rechazar correspondencias falsas, y el registro de imágenes recurre a la homografía descrita antes cuando la escena es plana o la cámara solo rota, como en el ensamblado de panorámicas. Entre dos fotogramas de una cámara en movimiento, la restricción epipolar solo se cumple en las superficies estáticas, por lo que los vectores de flujo óptico que la incumplen revelan objetos que se mueven de forma independiente. En la captura multicámara de la pose humana, se asocia a la misma persona entre distintas vistas según la proximidad de sus articulaciones a las líneas epipolares de las otras vistas, antes de triangular un esqueleto 3D; un modelo de estimación de pose Ultralytics YOLO26 proporciona 17 puntos clave corporales de COCO por persona en cada vista.