3D Reconstruction
A reconstrução 3D recupera a forma de objetos e cenas a partir de fotografias, vídeos, câmaras de profundidade ou LiDAR, gerando nuvens de pontos, malhas ou campos de radiância.
A reconstrução 3D é o processo de recuperar a forma tridimensional de um objeto ou cena a partir de medições como fotografias, vídeo, fotogramas de câmaras de profundidade ou digitalizações LiDAR. O resultado descreve a localização das superfícies no espaço como uma nuvem de pontos de superfície amostrados, uma malha poligonal, uma grelha de voxels ou uma função aprendida, como um campo de radiância, muitas vezes com cor ou textura. A reconstrução baseada em imagens, também chamada fotogrametria, é o inverso da fotografia na visão computacional: uma câmara projeta um mundo 3D em píxeis 2D, e a reconstrução utiliza várias vistas das mesmas superfícies para desfazer essa projeção.
Como funciona a reconstrução baseada em imagens#
O pipeline clássico começa por detetar características distintivas, como pontos-chave SIFT, em cada imagem e correspondê-las entre fotografias sobrepostas, mantendo apenas as correspondências compatíveis com a geometria epipolar. A estrutura a partir do movimento recupera então a posição e a orientação de cada câmara, juntamente com um conjunto esparso de pontos 3D, refinando-os em conjunto através do ajustamento de feixes, que minimiza o erro de reprojeção de cada ponto em cada imagem. A estereoscopia multivista usa as câmaras conhecidas para calcular um mapa de profundidade denso por imagem; estes mapas são fundidos numa única nuvem de pontos, e a reconstrução da superfície, como a criação de malhas de Poisson, transforma os pontos numa malha estanque que pode ser texturizada com as fotografias. O COLMAP, de Johannes Schönberger e colegas, é a implementação de código aberto deste pipeline mais utilizada. As câmaras de profundidade e o LiDAR dispensam a fase de correspondência e alinham diretamente as digitalizações sobrepostas, normalmente com o algoritmo iterativo do ponto mais próximo.
Cada ponto 3D é obtido por triangulação: dadas duas câmaras calibradas, é o ponto cujas projeções mais se aproximam do píxel em que cada câmara o observou. Este exemplo triangula pontos numa parede visível por duas câmaras separadas por 0,3 m, com meio píxel de ruído em cada observação:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]]) # camera intrinsics in pixels
# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])
for z in [2.0, 10.0]:
# 200 points on a wall z meters away, observed in both images with half-pixel noise
points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
X = np.vstack([points.T, np.ones(200)])
x1, x2 = P1 @ X, P2 @ X
x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))
# Triangulate: find the 3D point whose projections best match both observations
Xh = cv2.triangulatePoints(P1, P2, x1, x2)
error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")O resultado apresenta um erro mediano de 0,8 cm para a parede a 2 m e de 18,4 cm a 10 m. Uma distância cinco vezes superior gera um erro cerca de 23 vezes maior, perto do crescimento quadrático previsto pela geometria de duas vistas; é por isso que a fotogrametria capta superfícies distantes a partir de muitos pontos de vista amplamente separados.
A reconstrução pressupõe uma cena estática, pelo que pessoas e veículos em movimento durante a captura produzem geometria fantasma e características não correspondentes. O COLMAP ignora a extração de características onde uma máscara por imagem é preta, e as máscaras de pessoas e carros geradas por um modelo de segmentação de instâncias Ultralytics YOLO26 mantêm esses objetos em movimento fora de uma reconstrução estática.
Representações e reconstrução aprendida#
As nuvens de pontos são fáceis de produzir, mas não têm conectividade; as malhas proporcionam superfícies contínuas para medições, motores de jogos e gémeos digitais, e as grelhas de voxels dividem o espaço em células. O KinectFusion, apresentado por Richard Newcombe e colegas em 2011, fundia em tempo real fotogramas de câmaras de profundidade ao vivo num volume de distância assinada truncada, um método de fusão volumétrica que bibliotecas como o Open3D ainda implementam. As representações neurais implícitas armazenam uma superfície como uma rede que mapeia coordenadas para ocupação ou distância assinada; os campos neurais de radiância e o Gaussian splatting modelam a aparência em todas as direções para a síntese de novas vistas, com uma geometria menos diretamente mensurável do que a de uma malha. As redes feed-forward já dispensam totalmente a otimização: o VGGT, do Visual Geometry Group de Oxford e da Meta AI, prevê poses das câmaras, mapas de profundidade e pontos 3D para uma a centenas de imagens numa única passagem, e ganhou o prémio de melhor artigo da CVPR 2025.
As tarefas relacionadas diferem no que produzem. A estimativa de profundidade prevê a distância por píxel numa única vista, ou seja, uma superfície parcial. A visão estéreo reconstrói a partir de duas câmaras sincronizadas. O SLAM visual acompanha uma câmara em movimento e cria um mapa em tempo real para navegação, privilegiando a velocidade em detrimento da completude. A deteção de objetos 3D coloca caixas à volta dos objetos em vez de recuperar as respetivas superfícies.
Aplicações no mundo real#
- Realidade aumentada: O ARKit da Apple cria uma malha em tempo real de uma divisão em iPhones e iPads equipados com LiDAR, para que os objetos virtuais assentem nos pavimentos e fiquem ocultos atrás dos móveis.
- Inspeção de fabrico: As digitalizações de peças acabadas são comparadas com os respetivos modelos CAD para medir desvios, e essas mesmas digitalizações mantêm atualizado um gémeo digital de uma linha de produção.
- Robótica: Os robôs reconstroem os objetos que têm de agarrar e os espaços por onde se deslocam a partir de câmaras de profundidade integradas.
- Património cultural e cartografia: A fotogrametria digitaliza edifícios, escavações e cidades inteiras. O projeto Building Rome in a Day, de 2009, reconstruiu monumentos de Roma a partir de 150.000 fotografias do Flickr, em 21 horas, num cluster com 496 núcleos de processador.










