3D Reconstruction

A reconstrução 3D é o processo de criação de uma representação digital tridimensional de um objeto ou ambiente a partir de medições visuais ou de profundidade. Em visão computacional, converte observações como fotografias, fotogramas de vídeo, imagens estéreo ou digitalizações LiDAR em geometria que descreve a localização das superfícies no espaço 3D. O resultado pode ser um conjunto esparso de pontos de referência, uma nuvem de pontos densa, uma malha poligonal ou um modelo texturizado que pode ser medido, renderizado e analisado.

Como funciona a reconstrução 3D#

Um fluxo de reconstrução típico combina geometria, processamento de imagens e aprendizagem automática:

1. Captura: Câmaras ou sensores de profundidade observam o objeto a partir de um ou mais pontos de vista. As imagens devem sobrepor-se para que as mesmas superfícies apareçam em vários fotogramas.
2. Calibração: O sistema estima os parâmetros intrínsecos da câmara, como a distância focal e o centro ótico, e corrige a distorção da lente. O tutorial oficial de calibração de câmaras do OpenCV explica estes parâmetros.
3. Correspondência: Píxeis distintivos ou características aprendidas são associados entre imagens. Uma correspondência indica que dois píxeis representam o mesmo ponto físico.
4. Estimativa da pose da câmara: Recuperam-se a posição e a orientação relativas de cada câmara.
5. Recuperação da profundidade: Com a geometria da câmara conhecida, as observações correspondentes podem ser trianguladas para obter coordenadas 3D. As ferramentas baseadas em imagens usam frequentemente o fluxo de trabalho de estrutura a partir do movimento e estéreo multivista, enquanto os sistemas RGB-D obtêm a profundidade diretamente ou estimam-na.
6. Registo e fusão: As nuvens de pontos parciais são transformadas para um sistema de coordenadas comum. O registo de nuvens de pontos do Open3D demonstra como alinhar digitalizações sobrepostas.
7. Criação de superfícies: Os pontos podem ser ligados ou ajustados a uma malha triangular através de um processo de reconstrução de superfícies, seguido de mapeamento de texturas e limpeza. (docs.opencv.org)

Representações e conceitos relacionados#

Uma nuvem de pontos armazena pontos 3D individuais, muitas vezes com valores de cor ou confiança. Uma malha liga vértices através de arestas e faces triangulares, criando superfícies contínuas. Uma grelha de vóxeis divide o espaço em pequenas células 3D, enquanto uma representação implícita codifica a geometria numa função aprendida.

A reconstrução 3D sobrepõe-se a vários conceitos relacionados, mas tem um objetivo diferente:

• A estimativa de profundidade prevê a distância à câmara para os píxeis da imagem. Um mapa de profundidade é muitas vezes uma entrada para a reconstrução, mas um único mapa não fornece automaticamente um modelo completo das superfícies ocultas.
• A visão estéreo infere a profundidade a partir de duas câmaras com uma separação conhecida. A reconstrução pode usar profundidade estéreo, mas também pode recorrer a muitas câmaras, vídeo ou sensores ativos.
• O SLAM visual estima o movimento da câmara enquanto cria um mapa, normalmente para navegação em tempo real. A reconstrução dá geralmente prioridade à qualidade e à completude da geometria resultante.
• Os campos de radiância neural e o Gaussian splatting representam cenas para renderização fotorrealista e novos pontos de vista. O resultado não é necessariamente uma malha explícita pronta para medições.
• A deteção de objetos 3D localiza e classifica objetos no espaço 3D, em vez de recriar todas as superfícies visíveis.

Aplicações no mundo real#

• Inspeção robótica e produção: Um robô pode reconstruir um componente a partir de imagens RGB-D, comparar a geometria com o projeto esperado e identificar amolgadelas, falta de material ou montagem incorreta. O modelo resultante também pode atualizar um gémeo digital de produção, contribuindo para medições, simulação, planeamento da manutenção e controlo da qualidade.

• Realidade aumentada e mapeamento de interiores: Um dispositivo móvel pode reconstruir paredes, pavimentos, mobiliário e outras superfícies para que o conteúdo virtual interaja corretamente com o espaço físico. Por exemplo, a reconstrução de cenas do ARKit cria malhas poligonais que permitem oclusão, colisões e posicionamento de objetos realistas. Os modelos podem depois ser disponibilizados em formatos como o formato normalizado de recursos 3D glTF. (nist.gov)

Estimativa de profundidade com Ultralytics YOLO#

A estimativa de profundidade do Ultralytics YOLO26 pode fornecer um mapa denso de profundidade métrica a partir de uma única imagem RGB. É um componente útil para mapeamento RGB-D, geometria de obstáculos e geração de nuvens de pontos quando não há um sensor de profundidade dedicado disponível.

from ultralytics import YOLO

# Carrega um modelo de profundidade monocular pré-treinado.
model = YOLO("yolo26n-depth.pt")

# Estima a profundidade de cada píxel a partir de uma única imagem RGB.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Guarda a visualização da profundidade.
result.save(filename="depth_result.jpg")

Este fluxo de trabalho produz profundidade alinhada com a imagem; não reconstrói de forma independente uma cena 3D completa. Um fluxo completo também precisa de parâmetros de câmara calibrados e, para vários fotogramas, de poses de câmara fiáveis. O fluxo de trabalho de imagens RGB-D do Open3D mostra como a cor, a profundidade e os parâmetros intrínsecos da câmara alinhados podem gerar uma nuvem de pontos. As equipas que desenvolvem componentes de visão personalizados podem usar a Ultralytics Platform para anotar conjuntos de dados, treinar modelos, implementá-los e monitorizar a inferência em produção.

Desafios práticos e orientações#

A qualidade da reconstrução depende muito das condições de captura. Usa pontos de vista com grande sobreposição, desloca-te à volta do objeto em vez de apenas rodar a câmara e mantém a iluminação razoavelmente constante. Paredes sem textura, objetos transparentes ou refletivos, desfocagem por movimento, oclusão e alterações de iluminação podem comprometer a correspondência de características ou produzir lacunas e superfícies duplicadas.

Os erros de calibração distorcem a escala e a forma, enquanto as poses imprecisas da câmara fazem com que as digitalizações se afastem umas das outras. As entradas monoculares também apresentam ambiguidades inerentes de escala e de superfícies ocultas: uma única imagem não pode revelar a parte de trás de um objeto sem pressupostos aprendidos. Valida as reconstruções com dimensões conhecidas, erro de reprojeção, sobreposição entre digitalizações e tolerâncias específicas da aplicação, em vez de avaliar apenas a aparência.