3D Reconstruction
Bei der 3D-Rekonstruktion wird die Form von Objekten und Szenen aus Fotos, Videos, Tiefenkameras oder LiDAR als Punktwolken, Netze oder Strahlungsfelder rekonstruiert.
Bei der 3D-Rekonstruktion wird die dreidimensionale Form eines Objekts oder einer Szene anhand von Messungen wie Fotos, Videos, Tiefenkamerabildern oder LiDAR-Scans rekonstruiert. Das Ergebnis beschreibt die räumliche Lage von Oberflächen als Punktwolke aus abgetasteten Oberflächenpunkten, Polygonnetz, Voxelraster oder gelernte Funktion wie ein Strahlungsfeld, oft ergänzt um Farbe oder Textur. Die bildbasierte Rekonstruktion, auch Photogrammetrie genannt, ist das Gegenstück der Computer Vision zur Fotografie: Eine Kamera bildet eine 3D-Welt auf 2D-Pixel ab, und bei der Rekonstruktion wird diese Projektion anhand mehrerer Ansichten derselben Oberflächen rückgängig gemacht.
Funktionsweise der bildbasierten Rekonstruktion#
Die klassische Pipeline beginnt damit, in jedem Bild markante Merkmale wie SIFT-Schlüsselpunkte zu erkennen und sie überlappenden Fotos hinweg einander zuzuordnen. Beibehalten werden nur Zuordnungen, die mit der Epipolargeometrie übereinstimmen. Anschließend ermittelt Structure from Motion die Position und Ausrichtung jeder Kamera sowie eine dünn besetzte Menge von 3D-Punkten. Alle Werte werden gemeinsam per Bündelausgleich verfeinert, der den Reprojektionsfehler jedes Punkts in jedem Bild minimiert. Mehrbild-Stereoverfahren nutzen die bekannten Kamerapositionen, um für jedes Bild eine dichte Tiefenkarte zu berechnen. Diese Karten werden zu einer Punktwolke zusammengeführt, und eine Oberflächenrekonstruktion wie die Poisson-Vernetzung wandelt die Punkte in ein geschlossenes Netz um, das sich mit den Fotos texturieren lässt. COLMAP von Johannes Schönberger und seinen Kollegen ist eine weit verbreitete quelloffene Implementierung dieser Pipeline. Tiefenkameras und LiDAR überspringen den Zuordnungsschritt und richten überlappende Scans direkt aus, in der Regel mit dem Iterative-Closest-Point-Algorithmus.
Jeder 3D-Punkt entsteht durch Triangulation: Bei zwei kalibrierten Kameras ist es der Punkt, dessen Projektionen am besten zu den Pixeln passen, an denen ihn die beiden Kameras erkannt haben. Dieses Beispiel trianguliert Punkte auf einer Wand, die von zwei 0,3 m voneinander entfernten Kameras erfasst wurde. Die Beobachtungen weisen jeweils ein Rauschen von einem halben Pixel auf:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]]) # camera intrinsics in pixels
# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])
for z in [2.0, 10.0]:
# 200 points on a wall z meters away, observed in both images with half-pixel noise
points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
X = np.vstack([points.T, np.ones(200)])
x1, x2 = P1 @ X, P2 @ X
x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))
# Triangulate: find the 3D point whose projections best match both observations
Xh = cv2.triangulatePoints(P1, P2, x1, x2)
error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")Die Ausgabe zeigt einen mittleren Fehler von 0,8 cm an der 2 m entfernten Wand und von 18,4 cm bei 10 m Entfernung. Bei der fünffachen Entfernung ist der Fehler etwa 23-mal so groß. Das entspricht annähernd dem quadratischen Wachstum, das die Geometrie zweier Ansichten vorhersagt. Deshalb erfasst die Photogrammetrie weit entfernte Oberflächen aus vielen Blickwinkeln mit großem Abstand zueinander.
Bei der Rekonstruktion wird eine statische Szene vorausgesetzt. Personen und Fahrzeuge, die sich während der Aufnahme bewegen, führen daher zu Geistergeometrie und nicht zusammenpassenden Merkmalen. COLMAP überspringt die Merkmalsextraktion an Stellen, die in einer Maske für das jeweilige Bild schwarz sind. Masken für Personen und Autos, erstellt von einem Ultralytics YOLO26-Instanzsegmentierungsmodell, halten diese beweglichen Objekte aus der statischen Rekonstruktion heraus.
Darstellungsformen und gelernte Rekonstruktion#
Punktwolken lassen sich einfach erzeugen, haben aber keine Verbindungen. Netze stellen zusammenhängende Oberflächen für Messungen, Spiel-Engines und digitale Zwillinge bereit, während Voxelraster den Raum in Zellen aufteilen. KinectFusion, 2011 von Richard Newcombe und seinen Kollegen vorgestellt, führte in Echtzeit Live-Aufnahmen einer Tiefenkamera zu einem abgeschnittenen vorzeichenbehafteten Distanzfeldvolumen zusammen. Diese Methode der volumetrischen Fusion wird noch immer von Bibliotheken wie Open3D implementiert. Implizite neuronale Repräsentationen stellen Oberflächen als Netzwerke dar, die Koordinaten in Belegung oder vorzeichenbehaftete Abstände umwandeln. Neuronale Strahlungsfelder und Gaussian Splatting modellieren das Erscheinungsbild aus allen Richtungen für die Synthese neuer Ansichten. Ihre Geometrie lässt sich weniger direkt messen als die eines Netzes. Feed-Forward-Netzwerke überspringen inzwischen die Optimierung vollständig: VGGT, entwickelt von der Visual Geometry Group in Oxford und Meta AI, sagt Kamerapositionen, Tiefenkarten und 3D-Punkte für eine bis Hunderte von Bildern in einem einzigen Durchlauf voraus und erhielt den Preis für die beste Arbeit auf der CVPR 2025.
Verwandte Aufgaben unterscheiden sich durch ihre Ergebnisse. Die Tiefenschätzung sagt für eine Ansicht pixelweise Entfernungen voraus und ergibt eine einzelne, teilweise Oberfläche. Die Stereosicht rekonstruiert die Szene anhand zweier synchronisierter Kameras. Visuelles SLAM verfolgt eine bewegliche Kamera und erstellt in Echtzeit eine Karte für die Navigation, wobei Vollständigkeit zugunsten der Geschwindigkeit zurückgestellt wird. Die 3D-Objekterkennung setzt Kästen um Objekte, statt ihre Oberflächen zu rekonstruieren.
Anwendungen in der Praxis#
- Erweiterte Realität: Apples ARKit erstellt in Echtzeit ein Raumnetz aus LiDAR-Daten von iPhones und iPads mit LiDAR-Sensor. So stehen virtuelle Objekte auf Böden und verschwinden hinter Möbeln.
- Fertigungsprüfung: Scans fertiger Bauteile werden mit ihren CAD-Modellen verglichen, um Abweichungen zu messen. Dieselben Scans halten einen digitalen Zwilling der Produktionslinie auf dem aktuellen Stand.
- Robotik: Roboter rekonstruieren anhand integrierter Tiefenkameras die Objekte, die sie greifen müssen, und die Räume, in denen sie sich bewegen.
- Kulturerbe und Kartierung: Mit Photogrammetrie werden Gebäude, Ausgrabungsstätten und ganze Städte digitalisiert. Das Projekt Building Rome in a Day rekonstruierte 2009 anhand von 150.000 Flickr-Fotos innerhalb von 21 Stunden die Sehenswürdigkeiten Roms auf einem Cluster mit 496 Prozessorkernen.










