YOLO lizenzieren
Zurück zum Ultralytics-Glossar

3D Reconstruction

Bei der 3D-Rekonstruktion wird die Form von Objekten und Szenen aus Fotos, Videos, Tiefenkameras oder LiDAR als Punktwolken, Netze oder Strahlungsfelder rekonstruiert.

Bei der 3D-Rekonstruktion wird die dreidimensionale Form eines Objekts oder einer Szene anhand von Messungen wie Fotos, Videos, Tiefenkamerabildern oder LiDAR-Scans rekonstruiert. Das Ergebnis beschreibt die räumliche Lage von Oberflächen als Punktwolke aus abgetasteten Oberflächenpunkten, Polygonnetz, Voxelraster oder gelernte Funktion wie ein Strahlungsfeld, oft ergänzt um Farbe oder Textur. Die bildbasierte Rekonstruktion, auch Photogrammetrie genannt, ist das Gegenstück der Computer Vision zur Fotografie: Eine Kamera bildet eine 3D-Welt auf 2D-Pixel ab, und bei der Rekonstruktion wird diese Projektion anhand mehrerer Ansichten derselben Oberflächen rückgängig gemacht.

Funktionsweise der bildbasierten Rekonstruktion#

Die klassische Pipeline beginnt damit, in jedem Bild markante Merkmale wie SIFT-Schlüsselpunkte zu erkennen und sie überlappenden Fotos hinweg einander zuzuordnen. Beibehalten werden nur Zuordnungen, die mit der Epipolargeometrie übereinstimmen. Anschließend ermittelt Structure from Motion die Position und Ausrichtung jeder Kamera sowie eine dünn besetzte Menge von 3D-Punkten. Alle Werte werden gemeinsam per Bündelausgleich verfeinert, der den Reprojektionsfehler jedes Punkts in jedem Bild minimiert. Mehrbild-Stereoverfahren nutzen die bekannten Kamerapositionen, um für jedes Bild eine dichte Tiefenkarte zu berechnen. Diese Karten werden zu einer Punktwolke zusammengeführt, und eine Oberflächenrekonstruktion wie die Poisson-Vernetzung wandelt die Punkte in ein geschlossenes Netz um, das sich mit den Fotos texturieren lässt. COLMAP von Johannes Schönberger und seinen Kollegen ist eine weit verbreitete quelloffene Implementierung dieser Pipeline. Tiefenkameras und LiDAR überspringen den Zuordnungsschritt und richten überlappende Scans direkt aus, in der Regel mit dem Iterative-Closest-Point-Algorithmus.

Jeder 3D-Punkt entsteht durch Triangulation: Bei zwei kalibrierten Kameras ist es der Punkt, dessen Projektionen am besten zu den Pixeln passen, an denen ihn die beiden Kameras erkannt haben. Dieses Beispiel trianguliert Punkte auf einer Wand, die von zwei 0,3 m voneinander entfernten Kameras erfasst wurde. Die Beobachtungen weisen jeweils ein Rauschen von einem halben Pixel auf:

import cv2
import numpy as np

rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]])  # camera intrinsics in pixels

# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])

for z in [2.0, 10.0]:
    # 200 points on a wall z meters away, observed in both images with half-pixel noise
    points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
    X = np.vstack([points.T, np.ones(200)])
    x1, x2 = P1 @ X, P2 @ X
    x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))

    # Triangulate: find the 3D point whose projections best match both observations
    Xh = cv2.triangulatePoints(P1, P2, x1, x2)
    error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
    print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")

Die Ausgabe zeigt einen mittleren Fehler von 0,8 cm an der 2 m entfernten Wand und von 18,4 cm bei 10 m Entfernung. Bei der fünffachen Entfernung ist der Fehler etwa 23-mal so groß. Das entspricht annähernd dem quadratischen Wachstum, das die Geometrie zweier Ansichten vorhersagt. Deshalb erfasst die Photogrammetrie weit entfernte Oberflächen aus vielen Blickwinkeln mit großem Abstand zueinander.

Bei der Rekonstruktion wird eine statische Szene vorausgesetzt. Personen und Fahrzeuge, die sich während der Aufnahme bewegen, führen daher zu Geistergeometrie und nicht zusammenpassenden Merkmalen. COLMAP überspringt die Merkmalsextraktion an Stellen, die in einer Maske für das jeweilige Bild schwarz sind. Masken für Personen und Autos, erstellt von einem Ultralytics YOLO26-Instanzsegmentierungsmodell, halten diese beweglichen Objekte aus der statischen Rekonstruktion heraus.

Darstellungsformen und gelernte Rekonstruktion#

Punktwolken lassen sich einfach erzeugen, haben aber keine Verbindungen. Netze stellen zusammenhängende Oberflächen für Messungen, Spiel-Engines und digitale Zwillinge bereit, während Voxelraster den Raum in Zellen aufteilen. KinectFusion, 2011 von Richard Newcombe und seinen Kollegen vorgestellt, führte in Echtzeit Live-Aufnahmen einer Tiefenkamera zu einem abgeschnittenen vorzeichenbehafteten Distanzfeldvolumen zusammen. Diese Methode der volumetrischen Fusion wird noch immer von Bibliotheken wie Open3D implementiert. Implizite neuronale Repräsentationen stellen Oberflächen als Netzwerke dar, die Koordinaten in Belegung oder vorzeichenbehaftete Abstände umwandeln. Neuronale Strahlungsfelder und Gaussian Splatting modellieren das Erscheinungsbild aus allen Richtungen für die Synthese neuer Ansichten. Ihre Geometrie lässt sich weniger direkt messen als die eines Netzes. Feed-Forward-Netzwerke überspringen inzwischen die Optimierung vollständig: VGGT, entwickelt von der Visual Geometry Group in Oxford und Meta AI, sagt Kamerapositionen, Tiefenkarten und 3D-Punkte für eine bis Hunderte von Bildern in einem einzigen Durchlauf voraus und erhielt den Preis für die beste Arbeit auf der CVPR 2025.

Verwandte Aufgaben unterscheiden sich durch ihre Ergebnisse. Die Tiefenschätzung sagt für eine Ansicht pixelweise Entfernungen voraus und ergibt eine einzelne, teilweise Oberfläche. Die Stereosicht rekonstruiert die Szene anhand zweier synchronisierter Kameras. Visuelles SLAM verfolgt eine bewegliche Kamera und erstellt in Echtzeit eine Karte für die Navigation, wobei Vollständigkeit zugunsten der Geschwindigkeit zurückgestellt wird. Die 3D-Objekterkennung setzt Kästen um Objekte, statt ihre Oberflächen zu rekonstruieren.

Anwendungen in der Praxis#

  • Erweiterte Realität: Apples ARKit erstellt in Echtzeit ein Raumnetz aus LiDAR-Daten von iPhones und iPads mit LiDAR-Sensor. So stehen virtuelle Objekte auf Böden und verschwinden hinter Möbeln.
  • Fertigungsprüfung: Scans fertiger Bauteile werden mit ihren CAD-Modellen verglichen, um Abweichungen zu messen. Dieselben Scans halten einen digitalen Zwilling der Produktionslinie auf dem aktuellen Stand.
  • Robotik: Roboter rekonstruieren anhand integrierter Tiefenkameras die Objekte, die sie greifen müssen, und die Räume, in denen sie sich bewegen.
  • Kulturerbe und Kartierung: Mit Photogrammetrie werden Gebäude, Ausgrabungsstätten und ganze Städte digitalisiert. Das Projekt Building Rome in a Day rekonstruierte 2009 anhand von 150.000 Flickr-Fotos innerhalb von 21 Stunden die Sehenswürdigkeiten Roms auf einem Cluster mit 496 Prozessorkernen.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens