3D Reconstruction
Tái tạo 3D khôi phục hình dạng của đối tượng và cảnh từ ảnh, video, camera độ sâu hoặc LiDAR dưới dạng đám mây điểm, mesh hoặc trường bức xạ.
Tái tạo 3D là quá trình khôi phục hình dạng ba chiều của một đối tượng hoặc cảnh từ các phép đo như ảnh chụp, video, khung hình từ camera đo độ sâu hoặc bản quét LiDAR. Đầu ra mô tả vị trí các bề mặt trong không gian dưới dạng point cloud gồm các điểm bề mặt được lấy mẫu, polygon mesh, lưới voxel hoặc hàm được học như radiance field, thường đi kèm màu sắc hoặc kết cấu. Tái tạo dựa trên ảnh, còn gọi là đo ảnh, là phép toán ngược của thị giác máy tính: camera biến thế giới 3D thành các pixel 2D, còn quá trình tái tạo sử dụng nhiều góc nhìn của cùng các bề mặt để đảo ngược phép chiếu đó.
Cách tái tạo dựa trên ảnh hoạt động#
Pipeline kinh điển bắt đầu bằng việc phát hiện các đặc trưng khác biệt như điểm đặc trưng SIFT trong từng ảnh và ghép chúng giữa các ảnh chồng lấn, chỉ giữ lại những cặp khớp nhất quán với hình học epipolar. Sau đó, Structure from Motion khôi phục vị trí và hướng của từng camera cùng một tập điểm 3D thưa, đồng thời tinh chỉnh tất cả bằng bundle adjustment nhằm giảm thiểu sai số chiếu lại của mỗi điểm trong từng ảnh. Multi-view stereo sử dụng camera đã biết để tính bản đồ độ sâu dày đặc cho mỗi ảnh; các bản đồ này được hợp nhất thành một point cloud, rồi thuật toán tái tạo bề mặt như dựng mesh Poisson chuyển các điểm thành mesh kín có thể áp kết cấu từ ảnh. COLMAP của Johannes Schönberger và các cộng sự là một triển khai mã nguồn mở được sử dụng rộng rãi cho pipeline này. Camera đo độ sâu và LiDAR bỏ qua bước ghép điểm đặc trưng, thay vào đó căn chỉnh trực tiếp các bản quét chồng lấn, thường bằng thuật toán điểm gần nhất lặp (ICP).
Mỗi điểm 3D được xác định bằng phép tam giác hóa: với hai camera đã hiệu chuẩn, đó là điểm có hình chiếu khớp tốt nhất với pixel mà mỗi camera quan sát được. Ví dụ này tam giác hóa các điểm trên bức tường được hai camera cách nhau 0,3 m quan sát, với nhiễu nửa pixel trong mỗi lần quan sát:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]]) # camera intrinsics in pixels
# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])
for z in [2.0, 10.0]:
# 200 points on a wall z meters away, observed in both images with half-pixel noise
points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
X = np.vstack([points.T, np.ones(200)])
x1, x2 = P1 @ X, P2 @ X
x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))
# Triangulate: find the 3D point whose projections best match both observations
Xh = cv2.triangulatePoints(P1, P2, x1, x2)
error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")Kết quả in ra sai số trung vị 0,8 cm đối với bức tường cách 2 m và 18,4 cm ở khoảng cách 10 m. Khoảng cách tăng gấp năm lần khiến sai số tăng khoảng 23 lần, gần với mức tăng theo bình phương mà hình học hai góc nhìn dự đoán; đó là lý do phép đo ảnh chụp các bề mặt xa từ nhiều góc nhìn cách nhau rộng.
Tái tạo giả định cảnh tĩnh, vì vậy người và phương tiện di chuyển trong lúc ghi hình tạo ra hình học bóng ma và các đặc trưng không khớp. COLMAP bỏ qua bước trích xuất đặc trưng tại những vùng có mask trên từng ảnh màu đen; mask người và ô tô từ model phân đoạn instance Ultralytics YOLO26 giúp loại các đối tượng chuyển động đó khỏi quá trình tái tạo cảnh tĩnh.
Biểu diễn và tái tạo bằng phương pháp học#
Point cloud dễ tạo nhưng không có liên kết giữa các điểm; mesh cung cấp bề mặt liên tục để đo đạc, dùng trong game engine và tạo digital twin; còn lưới voxel chia không gian thành các ô. KinectFusion do Richard Newcombe và các cộng sự trình bày năm 2011 đã hợp nhất trực tiếp các khung hình từ camera đo độ sâu thành một thể tích khoảng cách có dấu bị cắt theo thời gian thực; đây là phương pháp hợp nhất thể tích mà các thư viện như Open3D vẫn triển khai. Biểu diễn nơ-ron ẩn lưu bề mặt dưới dạng mạng ánh xạ tọa độ thành occupancy hoặc khoảng cách có dấu; trường bức xạ nơ-ron và Gaussian splatting mô hình hóa hình thức từ mọi hướng để tổng hợp góc nhìn mới, nhưng hình học khó đo trực tiếp hơn so với mesh. Các mạng feed-forward hiện nay có thể bỏ qua hoàn toàn bước tối ưu hóa: VGGT của Visual Geometry Group thuộc Oxford và Meta AI dự đoán pose camera, bản đồ độ sâu và điểm 3D cho từ một đến hàng trăm ảnh chỉ trong một lượt, đồng thời giành giải Bài báo xuất sắc nhất tại CVPR 2025.
Các tác vụ liên quan khác nhau ở đầu ra. Ước lượng độ sâu dự đoán khoảng cách tại từng pixel trong một góc nhìn, tức một bề mặt một phần. Thị giác lập thể tái tạo từ hai camera đồng bộ. Visual SLAM theo dõi camera đang di chuyển và tạo bản đồ theo thời gian thực để điều hướng, đánh đổi độ đầy đủ lấy tốc độ. Phát hiện đối tượng 3D đặt bounding box quanh đối tượng thay vì khôi phục bề mặt của chúng.
Ứng dụng thực tế#
- Thực tế tăng cường: ARKit của Apple dựng mesh căn phòng theo thời gian thực trên iPhone và iPad có LiDAR, giúp vật thể ảo nằm trên sàn và khuất sau đồ đạc.
- Kiểm tra trong sản xuất: Bản quét các chi tiết hoàn thiện được so sánh với model CAD để đo sai lệch; những bản quét tương tự cũng giúp cập nhật digital twin của dây chuyền sản xuất.
- Robot học: Robot tái tạo các vật thể cần gắp và không gian cần di chuyển qua bằng camera đo độ sâu tích hợp.
- Di sản văn hóa và lập bản đồ: Đo ảnh giúp số hóa công trình, địa điểm khai quật và toàn bộ thành phố. Dự án Building Rome in a Day năm 2009 tái tạo các địa danh ở Rome từ 150.000 ảnh Flickr trong 21 giờ trên cụm 496 lõi xử lý.










