Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

3D Reconstruction

Tái tạo 3D khôi phục hình dạng của đối tượng và cảnh từ ảnh, video, camera độ sâu hoặc LiDAR dưới dạng đám mây điểm, mesh hoặc trường bức xạ.

Tái tạo 3D là quá trình khôi phục hình dạng ba chiều của một đối tượng hoặc cảnh từ các phép đo như ảnh chụp, video, khung hình từ camera đo độ sâu hoặc bản quét LiDAR. Đầu ra mô tả vị trí các bề mặt trong không gian dưới dạng point cloud gồm các điểm bề mặt được lấy mẫu, polygon mesh, lưới voxel hoặc hàm được học như radiance field, thường đi kèm màu sắc hoặc kết cấu. Tái tạo dựa trên ảnh, còn gọi là đo ảnh, là phép toán ngược của thị giác máy tính: camera biến thế giới 3D thành các pixel 2D, còn quá trình tái tạo sử dụng nhiều góc nhìn của cùng các bề mặt để đảo ngược phép chiếu đó.

Cách tái tạo dựa trên ảnh hoạt động#

Pipeline kinh điển bắt đầu bằng việc phát hiện các đặc trưng khác biệt như điểm đặc trưng SIFT trong từng ảnh và ghép chúng giữa các ảnh chồng lấn, chỉ giữ lại những cặp khớp nhất quán với hình học epipolar. Sau đó, Structure from Motion khôi phục vị trí và hướng của từng camera cùng một tập điểm 3D thưa, đồng thời tinh chỉnh tất cả bằng bundle adjustment nhằm giảm thiểu sai số chiếu lại của mỗi điểm trong từng ảnh. Multi-view stereo sử dụng camera đã biết để tính bản đồ độ sâu dày đặc cho mỗi ảnh; các bản đồ này được hợp nhất thành một point cloud, rồi thuật toán tái tạo bề mặt như dựng mesh Poisson chuyển các điểm thành mesh kín có thể áp kết cấu từ ảnh. COLMAP của Johannes Schönberger và các cộng sự là một triển khai mã nguồn mở được sử dụng rộng rãi cho pipeline này. Camera đo độ sâu và LiDAR bỏ qua bước ghép điểm đặc trưng, thay vào đó căn chỉnh trực tiếp các bản quét chồng lấn, thường bằng thuật toán điểm gần nhất lặp (ICP).

Mỗi điểm 3D được xác định bằng phép tam giác hóa: với hai camera đã hiệu chuẩn, đó là điểm có hình chiếu khớp tốt nhất với pixel mà mỗi camera quan sát được. Ví dụ này tam giác hóa các điểm trên bức tường được hai camera cách nhau 0,3 m quan sát, với nhiễu nửa pixel trong mỗi lần quan sát:

import cv2
import numpy as np

rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]])  # camera intrinsics in pixels

# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])

for z in [2.0, 10.0]:
    # 200 points on a wall z meters away, observed in both images with half-pixel noise
    points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
    X = np.vstack([points.T, np.ones(200)])
    x1, x2 = P1 @ X, P2 @ X
    x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))

    # Triangulate: find the 3D point whose projections best match both observations
    Xh = cv2.triangulatePoints(P1, P2, x1, x2)
    error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
    print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")

Kết quả in ra sai số trung vị 0,8 cm đối với bức tường cách 2 m và 18,4 cm ở khoảng cách 10 m. Khoảng cách tăng gấp năm lần khiến sai số tăng khoảng 23 lần, gần với mức tăng theo bình phương mà hình học hai góc nhìn dự đoán; đó là lý do phép đo ảnh chụp các bề mặt xa từ nhiều góc nhìn cách nhau rộng.

Tái tạo giả định cảnh tĩnh, vì vậy người và phương tiện di chuyển trong lúc ghi hình tạo ra hình học bóng ma và các đặc trưng không khớp. COLMAP bỏ qua bước trích xuất đặc trưng tại những vùng có mask trên từng ảnh màu đen; mask người và ô tô từ model phân đoạn instance Ultralytics YOLO26 giúp loại các đối tượng chuyển động đó khỏi quá trình tái tạo cảnh tĩnh.

Biểu diễn và tái tạo bằng phương pháp học#

Point cloud dễ tạo nhưng không có liên kết giữa các điểm; mesh cung cấp bề mặt liên tục để đo đạc, dùng trong game engine và tạo digital twin; còn lưới voxel chia không gian thành các ô. KinectFusion do Richard Newcombe và các cộng sự trình bày năm 2011 đã hợp nhất trực tiếp các khung hình từ camera đo độ sâu thành một thể tích khoảng cách có dấu bị cắt theo thời gian thực; đây là phương pháp hợp nhất thể tích mà các thư viện như Open3D vẫn triển khai. Biểu diễn nơ-ron ẩn lưu bề mặt dưới dạng mạng ánh xạ tọa độ thành occupancy hoặc khoảng cách có dấu; trường bức xạ nơ-ron và Gaussian splatting mô hình hóa hình thức từ mọi hướng để tổng hợp góc nhìn mới, nhưng hình học khó đo trực tiếp hơn so với mesh. Các mạng feed-forward hiện nay có thể bỏ qua hoàn toàn bước tối ưu hóa: VGGT của Visual Geometry Group thuộc Oxford và Meta AI dự đoán pose camera, bản đồ độ sâu và điểm 3D cho từ một đến hàng trăm ảnh chỉ trong một lượt, đồng thời giành giải Bài báo xuất sắc nhất tại CVPR 2025.

Các tác vụ liên quan khác nhau ở đầu ra. Ước lượng độ sâu dự đoán khoảng cách tại từng pixel trong một góc nhìn, tức một bề mặt một phần. Thị giác lập thể tái tạo từ hai camera đồng bộ. Visual SLAM theo dõi camera đang di chuyển và tạo bản đồ theo thời gian thực để điều hướng, đánh đổi độ đầy đủ lấy tốc độ. Phát hiện đối tượng 3D đặt bounding box quanh đối tượng thay vì khôi phục bề mặt của chúng.

Ứng dụng thực tế#

  • Thực tế tăng cường: ARKit của Apple dựng mesh căn phòng theo thời gian thực trên iPhone và iPad có LiDAR, giúp vật thể ảo nằm trên sàn và khuất sau đồ đạc.
  • Kiểm tra trong sản xuất: Bản quét các chi tiết hoàn thiện được so sánh với model CAD để đo sai lệch; những bản quét tương tự cũng giúp cập nhật digital twin của dây chuyền sản xuất.
  • Robot học: Robot tái tạo các vật thể cần gắp và không gian cần di chuyển qua bằng camera đo độ sâu tích hợp.
  • Di sản văn hóa và lập bản đồ: Đo ảnh giúp số hóa công trình, địa điểm khai quật và toàn bộ thành phố. Dự án Building Rome in a Day năm 2009 tái tạo các địa danh ở Rome từ 150.000 ảnh Flickr trong 21 giờ trên cụm 496 lõi xử lý.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning