3D Reconstruction

Tái tạo 3D là quá trình tạo ra một bản thể kỹ thuật số ba chiều của một đối tượng hoặc môi trường từ các phép đo thị giác hoặc chiều sâu. Trong computer vision, quá trình này chuyển đổi các quan sát như ảnh chụp, khung hình video, ảnh stereo hoặc quét LiDAR thành hình học mô tả vị trí tồn tại của các bề mặt trong không gian 3D. Kết quả có thể là một tập hợp thưa thớt các điểm mốc, một đám mây điểm dày đặc, một lưới đa giác hoặc một model có kết cấu có thể được đo lường, kết xuất và phân tích.

Cách thức hoạt động của Tái tạo 3D#

Một pipeline tái tạo điển hình kết hợp hình học, xử lý ảnh và machine learning:

1. Thu nhận: Camera hoặc cảm biến chiều sâu quan sát đối tượng từ một hoặc nhiều góc nhìn. Nhiều hình ảnh nên chồng lên nhau để các bề mặt giống nhau xuất hiện trong vài khung hình.
2. Hiệu chuẩn: Hệ thống ước tính các thông số nội tại của camera, chẳng hạn như tiêu cự và tâm quang học, đồng thời khắc phục hiện tượng méo ống kính. OpenCV camera calibration tutorial chính thức giải thích các thông số này.
3. Tương ứng: Các pixel đặc trưng hoặc các tính năng đã học được khớp với nhau qua các hình ảnh. Sự tương ứng cho biết hai pixel mô tả cùng một điểm vật lý.
4. Ước tính tư thế camera: Vị trí tương đối và hướng của mỗi camera được khôi phục.
5. Khôi phục chiều sâu: Với hình học camera đã biết, các quan sát khớp có thể được tam giác hóa thành tọa độ 3D. Các công cụ dựa trên hình ảnh thường sử dụng structure-from-motion and multi-view stereo workflow, trong khi các hệ thống RGB-D thu được chiều sâu trực tiếp hoặc ước tính nó.
6. Đăng ký và hợp nhất: Các đám mây điểm một phần được chuyển đổi thành hệ thống tọa độ chung. Open3D point-cloud registration minh họa cách các lần quét chồng chéo có thể được căn chỉnh.
7. Tạo bề mặt: Các điểm có thể được kết nối hoặc lắp ráp thành lưới tam giác bằng cách sử dụng surface reconstruction process, sau đó là ánh xạ kết cấu và làm sạch. (docs.opencv.org)

Các biểu diễn và khái niệm liên quan#

Một point cloud lưu trữ các điểm 3D riêng lẻ, thường có giá trị màu sắc hoặc độ tin cậy. Một mesh kết nối các đỉnh với các cạnh và các mặt tam giác, tạo ra các bề mặt liên tục. Một voxel grid chia không gian thành các ô 3D nhỏ, trong khi một biểu diễn ngầm mã hóa hình học bên trong một hàm đã học.

Tái tạo 3D chồng chéo với một số khái niệm liên quan nhưng có mục tiêu khác:

• Depth estimation dự đoán khoảng cách từ camera cho các pixel hình ảnh. Bản đồ chiều sâu thường là đầu vào cho quá trình tái tạo, nhưng một bản đồ không tự động cung cấp một model hoàn chỉnh của các bề mặt bị ẩn.
• Stereo vision suy ra chiều sâu từ hai camera có khoảng cách đã biết. Quá trình tái tạo có thể sử dụng chiều sâu stereo nhưng cũng có thể sử dụng nhiều camera, video hoặc cảm biến chủ động.
• Visual SLAM ước tính chuyển động của camera trong khi xây dựng bản đồ, thường là để điều hướng thời gian thực. Quá trình tái tạo thường ưu tiên chất lượng và tính hoàn chỉnh của hình học kết quả.
• Neural radiance fields và Gaussian splatting biểu diễn các cảnh để kết xuất chân thực quang học và các góc nhìn mới. Đầu ra của chúng không nhất thiết phải là một mesh rõ ràng, sẵn sàng đo lường.
• 3D object detection định vị và phân loại các đối tượng trong không gian 3D thay vì tái tạo lại tất cả các bề mặt có thể nhìn thấy.

Các ứng dụng trong thực tế#

• Kiểm tra và sản xuất bằng robot: Một robot có thể tái tạo một thành phần từ hình ảnh RGB-D, so sánh hình học của nó với thiết kế dự kiến và xác định vết lõm, thiếu vật liệu hoặc lắp ráp không chính xác. model kết quả cũng có thể cập nhật manufacturing digital twin, hỗ trợ đo lường, mô phỏng, lập kế hoạch bảo trì và kiểm soát chất lượng.

• Thực tế tăng cường và bản đồ trong nhà: Thiết bị di động có thể tái tạo tường, sàn, đồ nội thất và các bề mặt khác để nội dung ảo tương tác chính xác với phòng vật lý. Ví dụ: ARKit scene reconstruction tạo ra các lưới đa giác hỗ trợ hiện tượng che khuất thực tế, va chạm và vị trí đối tượng. Các model sau đó có thể được phân phối ở các định dạng như glTF 3D asset format chuẩn hóa. (nist.gov)

Ước tính chiều sâu với Ultralytics YOLO#

Ultralytics YOLO26 depth estimation có thể cung cấp bản đồ chiều sâu thước đo dày đặc từ một hình ảnh RGB. Đây là một thành phần hữu ích cho bản đồ RGB-D, hình học chướng ngại vật và tạo point cloud khi không có sẵn cảm biến chiều sâu chuyên dụng.

from ultralytics import YOLO

# Load a pretrained monocular depth model.
model = YOLO("yolo26n-depth.pt")

# Estimate per-pixel depth from one RGB image.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Save the depth visualization.
result.save(filename="depth_result.jpg")

Workflow này tạo ra chiều sâu được căn chỉnh với hình ảnh; nó không tự tái tạo một cảnh 3D hoàn chỉnh. Một pipeline đầy đủ cũng cần các thông số camera đã được hiệu chuẩn và đối với nhiều khung hình, các tư thế camera đáng tin cậy. Open3D RGB-D image workflow cho thấy cách màu sắc, chiều sâu và thông số nội tại của camera được căn chỉnh có thể tạo ra một point cloud. Các nhóm phát triển các thành phần thị giác tùy chỉnh có thể sử dụng Ultralytics Platform để chú thích tập dữ liệu, train model, deploy chúng và giám sát inference trong môi trường production.

Thách thức thực tế và Hướng dẫn#

Chất lượng tái tạo phụ thuộc rất nhiều vào điều kiện thu nhận. Sử dụng các góc nhìn trùng lặp cao, di chuyển xung quanh đối tượng thay vì chỉ xoay camera và giữ ánh sáng tương đối đồng đều. Các bức tường không có kết cấu, các đối tượng trong suốt hoặc phản chiếu, mờ chuyển động, hiện tượng che khuất và ánh sáng thay đổi có thể làm hỏng việc khớp tính năng hoặc tạo ra các lỗ hổng và bề mặt trùng lặp.

Lỗi hiệu chuẩn làm biến dạng tỷ lệ và hình dạng, trongขณะที่ các tư thế camera không chính xác khiến các lần quét trôi dạt ra xa nhau. Các đầu vào đơn mắt cũng có tỷ lệ vốn có và sự mơ hồ về bề mặt bị ẩn: một hình ảnh không thể tiết lộ mặt sau của một đối tượng mà không có các giả định đã học. Xác thực các bản tái tạo bằng cách sử dụng các kích thước đã biết, lỗi chiếu lại, độ chồng chéo quét và dung sai dành riêng cho ứng dụng thay vì chỉ đánh giá ngoại hình.