3D Reconstruction

Tái tạo 3D là quá trình tạo biểu diễn kỹ thuật số ba chiều của một vật thể hoặc môi trường từ các phép đo hình ảnh hoặc độ sâu. Trong thị giác máy tính, quá trình này chuyển đổi các quan sát như ảnh chụp, khung hình video, ảnh stereo hoặc bản quét LiDAR thành hình học mô tả vị trí các bề mặt trong không gian 3D. Kết quả có thể là tập điểm mốc thưa, đám mây điểm dày đặc, lưới đa giác hoặc model có kết cấu để đo đạc, kết xuất và phân tích.

Tái tạo 3D hoạt động như thế nào#

Một quy trình tái tạo điển hình kết hợp hình học, xử lý ảnh và machine learning:

1. Thu thập dữ liệu: Camera hoặc cảm biến độ sâu quan sát đối tượng từ một hay nhiều góc nhìn. Các ảnh cần có vùng chồng lấp để cùng một bề mặt xuất hiện trong nhiều khung hình.
2. Hiệu chuẩn: Hệ thống ước tính các thông số nội tại của camera, chẳng hạn tiêu cự và tâm quang học, đồng thời hiệu chỉnh méo ống kính. Hướng dẫn hiệu chuẩn camera chính thức của OpenCV giải thích các thông số này.
3. Tìm điểm tương ứng: Các pixel đặc trưng hoặc feature được học sẽ được đối sánh giữa các ảnh. Một điểm tương ứng cho biết hai pixel thể hiện cùng một điểm vật lý.
4. Ước tính pose camera: Khôi phục vị trí và hướng tương đối của từng camera.
5. Khôi phục độ sâu: Khi đã biết hình học camera, có thể dùng các quan sát đã đối sánh để tính tam giác và thu được tọa độ 3D. Các công cụ dựa trên ảnh thường dùng quy trình structure-from-motion và stereo đa góc nhìn, còn hệ thống RGB-D thu nhận độ sâu trực tiếp hoặc ước tính độ sâu.
6. Đăng ký và hợp nhất: Chuyển đổi các đám mây điểm từng phần sang cùng một hệ tọa độ. Đăng ký đám mây điểm bằng Open3D minh họa cách căn chỉnh các bản quét chồng lấp.
7. Tạo bề mặt: Có thể kết nối các điểm hoặc khớp chúng thành lưới tam giác bằng quy trình tái tạo bề mặt, sau đó lập bản đồ kết cấu và tinh chỉnh. (docs.opencv.org)

Biểu diễn và các khái niệm liên quan#

Đám mây điểm lưu trữ các điểm 3D riêng lẻ, thường kèm giá trị màu hoặc độ tin cậy. Lưới kết nối các đỉnh bằng cạnh và mặt tam giác để tạo bề mặt liên tục. Lưới voxel chia không gian thành các ô 3D nhỏ, còn biểu diễn ẩn mã hóa hình học bên trong một hàm được học.

Tái tạo 3D có điểm giao thoa với một số khái niệm liên quan nhưng mục tiêu khác biệt:

• Ước tính độ sâu dự đoán khoảng cách từ camera đến các pixel trong ảnh. Bản đồ độ sâu thường là đầu vào cho quá trình tái tạo, nhưng một bản đồ đơn lẻ không tự động cung cấp model hoàn chỉnh về các bề mặt bị che khuất.
• Thị giác stereo suy ra độ sâu từ hai camera có khoảng cách đã biết. Tái tạo có thể sử dụng độ sâu stereo, nhưng cũng có thể dùng nhiều camera, video hoặc cảm biến chủ động.
• Visual SLAM ước tính chuyển động của camera trong khi xây dựng bản đồ, thường phục vụ điều hướng thời gian thực. Tái tạo thường ưu tiên chất lượng và mức độ đầy đủ của hình học thu được.
• Neural radiance field và Gaussian splatting biểu diễn cảnh để kết xuất ảnh chân thực và tạo góc nhìn mới. Đầu ra của chúng không nhất thiết là lưới tường minh, sẵn sàng cho đo đạc.
• Phát hiện vật thể 3D xác định vị trí và phân loại vật thể trong không gian 3D thay vì tái tạo toàn bộ bề mặt nhìn thấy.

Ứng dụng thực tế#

• Kiểm tra robot và sản xuất: Robot có thể tái tạo một linh kiện từ ảnh RGB-D, so sánh hình học với thiết kế dự kiến và xác định vết lõm, phần vật liệu bị thiếu hoặc lắp ráp sai. Model thu được cũng có thể cập nhật bản sao số trong sản xuất, hỗ trợ đo đạc, mô phỏng, lập kế hoạch bảo trì và kiểm soát chất lượng.

• Thực tế tăng cường và lập bản đồ trong nhà: Thiết bị di động có thể tái tạo tường, sàn, đồ nội thất và các bề mặt khác để nội dung ảo tương tác chính xác với căn phòng thực. Ví dụ, tái tạo cảnh bằng ARKit tạo lưới đa giác hỗ trợ che khuất, va chạm và đặt vật thể chân thực. Sau đó, có thể xuất model theo các định dạng như định dạng tài sản 3D tiêu chuẩn hóa glTF. (nist.gov)

Ước tính độ sâu với Ultralytics YOLO#

Ước tính độ sâu của Ultralytics YOLO26 có thể tạo bản đồ độ sâu metric dày đặc từ một ảnh RGB. Đây là thành phần hữu ích cho lập bản đồ RGB-D, hình học chướng ngại vật và tạo đám mây điểm khi không có cảm biến độ sâu chuyên dụng.

from ultralytics import YOLO

# Tải model độ sâu đơn ảnh đã được huấn luyện trước.
model = YOLO("yolo26n-depth.pt")

# Ước tính độ sâu của từng pixel từ một ảnh RGB.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Lưu ảnh trực quan hóa độ sâu.
result.save(filename="depth_result.jpg")

Quy trình này tạo độ sâu được căn chỉnh với ảnh; bản thân quy trình không tái tạo độc lập một cảnh 3D hoàn chỉnh. Một pipeline đầy đủ cũng cần các thông số camera đã hiệu chuẩn và, với nhiều khung hình, pose camera đáng tin cậy. Quy trình ảnh RGB-D của Open3D minh họa cách dùng màu, độ sâu và thông số nội tại camera đã căn chỉnh để tạo đám mây điểm. Các nhóm phát triển thành phần thị giác tùy chỉnh có thể dùng Ultralytics Platform để gán nhãn bộ dữ liệu, huấn luyện model, triển khai và giám sát suy luận production.

Thách thức thực tế và hướng dẫn#

Chất lượng tái tạo phụ thuộc nhiều vào điều kiện thu thập dữ liệu. Hãy sử dụng các góc nhìn chồng lấp nhiều, di chuyển quanh đối tượng thay vì chỉ xoay camera và duy trì ánh sáng tương đối ổn định. Tường không có kết cấu, vật thể trong suốt hoặc phản chiếu, nhòe chuyển động, hiện tượng che khuất và ánh sáng thay đổi có thể làm hỏng việc đối sánh feature hoặc tạo ra lỗ hổng và bề mặt bị nhân đôi.

Lỗi hiệu chuẩn làm biến dạng tỷ lệ và hình dạng, còn pose camera không chính xác khiến các bản quét lệch nhau. Đầu vào đơn ảnh cũng có hạn chế cố hữu về tỷ lệ và sự mơ hồ của bề mặt khuất: một ảnh không thể cho thấy mặt sau của vật thể nếu không dựa vào giả định đã học. Hãy xác thực kết quả tái tạo bằng kích thước đã biết, lỗi chiếu lại, mức độ chồng lấp giữa các bản quét và dung sai riêng của ứng dụng, thay vì chỉ đánh giá bằng mắt.