Depth Estimation

Ước tính độ sâu là tác vụ thị giác máy tính dự đoán khoảng cách từ camera đến bề mặt mà mỗi pixel thể hiện trong ảnh. Đầu ra là một bản đồ độ sâu, một lưới khoảng cách có kích thước bằng ảnh, bổ sung chiều thứ ba mà ảnh phẳng còn thiếu. Bản đồ này cung cấp cho robot, phương tiện và thiết bị thực tế tăng cường bố cục 3D của cảnh từ các camera thông thường.

Các cách thu được độ sâu#

• Thị giác stereo: Hai camera đã hiệu chuẩn, cách nhau một khoảng cơ sở đã biết, nhìn thấy mỗi điểm ở các vị trí ngang hơi khác nhau. Độ dịch chuyển đó, gọi là độ lệch thị sai, cho biết độ sâu theo công thức tiêu cự × khoảng cách cơ sở ÷ độ lệch thị sai; vì vậy, vật ở xa với độ lệch thị sai nhỏ được đo kém chính xác hơn, còn các bề mặt không có kết cấu như tường trắng thì khó ghép khớp giữa hai ảnh.
• LiDAR và các cảm biến chủ động khác: LiDAR đo thời gian phản hồi của xung laser và cung cấp các điểm thưa nhưng chính xác ở khoảng cách xa; camera đo thời gian bay và ánh sáng có cấu trúc cung cấp bản đồ độ sâu dày đặc ở cự ly gần, chủ yếu trong nhà. Các cảm biến này cũng tạo ra ground truth để huấn luyện model học.
• Ước tính độ sâu đơn ảnh: Mạng nơ-ron dự đoán độ sâu từ một ảnh duy nhất, dựa vào các dấu hiệu như phối cảnh, kích thước đã biết của các vật thể quen thuộc, gradient kết cấu và hiện tượng che khuất. Bài toán này không xác định tốt, vì một chiếc xe đồ chơi ở gần và một chiếc ô tô thật ở xa có thể tạo ra cùng một ảnh, nên model dựa vào những gì đã học về các cảnh thường gặp.
• SLAM thị giác và các phương pháp đa góc nhìn khác: Tái tạo cấu trúc từ chuyển động và SLAM thị giác khôi phục độ sâu bằng cách tam giác hóa các điểm qua những khung hình được ghi từ các vị trí khác nhau.

Ước tính độ sâu đơn ảnh bằng Deep Learning#

Các model độ sâu học được gồm hai loại. Model độ sâu tương đối dự đoán thứ tự và hình dạng của các bề mặt theo tỷ lệ và độ dịch chuyển chưa biết; mức độ này đủ cho các hiệu ứng như làm mờ hậu cảnh và xếp hạng vật thể theo khoảng cách. MiDaS giúp phương pháp này hoạt động trên nhiều cảnh rất khác nhau bằng cách huấn luyện với hàm mất mát bất biến theo tỷ lệ và độ dịch chuyển trên tập hợp nhiều dataset, bao gồm phim 3D; Depth Anything V2 huấn luyện các model có từ 25 triệu đến 1.3 tỷ tham số trên nhãn tổng hợp và các tập lớn ảnh thật gán nhãn giả. Model độ sâu theo đơn vị đo dự đoán khoảng cách bằng mét, cần thiết cho robot và công cụ đo lường: Depth Pro của Apple tạo bản đồ độ sâu theo đơn vị đo có độ phân giải 2.25 megapixel trong 0.3 giây trên một GPU phổ thông mà không cần thông số nội tại của camera.

Các model độ sâu YOLO26 của Ultralytics dự đoán độ sâu theo đơn vị đo từ một ảnh bằng một head độ sâu log có đầu ra trải dài từ khoảng 0.02 đến 150 mét, nhờ đó cùng một model có thể xử lý cả căn phòng sâu vài mét lẫn cảnh giao thông xa tới 80 mét. Chỉ cần vài dòng là có thể tải model, dự đoán và lưu kết quả:

from ultralytics import YOLO

# Load a YOLO26 monocular depth model
model = YOLO("yolo26n-depth.pt")

# Predict a depth map for one image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Per-pixel depth in meters, at the original image's resolution
depth = result.depth.data
print(f"Nearest {depth.min():.1f} m, farthest {depth.max():.1f} m")

# Save a colorized depth map blended over the photo
result.save(filename="depth_result.jpg")

Dải giá trị được in ra cho biết các bề mặt gần nhất và xa nhất mà model nhìn thấy trong cảnh đường phố; ảnh đã lưu tô màu mỗi pixel theo khoảng cách được dự đoán.

Đo độ chính xác#

Model độ sâu được chấm điểm theo từng pixel so với ground truth từ cảm biến. Sai số tương đối tuyệt đối (AbsRel) tính trung bình sai số dưới dạng tỷ lệ so với độ sâu thực, sai số căn bậc hai trung bình (RMSE) báo cáo sai số theo mét, còn δ₁ là tỷ lệ pixel có dự đoán nằm trong hệ số 1.25 so với giá trị thực. Các benchmark tiêu chuẩn gồm NYU Depth V2, các cảnh trong nhà được ghi bằng cảm biến Kinect, và KITTI, các cảnh lái xe có ground truth từ LiDAR, thường được chấm điểm đến 80 mét. Dự đoán độ sâu tương đối được căn chỉnh theo tỷ lệ và độ dịch chuyển với ground truth trước khi chấm điểm, nên các con số chỉ đo hình dạng. Điểm trung bình trên tất cả pixel cũng che khuất hiện tượng rò độ sâu, trong đó độ sâu dự đoán bị nhòe qua ranh giới vật thể; vì vậy Depth Pro đã đưa ra các metric riêng để đo độ chính xác tại ranh giới.

Ước tính độ sâu và các tác vụ liên quan#

• Phát hiện vật thể 3D: Dự đoán một hộp 3D gồm vị trí, kích thước và hướng cho mỗi vật thể, thường sử dụng độ sâu làm đầu vào.
• Phân đoạn ngữ nghĩa: Gán nhãn lớp cho từng pixel; khi kết hợp với bản đồ độ sâu, tác vụ này cho robot biết cả mỗi bề mặt là gì lẫn bề mặt đó cách bao xa.
• Tái tạo 3D: Tạo lưới 3D hoặc đám mây điểm hoàn chỉnh của một cảnh, thường bằng cách hợp nhất độ sâu từ nhiều góc nhìn.

Ứng dụng thực tế#

• Hỗ trợ lái xe và lái xe tự động: Ước tính độ sâu dựa trên camera bổ sung ước tính khoảng cách cho ô tô và người đi bộ được phát hiện, bên cạnh hoặc thay cho LiDAR.
• Robot học: Tác vụ gắp vật và điều hướng cần biết khoảng cách đến từng bề mặt; độ sâu từ một camera RGB duy nhất giúp tránh phải lắp thêm cảm biến trên robot nhỏ.
• Thực tế tăng cường: Bản đồ độ sâu giúp vật thể ảo được che khuất chính xác phía sau vật thể thật và được đặt lên các bề mặt thật.
• Nhiếp ảnh: Chế độ chân dung trên điện thoại làm mờ hậu cảnh bằng độ sâu lấy từ camera kép, cảm biến dual-pixel hoặc model đơn ảnh; mức độ mờ được thiết lập theo khoảng cách ước tính của từng pixel.