Depth Bleeding

Rò độ sâu là một artifact trong bản đồ độ sâu, trong đó khoảng cách được ước tính lan truyền sai qua ranh giới giữa hai bề mặt. Ví dụ, các pixel thuộc về một người ở gần có thể nhận độ sâu của một bức tường ở xa, hoặc độ sâu của người đó có thể lan vào phần nền. Điều này ảnh hưởng đến ước tính độ sâu, trong đó mỗi pixel phải mô tả khoảng cách từ camera đến bề mặt hiển thị tương ứng.

Artifact này dễ nhận thấy nhất tại các gián đoạn độ sâu—những vị trí mà một object che khuất một object khác ở khoảng cách chênh lệch đáng kể. Thay vì giữ được chuyển tiếp sắc nét, bản đồ độ sâu tạo ra một cạnh bị lệch, một dải gồm các giá trị pha trộn, hoặc một hình dạng tiền cảnh có vẻ rộng hơn hay hẹp hơn thực tế.

Rò độ sâu xảy ra như thế nào#

Rò độ sâu có thể ảnh hưởng đến các bản đồ độ sâu được tạo bởi neural network, thị giác stereo, camera structured-light, cảm biến time-of-flight và các hệ thống dựa trên LiDAR. Các nguyên nhân phổ biến gồm:

• Dự đoán độ sâu ở độ phân giải thấp, sau đó nội suy thông thường
• Làm mượt theo không gian, khiến các cấu trúc mảnh và cạnh sắc bị loại bỏ
• Các loss trong quá trình training bị chi phối bởi những vùng lớn, đồng nhất thay vì các ranh giới hẹp
• Sự tương ứng stereo không rõ ràng quanh các vùng bị che khuất hoặc các bề mặt không có texture
• Sự lệch căn chỉnh giữa ảnh RGB và nhãn độ sâu ground truth
• Các phép đo của sensor kết hợp tín hiệu phản hồi từ tiền cảnh và hậu cảnh

Đối với các hệ thống stereo, các cửa sổ matching có thể bao phủ các pixel ở cả hai phía của ranh giới object. Hướng dẫn hậu lọc disparity của OpenCV giải thích rằng lỗi thường tập trung gần các gián đoạn độ sâu và những vùng bị che khuất một phần.

Upsampling có thể gây ra vấn đề tương tự. Một pixel độ sâu ở độ phân giải thấp có thể biểu diễn nhiều bề mặt, trong khi phép nội suy bilinear đơn giản sẽ trộn giá trị của nó với các pixel lân cận. Bộ lọc nhận biết cạnh hoặc guided filtering có thể giảm hiệu ứng này, mặc dù các cạnh màu không phải lúc nào cũng là cạnh độ sâu thực sự. Workflow point-cloud của ARKit của Apple minh họa việc phóng lớn có hướng dẫn cho bản đồ độ sâu cảnh ở độ phân giải thấp hơn.

Các thuật ngữ liên quan và điểm khác biệt chính#

Rò độ sâu có điểm giao với một số vấn đề khác về chất lượng độ sâu, nhưng mỗi vấn đề mô tả một kiểu lỗi khác nhau:

• Mờ ranh giới: Một chuyển tiếp sắc nét trở nên dần dần. Rò độ sâu cụ thể là khi một giá trị sai lan sang một bề mặt khác; ranh giới bị mờ có thể có hoặc không làm thay đổi rõ rệt hình dạng biểu kiến của object.
• Flying pixels: Các điểm 3D cô lập, không ổn định xuất hiện quanh đường viền, thường do phép đo của sensor trộn lẫn hai bề mặt. Rò độ sâu thường tạo thành một vùng hoặc dải liên tục hơn.
• Nhầm lẫn độ sâu: Các giá trị độ sâu từ những object riêng biệt chồng lấn hoặc trở nên khó phân biệt, trong khi rò độ sâu nhấn mạnh việc giá trị của một bề mặt lan sang bề mặt khác.
• Sao chép texture: Texture RGB bị tái tạo sai dưới dạng chi tiết hình học khi quá trình tinh chỉnh độ sâu có hướng dẫn bằng màu sắc coi mọi cạnh trong ảnh là một cạnh độ sâu.
• Rò rỉ dữ liệu: Một vấn đề riêng biệt trong machine learning, trong đó quá trình training sử dụng sai thông tin vốn không khả dụng khi inference trong thế giới thực.

Rò độ sâu cũng có thể ảnh hưởng đến các bản đồ disparity. Tài liệu về độ sâu và disparity của Apple giải thích cách sử dụng sự tương ứng stereo và parallax để suy ra khoảng cách tương đối.

Tác động trong thế giới thực#

• Gắp bằng robot: Một robot trong kho có thể sử dụng độ sâu để xác định cạnh của thùng hàng và chọn điểm gắp. Nếu độ sâu của kệ phía sau bị rò vào thùng, hình dạng được tái dựng có thể trông như bị lõm hoặc quá hẹp, dẫn đến việc đặt điểm gắp không chính xác. Điều này đặc biệt quan trọng đối với thị giác máy tính trong robotics, nơi các sai số hình học nhỏ có thể ảnh hưởng đến hành động vật lý.

• Lái xe tự hành: Rò độ sâu quanh người đi bộ, người đi xe đạp hoặc phương tiện có thể làm sai lệch khoảng cách đến chướng ngại vật và hình dạng của point cloud được tạo ra. Khi đó, phát hiện object 3D ở các bước downstream có thể ước tính sai kích thước hoặc vị trí. Benchmark thị giác KITTI cung cấp các cảnh lái xe thực tế cùng dữ liệu từ camera và sensor liên quan đến độ sâu để đánh giá các hệ thống như vậy.

Rò độ sâu cũng quan trọng trong augmented reality. Các ranh giới không chính xác có thể khiến một object ảo xuất hiện phía trước đồ nội thất thật, trong khi lẽ ra nó phải bị che khuất phía sau. Vì vậy, độ tin cậy của sensor rất hữu ích: bản đồ độ tin cậy độ sâu ARKit của Apple gán thông tin độ tin cậy cho các phép đo độ sâu, đặc biệt quanh những bề mặt phản chiếu hoặc hấp thụ ánh sáng khó xử lý.

Kiểm tra các dự đoán độ sâu#

Tác vụ ước tính độ sâu YOLO của Ultralytics tạo ra một bản đồ độ sâu dày đặc được căn chỉnh với ảnh đầu vào. Một workflow dự đoán ngắn giúp dễ dàng kiểm tra trực quan các ranh giới giữa tiền cảnh và hậu cảnh:

from ultralytics import YOLO

# Load a pretrained Ultralytics YOLO26 depth model
model = YOLO("yolo26n-depth.pt")

# Predict, select the first result, and save its visualization
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

result.save(filename="depth_result.jpg")

Workflow YOLO26 này lưu một kết quả trực quan có thể được kiểm tra để phát hiện quầng sáng, đường viền phình to, khoảng trống bị mất và các cạnh bị làm mềm. Để testing toàn diện hơn, hướng dẫn dataset độ sâu của Ultralytics giải thích định dạng RGB ghép cặp và độ sâu theo từng pixel, trong khi đánh giá độ sâu iBims-1 tập trung cụ thể vào các chuyển tiếp sắc nét và bề mặt phẳng. Benchmark iBims-1 chính thức đặc biệt hữu ích vì lỗi trung bình trên toàn ảnh có thể che giấu các lỗi ở ranh giới hẹp nhưng có ý nghĩa quan trọng trong vận hành.

Phát hiện và giảm thiểu#

Biện pháp giảm thiểu hiệu quả bắt đầu từ các nhãn độ sâu có độ phân giải cao và được căn chỉnh cẩn thận. Các phương pháp hữu ích gồm loss nhận biết cạnh, đặc trưng đa tỉ lệ, tinh chỉnh có hướng dẫn bằng segmentation, lọc theo độ tin cậy và validation trên các object mảnh cũng như những chuyển tiếp mạnh giữa tiền cảnh và hậu cảnh. Khi có thông tin về độ tin cậy của sensor, các pixel ranh giới có độ tin cậy thấp có thể bị loại bỏ hoặc được xử lý riêng thay vì làm mượt một cách mù quáng. Tuy nhiên, cần đánh giá cẩn thận việc filtering, vì hướng dẫn về dữ liệu độ sâu đã lọc của Apple lưu ý rằng làm mượt và lấp đầy lỗ hổng sẽ thay đổi các phép đo ban đầu.

Các team nên so sánh các cạnh RGB với các gián đoạn độ sâu, kiểm tra point cloud được tái dựng và theo dõi các cảnh production có nhiều ranh giới, thay vì chỉ dựa vào các metric pixel trung bình. Workflow validation của Ultralytics hỗ trợ đánh giá model một cách có hệ thống, trong khi Ultralytics Platform cung cấp các công cụ để quản lý dataset, training model, triển khai workflow và giám sát các hệ thống thị giác máy tính.