Các model ước tính độ sâu tốt nhất: Cách chọn

Việc chọn model ước tính độ sâu phụ thuộc vào ba yếu tố: bạn cần khoảng cách tính bằng mét hay chỉ cần độ sâu tương đối, model sẽ chạy ở đâu và giấy phép có cho phép mục đích sử dụng của bạn hay không. Với độ sâu tương đối và nghiên cứu, Depth Anything và Marigold là những model mạnh nên đánh giá trước tiên. Để ước tính độ sâu theo đơn vị thực từ camera chưa biết, hãy xem xét Depth Pro và UniDepth; nếu biết tiêu cự camera, Metric3D v2 và Depth Anything 3 Metric cũng là những lựa chọn phù hợp. Với phần cứng edge, hãy đưa Depth Anything V2 Small cùng các model MiDaS v3.1 Swin2-Tiny và LeViT vào danh sách rút gọn, sau đó đo độ trễ trên thiết bị của bạn. Để có độ sâu với độ trễ thấp trên GPU NVIDIA cùng các tác vụ Ultralytics YOLO khác, hãy đánh giá thêm Ultralytics YOLO26 depth. Hướng dẫn này so sánh chín model ước tính độ sâu đơn ảnh và đưa ra lộ trình giúp bạn chọn model.

Nếu bạn mới làm quen với tác vụ này, hãy bắt đầu bằng cách tìm hiểu ước tính độ sâu đơn ảnh là gì. Trang này tập trung vào việc chọn model.

Độ sâu tương đối hay độ sâu theo đơn vị thực: hãy quyết định điều này trước#

• Độ sâu tương đối cho biết pixel nào gần hơn hoặc xa hơn, nhưng không xác định được tỷ lệ thực. Mức độ này đủ dùng để hiểu cảnh, tạo hiệu ứng nền và xếp hạng đối tượng theo khoảng cách.
• Độ sâu theo đơn vị thực cung cấp khoảng cách tính bằng mét. Bạn cần loại độ sâu này để đo lường, lập kế hoạch chuyển động cho robot hoặc hợp nhất độ sâu với dữ liệu từ các cảm biến khác.

Các model độ sâu theo đơn vị thực đạt được tỷ lệ thực theo những cách khác nhau. Một số tự ước tính tiêu cự camera, một số cần bạn cung cấp tiêu cự, còn một số sử dụng tỷ lệ cố định mà bạn hiệu chuẩn cho camera của mình. Trong thực tế, cách model xác định tỷ lệ có thể quan trọng hơn vài điểm chênh lệch về độ chính xác trên benchmark. Để tìm hiểu thêm về hai loại này, hãy xem mục thuật ngữ ước tính độ sâu.

Hình 1. Cùng một ảnh nhà máy được xử lý bằng Depth Anything V2 Small, dự đoán độ sâu tương đối (gần hơn hoặc xa hơn, không có đơn vị), và Ultralytics YOLO26s-depth, dự đoán khoảng cách tính bằng mét: khoảng 1.5 m đến thùng linh kiện, 4.1 m đến kỹ sư và 13.8 m đến những cánh cửa ở phía xa. Ảnh được tạo cho bài viết này; cả hai bản đồ độ sâu đều là đầu ra thực tế của model. Các khoảng cách là dự đoán từ checkpoint đã phát hành, chưa được hiệu chuẩn cho camera này, không phải số đo.

So sánh các model ước tính độ sâu#

Các model được liệt kê theo thứ tự bảng chữ cái, không phải thứ hạng. Chúng tôi không đưa ra số liệu độ chính xác giữa các model vì mỗi bài báo sử dụng quy trình benchmark riêng, khiến kết quả không thể so sánh trực tiếp. Giấy phép được kiểm tra vào tháng 10 năm 2026 và áp dụng riêng cho từng checkpoint.

Cách chọn model ước lượng độ sâu#

Hãy lần lượt trả lời các câu hỏi sau:

1. Bạn có cần kết quả theo mét không? Nếu không, hãy bắt đầu với Depth Anything V2 hoặc Depth Anything 3, hoặc MiDaS nếu bạn muốn giấy phép MIT.
2. Bạn có biết thông số nội tại của camera không? Nếu không, hãy chọn model có thể ước lượng các thông số này: Depth Pro hoặc UniDepth. Nếu có, Metric3D v2 và Depth Anything 3 Metric có thể sử dụng chúng.
3. Model sẽ chạy ở đâu? Nếu độ trễ phía server không phải ràng buộc, các foundation model lớn sẽ phù hợp. Để ước lượng độ sâu độ trễ thấp trên GPU NVIDIA cùng các tác vụ YOLO khác, hãy cân nhắc Ultralytics YOLO26 depth và đo hiệu năng trên thiết bị edge của bạn, chẳng hạn như NVIDIA Jetson. Các lựa chọn khác gồm Depth Anything V2 Small, các model MiDaS v3.1 Swin2-Tiny và LeViT. Độ trễ CPU phụ thuộc vào bộ xử lý, runtime, độ phân giải đầu vào và model. Hãy benchmark chính xác cấu hình của bạn; Fig 3 đưa ra một ví dụ với các model Ultralytics YOLO26 depth cỡ nhỏ. Xem phần edge bên dưới.
4. Bạn có thể sử dụng giấy phép không? Kiểm tra chính xác checkpoint. Một số dòng model kết hợp các model nhỏ theo Apache 2.0 với các model lớn phi thương mại.
5. Bạn có thể hiệu chuẩn hoặc fine-tune không? Nếu bạn có thể thu thập khoảng 50 đến 150 ảnh được gán nhãn từ camera của mình, với một vài điểm đo trên mỗi ảnh, hãy thử nghiệm model đã hiệu chuẩn hoặc fine-tune và model zero-shot trên các cảnh của riêng bạn. Trong các thử nghiệm của Ultralytics với YOLO26s-depth (150 ảnh mỗi camera, 5 điểm đo mỗi ảnh), cách hiệu chuẩn này đưa tỷ lệ về mức sai lệch khoảng 1% so với phép khớp ground truth đầy đủ, trong khi trước hiệu chuẩn sai lệch từ 4% đến 46%. Con số này đo mức độ khôi phục tỷ lệ, không phải độ chính xác tổng thể của độ sâu.

Sau đó, thử nghiệm hai hoặc ba lựa chọn trên ảnh từ camera của bạn, ở độ phân giải triển khai.

Fig 2. Khoảng cách dự đoán đến một số ô tô và người được phát hiện, kết hợp phát hiện bằng Ultralytics YOLO26x với Ultralytics YOLO26s-depth: 3.6 m đến ô tô đỗ gần nhất, 6.9 m đến ô tô bên phải và 7.0 m đến người được gán nhãn ở bên phải. Ảnh được tạo cho bài viết này; các bounding box và khoảng cách là đầu ra thực tế của model, chưa được hiệu chuẩn cho camera này. Đây là các dự đoán, không phải khoảng cách đo được.

Tìm hiểu chi tiết hơn về các model#

Liệt kê theo thứ tự bảng chữ cái.

Depth Anything 3#

Depth Anything 3 của ByteDance Seed mở rộng Depth Anything từ ảnh đơn sang số lượng khung nhìn bất kỳ. Các model chính ước lượng đồng thời độ sâu và tư thế camera; các biến thể chuyên biệt xử lý độ sâu tương đối đơn ảnh (DA3Mono-Large) và độ sâu metric đơn ảnh (DA3Metric-Large). Đầu ra: độ sâu tương đối từ các model chính và Mono; độ sâu metric khi cung cấp tiêu cự cho DA3Metric-Large, hoặc trực tiếp từ model Nested phi thương mại. Kích thước: từ 0.08B (Small) đến 1.15B (Giant), cùng model Nested 1.40B, theo thông tin trên model card của dự án. Giấy phép: Small, Base, Metric-Large và Mono-Large theo Apache 2.0; Large, Giant và Nested theo CC BY-NC 4.0. Phù hợp nhất với: cảnh đa góc nhìn và tái tạo 3D. Đánh đổi: các checkpoint mạnh nhất chỉ dành cho mục đích phi thương mại.

Depth Anything V2#

Depth Anything V2 là model mở được cung cấp rộng rãi để ước lượng độ sâu tương đối, cho kết quả ổn định trong nhiều cảnh trong nhà, ngoài trời và khác thường. Dự án cũng phát hành các checkpoint metric được fine-tune cho cảnh trong nhà (tối đa 20 m) và ngoài trời (tối đa 80 m). Kích thước: Small 24.8M, Base 97.5M, Large 335.3M. Giấy phép: Small theo Apache 2.0; Base và Large theo CC-BY-NC-4.0. Phù hợp nhất với: ước lượng độ sâu tương đối đa dụng. Đánh đổi: nếu cần sử dụng thương mại, bạn chỉ có thể dùng model Small; các checkpoint metric không thể dự đoán vượt quá độ sâu tối đa cố định của chúng.

Depth Pro#

Depth Pro của Apple dự đoán độ sâu metric từ một ảnh mà không cần thông số nội tại của camera, đồng thời tự ước lượng tiêu cự. Apple cho biết model tạo bản đồ độ sâu 2.25 megapixel trong 0.3 giây trên GPU tiêu chuẩn, với ranh giới sắc nét quanh các cấu trúc nhỏ. Giấy phép: giấy phép riêng của Apple áp dụng cho code và weights. Phù hợp nhất với: ước lượng độ sâu metric từ ảnh khi bạn không kiểm soát camera. Đánh đổi: đây là model cấp server, không phải model edge; bạn nên đọc giấy phép trước khi sử dụng thương mại.

Marigold#

Marigold tận dụng lại một model diffusion ảnh đã pretrain để ước lượng độ sâu, chỉ được huấn luyện trên dữ liệu tổng hợp. Model tạo ra độ sâu tương đối rất chi tiết. Giấy phép: code theo Apache 2.0, model theo RAIL++-M. Phù hợp nhất với: xử lý offline khi độ chi tiết quan trọng hơn tốc độ, chẳng hạn như tạo nội dung và tạo dataset. Đánh đổi: model hỗ trợ suy luận một bước; kết hợp nhiều model để tăng độ chính xác làm chi phí tăng theo, vì vậy hãy đo xem model có đáp ứng yêu cầu độ trễ hay không.

Metric3D v2#

Metric3D v2 dự đoán độ sâu metric và pháp tuyến bề mặt từ một ảnh, với các checkpoint ViT-Small, ViT-Large và ViT-giant2, bao gồm cả bản xuất ONNX. Giấy phép: code theo BSD-2-Clause; kiểm tra điều khoản của checkpoint bạn sử dụng. Phù hợp nhất với: các pipeline tái tạo 3D và robotics cũng cần pháp tuyến bề mặt. Đánh đổi: model ánh xạ ảnh sang camera chuẩn, vì vậy bạn cần tiêu cự chính xác để có tỷ lệ đúng.

MiDaS#

MiDaS của ISL thuộc Intel giúp việc ước lượng độ sâu tương đối ổn định trở nên khả thi bằng cách huấn luyện trên tập hợp nhiều dataset. Phiên bản 3.1 có các cấu hình từ model BEiT-Large cho chất lượng cao đến các model Swin2-Tiny và LeViT dành cho thiết bị nhúng, cùng model MiDaS v2.1 small cũ ở định dạng OpenVINO cho CPU Intel và các ví dụ trên thiết bị di động cho iOS và Android. Giấy phép: MIT. Phù hợp nhất với: baseline có giấy phép dễ dãi và tài liệu đầy đủ. Đánh đổi: model ra đời trước các foundation model mới hơn, và Intel đã lưu trữ repository nên model không còn nhận được bản sửa lỗi. Hãy so sánh model này với một model mới hơn trên ảnh của riêng bạn.

Ultralytics YOLO26 depth#

Ultralytics YOLO26 hỗ trợ ước lượng độ sâu (được công bố vào tháng 7 năm 2026) với năm kích thước từ 6.3M (n) đến 57.0M (x) tham số ở độ phân giải 768 pixel. Các model dự đoán độ sâu theo mét bằng head log-depth bao phủ khoảng 0.02 đến 150 mét, do đó một model có thể xử lý cả phòng trong nhà lẫn cảnh ngoài trời. Weights được phát hành có một tỷ lệ toàn cục duy nhất; để có độ sâu tuyệt đối chính xác cho một camera cụ thể, model.calibrate() khớp tỷ lệ trên khoảng 50 đến 150 ảnh được gán nhãn, chỉ cần một vài điểm đo mỗi ảnh và không cần huấn luyện lại. Trong benchmark TensorRT FP16 batch-1 của chúng tôi trên NVIDIA T4 với đầu vào khoảng 768 pixel, độ trễ chỉ tính suy luận (không gồm tiền xử lý và hậu xử lý) dao động từ 2.7 ms (n) đến 13.6 ms (x), và cả năm kích thước đều có độ trễ thấp hơn Depth Anything V2 Small. Đây là so sánh độ trễ, không phải đánh giá độ chính xác theo cùng một quy trình. Model có thể export sang ONNX, TensorRT, CoreML, OpenVINO và các định dạng khác, đồng thời train bằng cùng Python API và CLI như các tác vụ phát hiện, phân đoạn và pose. Giấy phép: AGPL-3.0 hoặc giấy phép Ultralytics Enterprise cho mục đích thương mại với mã nguồn đóng. Phù hợp nhất với: ước lượng độ sâu độ trễ thấp trên GPU NVIDIA cùng các tác vụ YOLO khác; hãy đo trên thiết bị edge của bạn. Đánh đổi: tỷ lệ tuyệt đối phụ thuộc vào việc hiệu chuẩn cho camera của bạn; độ chính xác của model cũng chưa được so sánh với các foundation model ở đây theo cùng một quy trình, vì vậy hãy thử nghiệm trên dữ liệu của riêng bạn.

UniDepth V2#

UniDepth dự đoán độ sâu metric và thông số nội tại của camera từ một ảnh RGB, đồng thời có thể sử dụng thông số nội tại đã biết nếu bạn có. Giấy phép: CC BY-NC 4.0. Phù hợp nhất với: nghiên cứu và nguyên mẫu cần độ sâu metric từ camera chưa biết. Đánh đổi: giấy phép không cho phép sử dụng thương mại.

ZoeDepth#

ZoeDepth kết hợp pretraining độ sâu tương đối với các head metric cho cảnh trong nhà (NYU) và ngoài trời (KITTI). Giấy phép: MIT. Phù hợp nhất với: model metric có giấy phép dễ dãi khi cảnh của bạn tương đồng với các miền huấn luyện trong nhà hoặc ngoài trời. Đánh đổi: model được huấn luyện cho các miền trong nhà và ngoài trời cụ thể, trong khi các model metric mới hơn như UniDepth và Metric3D v2 được thiết kế cho nhiều loại camera. Intel đã lưu trữ repository nên model không còn nhận được bản sửa lỗi.

Ước lượng độ sâu trên thiết bị edge#

Trên phần cứng edge, câu hỏi chuyển từ “chính xác nhất” sang “đủ chính xác ở tốc độ khung hình của tôi”. Có ba nhóm model phù hợp:

• Các phiên bản nhỏ của những dòng model lớn. Depth Anything V2 Small (24.8M tham số, Apache 2.0) là một lựa chọn có giấy phép dễ dãi. Các model MiDaS v3.1 Swin2-Tiny và LeViT được thiết kế cho thiết bị nhúng.
• Model tác vụ thời gian thực. Ultralytics YOLO26 depth đạt độ trễ chỉ tính suy luận từ 2.7 ms (n) đến 13.6 ms (x) ở batch 1, không gồm tiền xử lý và hậu xử lý, trên Tesla T4 với TensorRT FP16. Model có thể export sang TensorRT cho NVIDIA Jetson, CoreML cho thiết bị Apple và OpenVINO cho CPU Intel; hỗ trợ export không đồng nghĩa với benchmark trên thiết bị edge.
• Model nghiên cứu gọn nhẹ. FastDepth (MIT) được xây dựng cho hệ thống nhúng và đã được thử nghiệm trên NVIDIA Jetson TX2. Lite-Mono (MIT) có từ 2.2M đến 8.7M tham số, được huấn luyện trên dữ liệu lái xe từ KITTI.

Đo độ trễ suy luận trên thiết bị mục tiêu sau khi export, ở độ phân giải bạn sẽ triển khai. Để chọn phần cứng, xem cách chọn thiết bị edge phù hợp. Để biết các tùy chọn export, xem hướng dẫn của chúng tôi về các tùy chọn triển khai model.

Fig 3. Ultralytics YOLO26n-depth (89 đến 96 ms) và YOLO26s-depth (124 đến 128 ms) trên cùng một ảnh cửa hàng, chạy trên CPU Apple M4 (PyTorch, đầu vào 768 pixel, từ ảnh đến bản đồ độ sâu hoàn chỉnh). Thời gian trên laptop thay đổi theo tải nền, vì vậy hãy xem đây là các khoảng giá trị. Ảnh được tạo cho bài viết này; bản đồ độ sâu và thời gian đo được là kết quả thực tế.

Ước lượng độ sâu cho robotics#

Robot thường cần độ sâu metric ổn định qua từng khung hình, ở tốc độ điều khiển của robot. Có ba hướng triển khai thực tế:

• Model metric đơn ảnh phù hợp với robot dùng một camera RGB. Hãy dùng model xử lý được camera của bạn: Metric3D v2 hoặc Depth Anything 3 Metric khi đã biết thông số nội tại, hoặc model Ultralytics YOLO26 depth đã hiệu chuẩn khi cần suy luận onboard độ trễ thấp trên GPU NVIDIA cùng các tác vụ YOLO khác; hãy đo trên máy tính của robot.
• Model stereo như FoundationStereo của NVIDIA tính độ sâu metric từ một cặp camera đã hiệu chuẩn. Bản phát hành nghiên cứu chỉ dành cho mục đích phi thương mại; NVIDIA cung cấp phiên bản TAO cho mục đích thương mại. Xem thị giác stereo để biết cách so sánh stereo với độ sâu đơn ảnh.
• Cảm biến độ sâu (camera stereo đo độ sâu, ánh sáng cấu trúc hoặc LiDAR) đo trực tiếp độ sâu.

Khi model đơn ảnh không phải lựa chọn phù hợp: đối với quyết định quan trọng về an toàn như tránh va chạm gần người, hãy sử dụng cảm biến độ sâu hoặc cặp camera stereo, và xem độ sâu đơn ảnh là phần bổ trợ, chẳng hạn để lấp các vùng cảm biến không trả về dữ liệu.

Fig 4. Khoảng cách dự đoán đọc từ một bản đồ độ sâu Ultralytics YOLO26s-depth: 3.1 m đến một điểm trên sàn, 5.7 m đến robot và khoảng 23 m đến cuối lối đi. Ảnh được tạo cho bài viết này; các chỉ số là đầu ra thực tế của model, chưa được hiệu chuẩn cho camera này, vì vậy đây là dự đoán chứ không phải kết quả đo.

Cách thử nghiệm model ước lượng độ sâu trên camera của bạn#

• Thu thập khoảng 50 đến 150 ảnh được gán nhãn từ camera triển khai, ở độ phân giải và thiết lập ống kính dự kiến triển khai, với một vài điểm đo trên mỗi ảnh. Các benchmark công khai như NYU Depth V2 (trong nhà) và KITTI (lái xe) hữu ích cho bước so sánh ban đầu, nhưng kết quả trên camera của chính bạn mới là căn cứ quyết định.
• Máy đo khoảng cách đo khoảng cách theo đường thẳng, trong khi hiệu chuẩn cần độ sâu dọc theo trục camera: đo các điểm gần tâm ảnh, chuyển đổi số đo lệch tâm thành độ sâu theo trục camera bằng thông số nội tại của camera, hoặc thu thập độ sâu bằng cảm biến độ sâu.
• So sánh các model dựa trên δ1 và sai số tương đối tuyệt đối đối chiếu với các số đo đó, đồng thời đo thời gian xử lý của từng model trên thiết bị mục tiêu. Với model metric, chấm điểm đầu ra thô mà không co giãn từng ảnh để khớp ground truth; căn chỉnh theo từng ảnh sẽ che khuất chính xác các lỗi về tỷ lệ mà bạn cần phát hiện.
• Với model metric có tỷ lệ cố định, hãy hiệu chuẩn model trên một phần dữ liệu và kiểm thử trên phần còn lại. Ultralytics YOLO26 depth có sẵn chức năng này dưới dạng model.calibrate().