3D Object Detection

Phát hiện đối tượng 3D tìm các đối tượng trong cảnh và đặt một bounding box 3D, hay khối hộp, bao quanh từng đối tượng để xác định vị trí, kích thước và hướng của chúng theo đơn vị thực tế. Phát hiện đối tượng 2D tiêu chuẩn báo cáo bounding box theo pixel ảnh. Bộ phát hiện 3D cho biết chiếc xe cách bao xa theo mét, chiều dài và chiều rộng của xe, cũng như hướng xe quay mặt; đây là thông tin cần thiết để xe tự lái, robot giao hàng và cánh tay robot trong kho lập kế hoạch di chuyển và tránh va chạm.

Mô tả bounding box 3D#

Phần lớn bộ phát hiện 3D xuất ra bảy số cho mỗi đối tượng, cùng một lớp và điểm tin cậy: tâm bounding box (x, y, z), chiều dài, chiều rộng, chiều cao và góc hướng, hay góc yaw, quanh trục thẳng đứng. Giả định roll và pitch bằng 0 vì xe hơi, con người và hầu hết vật thể trong nhà đều đứng thẳng; các bộ dữ liệu chuẩn lái xe như nuScenes cũng yêu cầu vận tốc của từng đối tượng. Chuyển bảy số này thành tám điểm góc là bước đầu tiên để vẽ bounding box lên ảnh hoặc tính độ chồng lấp với bounding box khác.

import numpy as np

# Một bounding box 3D: tâm (m), kích thước (m) và góc hướng quanh trục z thẳng đứng (rad)
center = np.array([12.0, -3.0, 0.9])
length, width, height = 4.5, 1.9, 1.6
yaw = np.pi / 6

# Tám điểm góc của bounding box trước khi xoay, tính tương đối so với tâm
signs = np.array([[sx, sy, sz] for sx in (1, -1) for sy in (1, -1) for sz in (1, -1)])
corners = signs * [length / 2, width / 2, height / 2]

# Xoay theo góc hướng, sau đó dịch chuyển bounding box đến tâm
c, s = np.cos(yaw), np.sin(yaw)
rotation = np.array([[c, -s, 0], [s, c, 0], [0, 0, 1]])
corners = corners @ rotation.T + center
print(corners.round(2))

Tám hàng được in ra là các điểm góc của một bounding box cỡ ô tô, có tâm cách 12 mét dọc theo trục x và xoay 30 độ; bốn điểm ở z = 1.7 m tạo thành nóc xe, bốn điểm ở z = 0.1 m tạo thành sàn xe.

Cảm biến và phương pháp#

Phát hiện 3D cần độ sâu; các hệ thống lấy dữ liệu độ sâu từ ba loại đầu vào. Máy quét lidar đo khoảng cách trực tiếp bằng xung laser và trả về point cloud của cảnh. Bộ phát hiện lidar chia không gian thành voxel 3D, nhóm điểm thành các cột dọc như PointPillars, rồi xử lý chúng như ảnh góc nhìn từ trên cao bằng phép tích chập 2D nhanh hoặc xử lý trực tiếp các điểm thô.

Các phương pháp dựa trên camera ước lượng độ sâu từ ảnh. Camera đơn không xác định được độ sâu vì vật thể nhỏ ở gần và vật thể lớn ở xa có thể trông giống nhau; do đó, bộ phát hiện đơn ảnh học độ sâu từ kích thước đối tượng và ngữ cảnh cảnh vật. Hệ thống nhiều camera như BEVFormer nâng đặc trưng từ nhiều góc nhìn xung quanh lên một lưới nhìn từ trên xuống dùng chung. Pipeline camera cũng có thể kết hợp bounding box 2D từ YOLO26 với model độ sâu YOLO26, dự đoán bản đồ độ sâu theo từng pixel tính bằng mét từ một ảnh RGB, để ước lượng khoảng cách của từng đối tượng được phát hiện.

Hợp nhất cảm biến kết hợp hình học chính xác từ lidar với màu sắc và kết cấu của ảnh camera. BEVFusion hợp nhất đặc trưng của cả hai cảm biến trong không gian nhìn từ trên xuống dùng chung.

Phát hiện 3D và các tác vụ liên quan#

• Ước lượng độ sâu: dự đoán khoảng cách cho từng pixel mà không phân tách cảnh thành các đối tượng hoặc lớp.
• Bounding box định hướng: bounding box 2D xoay trong mặt phẳng ảnh, thường dùng cho ảnh chụp từ trên không, nơi chúng giống hình chiếu từ trên xuống của bounding box 3D.
• Tái tạo 3D: khôi phục hình học đầy đủ của cảnh, chẳng hạn như lưới hoặc đám mây điểm, mà không gắn nhãn từng đối tượng.

Ứng dụng và thách thức#

Xe tự hành dùng phát hiện 3D để định vị ô tô, người đi bộ và người đi xe đạp xung quanh, đồng thời dự đoán đường đi của họ; robot kho hàng và logistics dùng công nghệ này để xác định vị trí và hướng của thùng hàng trước khi gắp. Các trường hợp khó gồm đối tượng nhỏ và ở xa, vốn nhận được ít điểm lidar; đối tượng bị che khuất một phần; sai số độ sâu đơn ảnh tăng theo khoảng cách; và chi phí gắn nhãn, vì chuyên viên gắn nhãn phải khớp từng khối hộp 3D cho dữ liệu huấn luyện.

Đánh giá bộ phát hiện 3D#

Đánh giá mở rộng độ giao nhau trên hợp (IoU) và độ chính xác trung bình (mAP) sang không gian ba chiều. Bộ đánh giá 3D KITTI yêu cầu IoU của bounding box 3D đạt 0.7 đối với ô tô và 0.5 đối với người đi bộ và người đi xe đạp; từ năm 2019, bộ đánh giá lấy trung bình độ chính xác tại 40 vị trí recall thay vì 11. Bộ đánh giá nuScenes ghép dự đoán với nhãn dựa trên khoảng cách giữa tâm của chúng trên mặt phẳng mặt đất, rồi tính AP trung bình tại các ngưỡng 0.5, 1, 2 và 4 mét. Điểm phát hiện nuScenes (NDS) kết hợp mAP được nhân trọng số 5 với năm điểm số suy ra từ sai số tịnh tiến, tỷ lệ, hướng, vận tốc và thuộc tính, mỗi điểm được nhân trọng số 1.