Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Stereo Vision

Thị giác stereo đo độ sâu bằng cách khớp từng điểm giữa hai camera lệch vị trí rồi tam giác hóa độ dịch chuyển giữa các góc nhìn, như trong robot, ô tô và xe tự hành thăm dò.

Thị giác lập thể là kỹ thuật thị giác máy tính dùng để khôi phục độ sâu từ hai ảnh của cùng một cảnh, được chụp bằng các camera đặt cách nhau một khoảng cách đã biết. Một điểm trên vật thể ở gần sẽ xuất hiện ở các vị trí khác biệt rõ rệt trong ảnh trái và ảnh phải, trong khi một điểm ở xa xuất hiện gần như ở cùng một vị trí; độ lệch ngang này, gọi là thị sai, được chuyển trực tiếp thành khoảng cách bằng phép tam giác đạc. Thị giác hai mắt của con người hoạt động theo cách tương tự, với hai mắt cách nhau khoảng 6 cm. Các bộ camera lập thể cung cấp cho các hệ thống robot, ô tô, drone và xe thám hiểm hành tinh khả năng ước lượng độ sâu dày đặc bằng các camera thụ động thông thường.

Cách thị giác lập thể hoạt động#

Hệ thống lập thể trước tiên cần hiệu chuẩn camera: tiêu cự và độ méo ống kính của từng camera, cùng phép quay và phép tịnh tiến giữa hai camera. Sau đó, bước hiệu chỉnh hình học biến dạng hai ảnh để hình học epipolar có dạng đơn giản nhất, trong đó điểm tương ứng của mỗi điểm nằm trên cùng một hàng ở ảnh còn lại. Nhờ vậy, bài toán tìm điểm tương ứng, tức tìm cùng một điểm cảnh trong cả hai góc nhìn, trở thành phép tìm kiếm một chiều dọc theo một hàng. Với pixel khớp có độ thị sai d, độ sâu được tính theo Z = f × B / d, trong đó f là tiêu cự tính bằng pixel và B là đường cơ sở, tức khoảng cách giữa hai camera.

Ví dụ này chạy bộ khớp bán toàn cục của OpenCV trên một cặp ảnh đã hiệu chỉnh hình học từ benchmark lập thể Middlebury 2014; scikit-image cung cấp bộ dữ liệu này cùng với độ thị sai ground truth chính xác dưới pixel, được đo bằng ánh sáng cấu trúc:

import cv2
import numpy as np
from skimage import data

# Rectified Middlebury stereo pair with ground-truth disparity (focal length 995 px, baseline 0.193 m)
left, right, true_disp = data.stereo_motorcycle()
left, right = cv2.cvtColor(left, cv2.COLOR_RGB2GRAY), cv2.cvtColor(right, cv2.COLOR_RGB2GRAY)

# Semi-global matching searches each pixel's row in the other image; OpenCV returns 1/16-pixel units
sgbm = cv2.StereoSGBM_create(minDisparity=0, numDisparities=80, blockSize=5, P1=200, P2=800, uniquenessRatio=10)
disp = sgbm.compute(left, right).astype(np.float32) / 16

# Score the pixels that have ground truth and a confident match
valid = np.isfinite(true_disp) & (disp > 0)
good = np.abs(disp - true_disp)[valid] < 1
print(f"Matched {valid.mean():.0%} of pixels, {good.mean():.1%} of them within 1 px of ground truth")

# Triangulate depth: Z = focal * baseline / (disparity + offset between the two principal points)
depth, true_depth = (994.978 * 0.193 / (d + 31.086) for d in (disp, true_disp))
print(f"Depth at the image center: {depth[250, 370]:.2f} m (ground truth {true_depth[250, 370]:.2f} m)")

Kết quả in ra Matched 79% of pixels, 91.0% of them within 1 px of ground truth và độ sâu 2.40 m tại tâm ảnh, bằng với ground truth. Hầu hết pixel không khớp tạo thành dải rộng 80 pixel dọc theo mép trái, nơi phép tìm kiếm trên 80 độ thị sai sẽ vượt ra ngoài biên ảnh bên phải.

Thuật toán khớp và độ chính xác#

So sánh các cửa sổ pixel nhỏ sẽ thất bại ở nơi cửa sổ không có kết cấu, có hoa văn lặp lại hoặc nằm vắt qua biên vật thể. Phương pháp khớp bán toàn cục, do Heiko Hirschmüller giới thiệu năm 2005 và được triển khai dưới dạng đã chỉnh sửa trong StereoSGBM của OpenCV, bổ sung mức phạt độ trơn cho các bước nhảy độ thị sai rồi tổng hợp mức phạt dọc theo nhiều đường 1D trên ảnh; nhờ vậy, phương pháp lấp đầy các vùng ít kết cấu mà vẫn giữ biên vật thể sắc nét. Các phương pháp deep learning thay thế chi phí được thiết kế thủ công bằng bản đồ đặc trưng đã học và cost volume trên các độ thị sai ứng viên; RAFT-Stereo tinh chỉnh trường độ thị sai bằng các cập nhật hồi quy theo phong cách của mạng optical flow. Các phương pháp được so sánh trên benchmark lập thể Middlebury, do Daniel Scharstein và Richard Szeliski khởi xướng năm 2002, và trên các cảnh lái xe KITTI có ground truth LiDAR.

Độ chính xác giảm nhanh theo khoảng cách. Lấy đạo hàm công thức độ sâu cho sai số độ sâu xấp xỉ Z² / (f × B) trên mỗi pixel sai số độ lệch, vì vậy khi camera ở phía trên, sai số một pixel tương ứng với 3 cm ở 2.4 m và 52 cm ở 10 m. Đường cơ sở rộng hơn hoặc tiêu cự dài hơn giúp mở rộng phạm vi hữu dụng, đổi lại khoảng cách tối thiểu lớn hơn và có nhiều vùng chỉ một camera nhìn thấy. Các camera stereo chủ động như dòng Intel RealSense D400 chiếu một mẫu chấm hồng ngoại lên cảnh, tạo kết cấu cho những bức tường trống để thuật toán ghép cặp có thể xử lý.

Thị giác stereo so với độ sâu đơn ảnh và cảm biến chủ động#

Ước lượng độ sâu đơn ảnh dự đoán độ sâu từ một ảnh duy nhất bằng các tín hiệu đã học như phối cảnh, kích thước đối tượng và hiện tượng che khuất, nên tỷ lệ độ sâu phụ thuộc vào dữ liệu huấn luyện; trong khi đó, stereo đo tỷ lệ bằng hình học dựa trên đường đáy. Model ước lượng độ sâu Ultralytics YOLO26 sử dụng phương pháp đơn ảnh, dự đoán bản đồ độ sâu tính bằng mét từ một ảnh RGB; model.calibrate() khớp tỷ lệ metric của chúng với một camera cụ thể bằng một tập ảnh nhỏ có độ sâu đã đo. LiDAR và camera time-of-flight đo khoảng cách chủ động bằng cách tính thời gian ánh sáng phát ra truyền đi, còn nhiều phương tiện kết hợp chúng với stereo thông qua hợp nhất cảm biến. Độ sâu stereo cũng là đầu vào cho phát hiện đối tượng 3D, tái tạo 3D và SLAM thị giác; thêm yếu tố thời gian sẽ tạo thành luồng cảnh, mô tả chuyển động 3D của mọi điểm.

Ứng dụng thực tế#

  • Hỗ trợ người lái: Hệ thống EyeSight của Subaru sử dụng hai camera gắn gần gương chiếu hậu để đo khoảng cách đến các phương tiện và người đi bộ phía trước, phục vụ điều khiển hành trình thích ứng và phanh khẩn cấp tự động.
  • Gắp vật bằng robot: Camera độ sâu stereo gắn trên cánh tay robot định vị các bộ phận trong thùng chứa và trên băng chuyền, cung cấp vị trí và hướng 3D mà kẹp gắp cần.
  • Drone: Các drone dành cho người tiêu dùng, chẳng hạn như dòng Mavic của DJI, phát hiện chướng ngại vật bằng cảm biến thị giác hai mắt hướng về nhiều phía.
  • Xe tự hành thám hiểm hành tinh: Xe tự hành Perseverance của NASA tự di chuyển trên sao Hỏa bằng cách tạo bản đồ địa hình 3D ngay trên xe từ các camera điều hướng stereo.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning