Stereo Vision

Stereo vision, còn được gọi là thị giác lập thể, là một kỹ thuật computer vision được sử dụng để trích xuất thông tin chiều sâu 3D từ các hình ảnh kỹ thuật số. Bằng cách so sánh hai hoặc nhiều hình ảnh 2D của cùng एक khung cảnh được chụp từ các góc độ hơi khác nhau—mô phỏng binocular vision của con người—các hệ thống AI có thể tính toán chính xác khoảng cách đến các đối tượng. Khả năng này là nền tảng cho spatial intelligence, cho phép máy móc điều hướng môi trường và tương tác an toàn với các vật thể vật lý.

Cách thức hoạt động của thị giác lập thể#

Quá trình này dựa vào việc tìm kiếm sự khác biệt giữa góc nhìn của camera bên trái và bên phải. Thách thức cốt lõi ở đây là correspondence problem, bao gồm việc nhận dạng chính xác các điểm ảnh hoặc đặc trưng giống hệt nhau trong cả hai hình ảnh. Khi tìm thấy các điểm khớp, hệ thống sẽ tính toán độ dịch chuyển ngang, tạo ra một bản đồ độ chênh lệch (disparity map).

Trong một disparity map, độ dịch chuyển lớn hơn cho biết các vật thể ở gần hơn, trong khi độ dịch chuyển nhỏ hơn có nghĩa là vật thể ở xa hơn. Sử dụng phép đạc tam giác (triangulation), bản đồ này sau đó được chuyển đổi thành một đám mây điểm 3D dày đặc. Mặc dù các thuật toán toán học truyền thống trong lịch sử đã thúc đẩy các phép tính này, các phương pháp hiện đại ngày càng dựa vào convolutional neural networks (CNNs) và deep learning để cải thiện độ chính xác của việc khớp đặc trưng trong điều kiện chiếu sáng phức tạp hoặc các khu vực không có kết cấu, như được nêu chi tiết trong IEEE computer vision research gần đây.

Thị giác lập thể so với ước tính chiều sâu đơn mắt#

Điều quan trọng là phải phân biệt stereo vision với các kỹ thuật depth estimation chỉ sử dụng một camera đơn lẻ. Ước tính chiều sâu đơn mắt (monocular depth estimation) sử dụng các model deep learning để dự đoán cấu trúc 3D từ một hình ảnh 2D duy nhất dựa trên các tín hiệu thị giác như phối cảnh và đổ bóng. Ngược lại, các hệ thống stereo đo trực tiếp chiều sâu bằng cách sử dụng mối quan hệ hình học giữa hai thấu kính camera. Mặc dù các phương pháp đơn mắt nhẹ hơn về mặt tính toán, stereo vision thường cung cấp các phép đo chiều sâu thời gian thực chính xác hơn, rất cần thiết cho các hệ thống an toàn quan trọng.

Các ứng dụng AI trong thực tế#

Các hệ thống stereo đóng vai trò quan trọng trong nhiều ngành công nghiệp yêu cầu 3D object detection trong thế giới thực và nhận thức không gian.

• Autonomous Driving Navigation: Các công nghệ tự lái được phát triển bởi các công ty như Waymo sử dụng camera stereo để đánh giá chính xác khoảng cách đến người đi bộ, các phương tiện khác và chướng ngại vật trong thời gian thực, đưa dữ liệu chiều sâu chính xác này vào các hệ thống predictive modeling để lập kế hoạch đường đi an toàn.
• Industrial Robotics Automation: Các robot sản xuất sử dụng stereo vision cho các tác vụ gắp linh kiện phức tạp trong thùng. Bằng cách tính toán chính xác chiều sâu và hướng của các bộ phận rải rác trên băng chuyền, các hệ thống robot có thể căn chỉnh hoàn hảo các bộ kẹp của chúng, nâng cao hiệu quả trong các smart manufacturing pipelines.
• Advanced Medical Imaging: Robot phẫu thuật và hệ thống chẩn đoán sử dụng camera lập thể để cung cấp cho bác sĩ phẫu thuật góc nhìn 3D cực kỳ chính xác về giải phẫu bệnh nhân trong các quy trình xâm lấn tối thiểu, một xu hướng thường được làm nổi bật trong recent arXiv preprints on medical AI.

Tích hợp AI với dữ liệu lập thể#

Thông thường, các nhà phát triển sử dụng stereo vision kết hợp với nhận dạng đối tượng để tìm cả cái gì và ở khoảng cách bao xa. OpenCV framework thường được sử dụng để tạo bản đồ độ chênh lệch, thường được tích hợp trong các pipeline PyTorch hoặc TensorFlow rộng lớn hơn, trong khi các AI model xử lý phần nhận thức. Dưới đây là một ví dụ khái niệm về việc phát hiện đối tượng sử dụng Ultralytics YOLO26 và truy xuất các bounding box của chúng, sau đó có thể được sử dụng để trích xuất các giá trị khoảng cách trung bình từ một disparity map của OpenCV liên quan.

import cv2
from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for high-speed edge inference
model = YOLO("yolo26n.pt")

# Read the left camera frame (typically used as the primary frame for detection)
left_frame = cv2.imread("left_camera_frame.jpg")

# Run inference to detect objects in the scene
results = model(left_frame)

# Extract bounding boxes to later combine with a stereo disparity map
for result in results:
    for box in result.boxes.xyxy:
        x1, y1, x2, y2 = map(int, box[:4])
        print(f"Detected object bounding box: [{x1}, {y1}, {x2}, {y2}]")
        # Depth values can now be extracted from the disparity map within this specific region

Những tiến bộ và xu hướng tương lai#

Việc huấn luyện và triển khai các model nhận thức nâng cao đã trở nên vô cùng tinh gọn. Sử dụng các công cụ như Ultralytics Platform, các nhóm có thể chú thích an toàn các cặp stereo, huấn luyện các model mạnh mẽ và xuất chúng sang các định dạng được tối ưu hóa như TensorRT để suy luận độ trễ thấp trên các edge AI devices.

Các tiến bộ gần đây từ các tổ chức như Stanford Vision and Learning Lab cho thấy một xu hướng đang phát triển là hợp nhất stereo vision với Vision Transformers (ViT) và các model nền tảng từ Google DeepMind để giải quyết correspondence problem nhanh hơn. Hơn nữa, khi các multimodal AI model từ các công ty hàng đầu như Anthropic và OpenAI phát triển, việc tích hợp dữ liệu không gian 3D mạnh mẽ sẽ tiếp tục đẩy lùi các giới hạn về những gì các tác nhân AI hiện thân có thể nhận thức và thấu hiểu.