Stereo Vision

Thị giác lập thể, còn được gọi là thị giác hai mắt, là một kỹ thuật computer vision được sử dụng để trích xuất thông tin chiều sâu 3D từ các hình ảnh kỹ thuật số. Bằng cách so sánh hai hoặc nhiều hình ảnh 2D của cùng một cảnh được chụp từ các góc độ hơi khác nhau—mô phỏng binocular vision của con người—các hệ thống AI có thể tính toán chính xác khoảng cách tới các vật thể. Khả năng này là nền tảng cho spatial intelligence, cho phép máy móc điều hướng trong môi trường của chúng và tương tác với các vật thể vật lý một cách an toàn.

Link to this sectionCách thức hoạt động của thị giác lập thể#

Quy trình này dựa trên việc tìm ra sự khác biệt giữa khung nhìn của camera trái và phải. Thách thức cốt lõi ở đây là correspondence problem, liên quan đến việc xác định chính xác cùng một pixel hoặc đặc điểm trong cả hai hình ảnh. Sau khi các điểm khớp được tìm thấy, hệ thống sẽ tính toán độ lệch ngang, tạo ra một bản đồ chênh lệch (disparity map).

Trong một disparity map, các độ lệch lớn hơn biểu thị các vật thể ở gần, trong khi các độ lệch nhỏ hơn nghĩa là vật thể ở xa hơn. Sử dụng phương pháp tam giác đạc, bản đồ này sau đó được chuyển đổi thành một đám mây điểm 3D dày đặc. Mặc dù các thuật toán toán học truyền thống thường thúc đẩy các tính toán này, các phương pháp hiện đại ngày càng dựa vào convolutional neural networks (CNNs) và deep learning để cải thiện độ chính xác khi khớp đặc điểm trong điều kiện ánh sáng phức tạp hoặc các khu vực thiếu kết cấu, như được nêu chi tiết trong các nghiên cứu IEEE computer vision research gần đây.

Link to this sectionThị giác lập thể so với ước tính chiều sâu đơn mắt#

Điều quan trọng là phải phân biệt thị giác lập thể với các kỹ thuật depth estimation chỉ sử dụng một camera duy nhất. Ước tính chiều sâu đơn mắt sử dụng các mô hình deep learning để dự đoán cấu trúc 3D từ một hình ảnh 2D duy nhất dựa trên các tín hiệu thị giác như phối cảnh và đổ bóng. Ngược lại, các hệ thống lập thể đo lường trực tiếp chiều sâu bằng cách sử dụng mối quan hệ hình học giữa hai ống kính camera. Mặc dù các phương pháp đơn mắt có chi phí tính toán nhẹ hơn, thị giác lập thể thường cung cấp các phép đo chiều sâu chính xác theo thời gian thực, điều cần thiết cho các hệ thống an toàn quan trọng.

Link to this sectionCác ứng dụng AI trong thực tế#

Các hệ thống lập thể rất quan trọng trên nhiều ngành công nghiệp yêu cầu 3D object detection và nhận thức không gian trong thế giới thực.

• Điều hướng lái xe tự hành: Các công nghệ tự lái được phát triển bởi những công ty như Waymo sử dụng camera lập thể để đo chính xác khoảng cách tới người đi bộ, các phương tiện khác và chướng ngại vật trong thời gian thực, đưa dữ liệu chiều sâu chính xác này vào các hệ thống predictive modeling để lập kế hoạch lộ trình an toàn.
• Tự động hóa robot công nghiệp: Các robot sản xuất sử dụng thị giác lập thể cho các tác vụ lấy hàng trong thùng phức tạp. Bằng cách tính toán chính xác chiều sâu và hướng của các bộ phận nằm rải rác trên băng chuyền, các hệ thống robot có thể căn chỉnh hoàn hảo các bộ phận gắp của chúng, cải thiện hiệu quả trong smart manufacturing pipelines.
• Hình ảnh y tế nâng cao: Các robot phẫu thuật và hệ thống chẩn đoán sử dụng camera lập thể để cung cấp cho bác sĩ phẫu thuật cái nhìn 3D có độ chính xác cao về giải phẫu bệnh nhân trong các quy trình xâm lấn tối thiểu, một xu hướng thường được nêu bật trong recent arXiv preprints on medical AI.

Link to this sectionTích hợp AI với dữ liệu lập thể#

Thông thường, các nhà phát triển sử dụng thị giác lập thể kết hợp với phát hiện đối tượng để tìm cả cái gì và khoảng cách bao xa. Khung làm việc OpenCV framework thường được sử dụng để tạo bản đồ chênh lệch, thường được tích hợp trong các pipeline PyTorch hoặc TensorFlow rộng hơn, trong khi các mô hình AI xử lý việc nhận thức. Dưới đây là một ví dụ khái niệm về việc phát hiện các đối tượng bằng Ultralytics YOLO26 và truy xuất các bounding box của chúng, những thứ sau đó có thể được sử dụng để trích xuất các giá trị khoảng cách trung bình từ một bản đồ chênh lệch OpenCV liên kết.

import cv2
from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for high-speed edge inference
model = YOLO("yolo26n.pt")

# Read the left camera frame (typically used as the primary frame for detection)
left_frame = cv2.imread("left_camera_frame.jpg")

# Run inference to detect objects in the scene
results = model(left_frame)

# Extract bounding boxes to later combine with a stereo disparity map
for result in results:
    for box in result.boxes.xyxy:
        x1, y1, x2, y2 = map(int, box[:4])
        print(f"Detected object bounding box: [{x1}, {y1}, {x2}, {y2}]")
        # Depth values can now be extracted from the disparity map within this specific region

Link to this sectionNhững tiến bộ và xu hướng tương lai#

Việc đào tạo và triển khai các mô hình nhận thức nâng cao đã trở nên vô cùng tinh gọn. Sử dụng các công cụ như Ultralytics Platform, các nhóm có thể chú thích các cặp hình ảnh lập thể một cách an toàn, đào tạo các mô hình mạnh mẽ và xuất chúng sang các định dạng được tối ưu hóa như TensorRT để suy luận có độ trễ thấp trên edge AI devices.

Những tiến bộ gần đây từ các tổ chức như Stanford Vision and Learning Lab cho thấy xu hướng ngày càng tăng trong việc kết hợp thị giác lập thể với Vision Transformers (ViT) và các mô hình nền tảng từ Google DeepMind để giải quyết vấn đề correspondence problem nhanh hơn. Hơn nữa, khi các mô hình AI đa phương thức từ các nhà lãnh đạo như Anthropic và OpenAI phát triển, việc tích hợp dữ liệu không gian 3D mạnh mẽ sẽ tiếp tục đẩy xa giới hạn về những gì các tác nhân AI hiện thân có thể nhận thức và hiểu được.