Semantic Mapping

Lập bản đồ ngữ nghĩa là quá trình xây dựng bản đồ không gian của môi trường, trong đó mỗi vị trí mang một ý nghĩa, tức nhãn lớp như đường, vỉa hè, tường, cửa, ghế hoặc người, bên cạnh thông tin hình học. Bản đồ hình học cho robot biết bề mặt nằm ở đâu, còn bản đồ ngữ nghĩa cho biết bề mặt đó là gì; nhờ vậy, robot có thể làm theo yêu cầu như “đến bàn bếp”, tránh đi lên bãi cỏ hoặc dự đoán có người đi bộ gần vạch qua đường. Bản đồ ngữ nghĩa kết hợp phân đoạn ngữ nghĩa hoặc phát hiện đối tượng với cảm biến chiều sâu và định vị, đồng thời là thành phần cốt lõi trong nhận thức của robotics, xe tự hành và điện toán không gian.

Cách lập bản đồ ngữ nghĩa hoạt động#

Mỗi khung hình camera mới trải qua ba bước. Model phân đoạn gán nhãn lớp cho từng pixel. Độ sâu từ LiDAR, camera stereo hoặc RGB-D, hay ước lượng độ sâu đơn mắt, chuyển các pixel đã gán nhãn thành điểm 3D; tư thế của robot, được ước lượng bằng SLAM thị giác hoặc odometry, đặt các điểm đó vào những ô của bản đồ dùng chung. Cuối cùng, hợp nhất cảm biến theo thời gian kết hợp nhãn mới với mọi thông tin mỗi ô đã tích lũy; các vật thể chuyển động được xử lý riêng để người đi ngang không trở thành một bức tường vĩnh viễn.

Các model phân đoạn ngữ nghĩa Ultralytics YOLO26 được huấn luyện trước trên Cityscapes gán cho mỗi pixel một trong 19 lớp đô thị, gồm đường, vỉa hè, tòa nhà, thảm thực vật, người và ô tô; đây là đầu vào theo từng khung hình được bản đồ ngữ nghĩa cấp đường phố hợp nhất.

Hợp nhất biến các dự đoán nhiễu theo từng khung hình thành bản đồ đáng tin cậy. SemanticFusion, do John McCormac và các cộng sự tại Imperial College London phát triển năm 2017, lưu phân phối xác suất trên các lớp cho mỗi phần tử bề mặt và nhân từng dự đoán mới của mạng vào phân phối đó theo phép cập nhật Bayes đệ quy. Mô phỏng này áp dụng cùng phép cập nhật cho bản đồ gồm 1.000 ô được model phân đoạn quan sát, với độ chính xác 70%:

import numpy as np

rng = np.random.default_rng(0)
num_cells, num_classes = 1000, 4  # map cells; classes such as road, sidewalk, building, vegetation
truth = rng.integers(0, num_classes, num_cells)

# Sensor model: segmentation labels a cell correctly 70% of the time, otherwise picks another class
likelihood = np.full((num_classes, num_classes), 0.1)
np.fill_diagonal(likelihood, 0.7)
log_belief = np.zeros((num_cells, num_classes))  # uniform prior in every cell

for frame in range(1, 11):
    # A new frame observes every cell from a new viewpoint, with independent errors
    wrong = rng.random(num_cells) > 0.7
    labels = np.where(wrong, (truth + rng.integers(1, num_classes, num_cells)) % num_classes, truth)

    # Recursive Bayesian update: add the log-likelihood of this observation to each cell's belief
    log_belief += np.log(likelihood[labels])
    if frame in (1, 3, 10):
        print(f"Frame {frame:>2}: {(log_belief.argmax(axis=1) == truth).mean():.1%} of cells correct")

Bản đồ chính xác 69,6% sau một khung hình, 80,6% sau ba khung hình và 98,2% sau mười khung hình. Mức cải thiện phụ thuộc vào việc lỗi có thay đổi giữa các lần quan sát hay không, nên hợp nhất hiệu quả nhất khi robot nhìn mỗi vị trí từ nhiều góc khác nhau; lỗi mà model lặp lại từ mọi góc độ vẫn tồn tại trên bản đồ. SemanticFusion ghi nhận xu hướng tương tự, với mức cải thiện so với nhãn của một khung hình lớn hơn trên tập dữ liệu có nhiều thay đổi góc nhìn hơn.

Biểu diễn bản đồ và các khái niệm liên quan#

Bản đồ ngữ nghĩa có nhiều dạng, từ lưới 2D, trong đó mỗi ô của bản đồ chiếm chỗ cũng lưu một lớp, đến đám mây điểm 3D, voxel và mesh có nhãn. Kimera của MIT xây dựng mesh 3D ngữ nghĩa-metric theo thời gian thực, còn đồ thị cảnh 3D sắp xếp cùng thông tin đó thành các đối tượng, phòng và tòa nhà được liên kết bằng quan hệ. Bản đồ từ vựng mở lưu embedding CLIP thay vì các lớp cố định, để robot có thể tìm kiếm trên bản đồ bằng mọi truy vấn văn bản, chẳng hạn “bình chữa cháy”.

Lập bản đồ ngữ nghĩa dựa trên một số tác vụ liên quan. SLAM thị giác cung cấp tư thế camera và bản đồ hình học. Lập bản đồ chiếm chỗ chỉ ghi nhận không gian trống, bị chiếm dụng hoặc chưa xác định. Phân đoạn từng đối tượng và phân đoạn toàn cảnh tách riêng từng đối tượng; bản đồ cấp đối tượng cần thông tin này để đếm ghế hoặc theo dõi ô tô đang đỗ. Tìm kiếm ngữ nghĩa là một kỹ thuật truy xuất không liên quan, chỉ trùng nhau ở từ ngữ.

Ứng dụng thực tế#

• Lái xe tự hành: Bản đồ độ phân giải cao ghi lại làn đường, vạch qua đường, đèn giao thông và lề đường với độ chính xác đến từng centimet; lập bản đồ ngữ nghĩa trực tuyến xây dựng bản đồ góc nhìn từ trên xuống gồm các yếu tố đó từ cảm biến của chính xe.
• Robot di động: Ngăn xếp điều hướng ROS 2, Nav2, cung cấp một lớp costmap phân đoạn ngữ nghĩa, gán chi phí di chuyển cho từng lớp để robot lập kế hoạch đường đi trên các bề mặt được ưu tiên.
• Nông nghiệp: Robot đồng ruộng và drone lập bản đồ cây trồng và cỏ dại theo từng hàng để phun thuốc có mục tiêu và ước tính năng suất.
• Thực tế tăng cường: ARKit của Apple phân loại từng mặt của mesh phòng được tái dựng thành tường, sàn, trần, bàn, chỗ ngồi, cửa sổ, cửa ra vào hoặc không xác định.