Semantic Mapping

Semantic mapping là quá trình xây dựng một biểu diễn không gian của môi trường và gắn các nhãn lớp có ý nghĩa—chẳng hạn như đường, tường, lối đi, con người, kệ hàng hoặc thảm thực vật—vào các vị trí bên trong đó. Trong AI và robotics, một bản đồ semantic trả lời cho cả hai câu hỏi “Vật gì đó ở đâu?” và “Đó là gì?” Thay vì chỉ biểu diễn một khung cảnh dưới dạng không gian bị chiếm dụng và không gian trống, nó cung cấp thông tin ngữ cảnh hỗ trợ cho việc điều hướng, lập kế hoạch, tương tác và hiểu khung cảnh.

Cách Thức Hoạt Động của Semantic Mapping#

Một hệ thống semantic mapping thường kết hợp giữa nhận thức, hình học, định vị và sự kết hợp theo thời gian. Đầu tiên, một semantic segmentation model sẽ phân loại mọi pixel hình ảnh. Ví dụ, tất cả các pixel được dán nhãn “road” tạo thành một vùng đường, trong khi các pixel được dán nhãn “car” xác định các vùng xe cộ. Tài liệu NVIDIA introduction to image segmentation in robotics minh họa cách các nhãn trên từng pixel này hỗ trợ nhận thức cho robot.

Việc gán nhãn pixel đơn thuần vẫn gắn liền với hình ảnh camera hai chiều. Hệ thống cần có hình học, thường từ LiDAR, camera stereo, hoặc depth estimation, để liên kết các pixel với các vị trí vật lý. Quy trình Open3D RGB-D image workflow minh họa cách các hình ảnh màu và chiều sâu đã đăng ký có thể tạo ra một điểm mây 3D.

Phép chiếu chính xác cũng phụ thuộc vào các thông số nội tại và ngoại tại của camera. Tài liệu OpenCV camera calibration documentation giải thích các tham số được sử dụng để liên hệ các pixel hình ảnh với các điểm 3D, trong khi định nghĩa thông điệp ROS CameraInfo message definition tiêu chuẩn hóa thông tin hiệu chuẩn này trong các hệ thống robot.

Cuối cùng, sensor fusion kết hợp các quan sát theo thời gian. Tư thế của robot và các phép biến đổi tọa độ đặt mỗi quan sát có dán nhãn vào một khung bản đồ chung. Các phép biến đổi tọa độ ROS tf2 coordinate transforms cung cấp một cơ chế phổ biến để duy trì các mối quan hệ này.

Các Khái Niệm Liên Quan và Khác Biệt Chính#

Semantic mapping giao thoa với một số khái niệm thị giác máy tính và robotics, nhưng chúng giải quyết các vấn đề khác nhau:

• Visual SLAM ước tính vị trí của camera hoặc robot trong khi xây dựng một bản đồ hình học. Semantic mapping bổ sung ý nghĩa lớp cho hình học đó. Do đó, một hệ thống có thể sử dụng SLAM để ước tính tư thế và nhận thức semantic để dán nhãn.
• Occupancy mapping mô tả việc các ô là trống, bị chiếm dụng hay chưa biết. Hướng dẫn Nav2 mapping and localization guide giải thích cách lưới chiếm dụng hỗ trợ việc lập kế hoạch đường đi. Bản đồ semantic có thể bổ sung khả năng phân biệt giữa tường với con người hoặc giữa đường có thể lái xe với vỉa hè.
• Instance segmentation tách biệt từng đối tượng riêng lẻ, chẳng hạn như hai chiếc xe khác nhau. Semantic segmentation nhóm cả hai chiếc xe vào chung một lớp pixel. Bản đồ semantic có thể sử dụng một trong hai cách biểu diễn tùy thuộc vào việc danh tính đối tượng có cần được giữ lại hay không.
• Semantic search tổ chức thông tin theo độ tương đồng về mặt khái niệm, trong khi semantic mapping trong robotics liên kết các ý nghĩa với các vị trí vật lý.

Các ứng dụng trong thực tế#

Autonomous navigation: Một robot giao hàng có thể dán nhãn mặt sàn là có thể di chuyển qua, tường và lề đường là vật cản, và con người là mối nguy hiểm động. Các nhãn này có thể được chuyển thành chi phí điều hướng để bộ lập kế hoạch ưu tiên các bề mặt an toàn thay vì đối xử với mọi vùng hiển thị như nhau. Hướng dẫn Nav2 semantic segmentation navigation tutorial cho thấy cách mặt nạ lớp và điểm mây đã đăng ký có thể cập nhật bản đồ chi phí của robot.

Urban driving: Một phương tiện tự hành có thể chiếu các dự đoán về đường, vỉa hè, tòa nhà, thảm thực vật, người đi bộ và phương tiện vào một bản đồ thế giới liên tục. Điều này giúp hệ thống hiểu ranh giới làn đường, nhận diện các khu vực không thể lái xe, và suy luận về nơi những người tham gia giao thông dễ bị tổn thương có thể xuất hiện. Tập dữ liệu chính thức Cityscapes urban-scene dataset cung cấp hình ảnh đường phố được dán nhãn dày đặc để phát triển khả năng hiểu khung cảnh loại này.

Semantic Perception với Ultralytics YOLO#

Quy trình Ultralytics semantic segmentation workflow sau đây tạo ra một bản đồ lớp dày đặc bằng cách sử dụng YOLO26. Đầu ra đó sau đó có thể được chiếu vào lưới 2D hoặc hệ thống tọa độ thế giới 3D bởi một đường ống lập bản đồ.

from ultralytics import YOLO

# Load a pretrained semantic segmentation model
model = YOLO("yolo26n-sem.pt")

# Predict a per-pixel class map
results = model("https://ultralytics.com/images/bus.jpg")

# Select the first result and inspect its map dimensions
result = results[0]
class_map = result.semantic_mask.data
print(class_map.shape)

result.save(filename="semantic_scene.jpg")

Biến semantic_mask chứa một ID lớp cho mỗi pixel hình ảnh. Nó cung cấp lớp nhận thức semantic, trong khi chiều sâu, hiệu chuẩn, định vị và sự kết hợp theo thời gian vẫn là bắt buộc để xây dựng một bản đồ không gian liên tục. Các tập dữ liệu cấp độ pixel tùy chỉnh có thể được dán nhãn và quản lý bằng các công cụ Ultralytics Platform annotation tools.

Các Cân nhắc Thiết kế Thực tế#

Các bản đồ semantic đáng tin cậy đòi hỏi định nghĩa lớp nhất quán, hiệu chuẩn cảm biến chính xác, dấu thời gian đồng bộ và dữ liệu huấn luyện mang tính đại diện. Sự trôi dạt tư thế có thể đặt các nhãn đúng vào các vị trí sai, trong khi các lỗi phân đoạn có thể đánh dấu các vật cản thành không gian có thể di chuyển. Các đối tượng động cũng yêu cầu các quy tắc hết hạn hoặc theo dõi để một phương tiện đang đỗ hoặc người đi bộ không bị kẹt vĩnh viễn trong bản đồ.

Các nhóm nên xác thực cả độ chính xác nhận thức và tính nhất quán về mặt không gian, kiểm tra các ranh giới khó và các cấu trúc nhỏ, giữ lại độ tin cậy dự đoán bất cứ khi nào có thể, và xác định cách các quan sát mâu thuẫn được cập nhật. Đối với điều hướng quan trọng về an toàn, thông tin semantic nên bổ sung—chứ không tự động thay thế—cảm biến vật cản hình học và kiểm tra va chạm.