Semantic Mapping

Lập bản đồ ngữ nghĩa là quá trình xây dựng biểu diễn không gian của một môi trường và gắn các nhãn lớp có ý nghĩa—chẳng hạn như đường, tường, ô cửa, người, kệ hoặc thảm thực vật—với các vị trí trong đó. Trong AI và robotics, bản đồ ngữ nghĩa trả lời cả “Có gì ở đâu?” và “Đó là gì?”. Thay vì chỉ biểu diễn cảnh dưới dạng không gian đã bị chiếm dụng và không gian trống, bản đồ này cung cấp thông tin ngữ cảnh hỗ trợ việc điều hướng, lập kế hoạch, tương tác và nhận thức cảnh.

Cách thức hoạt động của lập bản đồ ngữ nghĩa#

Một hệ thống lập bản đồ ngữ nghĩa thường kết hợp nhận thức, hình học, định vị và hợp nhất theo thời gian. Trước tiên, một model phân đoạn ngữ nghĩa phân loại mọi pixel trong ảnh. Ví dụ, tất cả pixel được gắn nhãn “đường” sẽ tạo thành một vùng đường, trong khi các pixel được gắn nhãn “ô tô” xác định các vùng phương tiện. Phần giới thiệu của NVIDIA về phân đoạn ảnh trong robotics minh họa cách các nhãn trên từng pixel này hỗ trợ nhận thức của robot.

Các nhãn pixel riêng lẻ vẫn gắn với ảnh camera hai chiều. Hệ thống cần thông tin hình học, thường đến từ LiDAR, camera stereo hoặc ước lượng độ sâu, để liên kết các pixel với những vị trí vật lý. Quy trình ảnh RGB-D của Open3D minh họa cách các ảnh màu và độ sâu đã đăng ký có thể tạo ra đám mây điểm 3D.

Phép chiếu chính xác cũng phụ thuộc vào các thông số nội tại và ngoại tại của camera. Tài liệu hiệu chuẩn camera của OpenCV giải thích các tham số được sử dụng để liên hệ pixel ảnh với các điểm 3D, trong khi định nghĩa thông điệp CameraInfo của ROS chuẩn hóa thông tin hiệu chuẩn này trong các hệ thống robot.

Cuối cùng, hợp nhất cảm biến kết hợp các quan sát theo thời gian. Tư thế robot và các phép biến đổi tọa độ đặt từng quan sát đã gắn nhãn vào một hệ quy chiếu bản đồ dùng chung. Các phép biến đổi tọa độ tf2 của ROS cung cấp một cơ chế phổ biến để duy trì các mối quan hệ này.

Các khái niệm liên quan và điểm khác biệt chính#

Lập bản đồ ngữ nghĩa có nhiều điểm giao thoa với một số khái niệm về thị giác máy tính và robotics, nhưng chúng giải quyết các vấn đề khác nhau:

• Visual SLAM ước tính vị trí của camera hoặc robot trong khi xây dựng bản đồ hình học. Lập bản đồ ngữ nghĩa bổ sung ý nghĩa lớp vào hình học đó. Do đó, một hệ thống có thể sử dụng SLAM để ước tính tư thế và nhận thức ngữ nghĩa để gắn nhãn.
• Lập bản đồ độ chiếm dụng mô tả liệu các ô là trống, bị chiếm dụng hay chưa xác định. Hướng dẫn lập bản đồ và định vị Nav2 giải thích cách các lưới độ chiếm dụng hỗ trợ lập kế hoạch đường đi. Bản đồ ngữ nghĩa còn có thể phân biệt tường với người hoặc đường có thể chạy với vỉa hè.
• Phân đoạn đối tượng tách các đối tượng riêng lẻ, chẳng hạn như hai chiếc ô tô khác nhau. Phân đoạn ngữ nghĩa nhóm cả hai chiếc ô tô vào cùng một lớp pixel. Bản đồ ngữ nghĩa có thể sử dụng một trong hai dạng biểu diễn, tùy thuộc vào việc có cần duy trì danh tính đối tượng hay không.
• Tìm kiếm ngữ nghĩa tổ chức thông tin theo mức độ tương đồng về khái niệm, trong khi lập bản đồ ngữ nghĩa trong robotics liên kết ý nghĩa với các vị trí vật lý.

Các ứng dụng trong thực tế#

Điều hướng tự động: Một robot giao hàng có thể gắn nhãn sàn là khu vực có thể đi qua, tường và lề đường là chướng ngại vật, còn người là mối nguy động. Các nhãn này có thể được chuyển thành chi phí điều hướng để bộ lập kế hoạch ưu tiên các bề mặt an toàn thay vì xử lý mọi vùng nhìn thấy theo cùng một cách. Hướng dẫn lập bản đồ ngữ nghĩa cho điều hướng Nav2 cho thấy cách các mask lớp và đám mây điểm đã đăng ký có thể cập nhật costmap của robot.

Lái xe đô thị: Một phương tiện tự hành có thể chiếu các dự đoán về đường, vỉa hè, tòa nhà, thảm thực vật, người đi bộ và phương tiện vào một bản đồ thế giới lâu dài. Điều này giúp hệ thống hiểu ranh giới làn đường, nhận diện các khu vực không thể chạy xe và suy luận nơi những người tham gia giao thông dễ bị tổn thương có thể xuất hiện. Bộ dữ liệu cảnh đô thị Cityscapes chính thức cung cấp hình ảnh đường phố được gắn nhãn dày đặc để phát triển loại nhận thức cảnh này.

Nhận thức ngữ nghĩa với Ultralytics YOLO#

Quy trình phân đoạn ngữ nghĩa của Ultralytics sau đây tạo ra một bản đồ lớp dày đặc bằng YOLO26. Kết quả này sau đó có thể được chiếu vào một lưới 2D hoặc hệ tọa độ thế giới 3D bởi một pipeline lập bản đồ.

from ultralytics import YOLO

# Load a pretrained semantic segmentation model
model = YOLO("yolo26n-sem.pt")

# Predict a per-pixel class map
results = model("https://ultralytics.com/images/bus.jpg")

# Select the first result and inspect its map dimensions
result = results[0]
class_map = result.semantic_mask.data
print(class_map.shape)

result.save(filename="semantic_scene.jpg")

semantic_mask chứa một ID lớp cho mỗi pixel ảnh. Nó cung cấp lớp nhận thức ngữ nghĩa, trong khi độ sâu, hiệu chuẩn, định vị và hợp nhất theo thời gian vẫn cần thiết để xây dựng một bản đồ không gian lâu dài. Các bộ dữ liệu pixel tùy chỉnh có thể được gắn nhãn và quản lý bằng các công cụ chú thích của Ultralytics Platform.

Các cân nhắc thiết kế thực tế#

Bản đồ ngữ nghĩa đáng tin cậy yêu cầu định nghĩa lớp nhất quán, hiệu chuẩn cảm biến chính xác, dấu thời gian được đồng bộ và dữ liệu huấn luyện mang tính đại diện. Độ trôi của tư thế có thể đặt các nhãn chính xác vào sai vị trí, trong khi lỗi phân đoạn có thể đánh dấu chướng ngại vật thành không gian có thể đi qua. Các đối tượng động cũng cần quy tắc hết hạn hoặc theo dõi để một phương tiện đang đỗ hoặc người đi bộ không bị nhúng vĩnh viễn vào bản đồ.

Các nhóm nên xác thực cả độ chính xác của nhận thức và tính nhất quán không gian, kiểm thử các ranh giới khó và cấu trúc nhỏ, lưu giữ độ tin cậy của dự đoán khi có thể, đồng thời xác định cách cập nhật các quan sát xung đột. Đối với điều hướng quan trọng về an toàn, thông tin ngữ nghĩa nên bổ trợ—không tự động thay thế—việc cảm nhận chướng ngại vật hình học và kiểm tra va chạm.