Panoptic Segmentation

Phân đoạn toàn cảnh (panoptic segmentation) là một tác vụ computer vision (CV) toàn diện, hợp nhất hai hình thức phân tích hình ảnh riêng biệt: phân đoạn ngữ nghĩa (semantic segmentation) và phân đoạn thực thể (instance segmentation). Trong khi các phương pháp truyền thống xử lý các tác vụ này một cách riêng biệt — hoặc phân loại các vùng nền như "bầu trời" hoặc "cỏ" một cách tổng quát, hoặc phát hiện các đối tượng cụ thể như "xe hơi" hoặc "người" — thì phân đoạn toàn cảnh kết hợp chúng thành một khuôn khổ duy nhất và gắn kết. Phương pháp này gán một giá trị duy nhất cho mọi pixel trong một hình ảnh, cung cấp khả năng hiểu cảnh toàn diện, phân biệt giữa các đối tượng đếm được (được gọi là "things" - sự vật) và các vùng nền vô định hình (được gọi là "stuff" - chất liệu/vùng nền). Bằng cách đảm bảo mọi pixel đều được tính đến và phân loại, kỹ thuật này mô phỏng nhận thức thị giác của con người sát thực hơn so với các phương pháp phát hiện biệt lập.

Khái niệm cốt lõi: Stuff và Things#

Để nắm bắt đầy đủ panoptic segmentation, việc hiểu rõ sự phân đôi của thông tin thị giác mà nó xử lý là rất hữu ích. Tác vụ này chia thế giới thị giác thành hai danh mục chính:

• Stuff Categories: Những danh mục này đại diện cho các vùng vô định hình có kết cấu hoặc chất liệu tương tự và không thể đếm được. Các ví dụ bao gồm đường sá, nước, cỏ, bầu trời và tường. Trong một phân tích toàn cảnh, tất cả các pixel thuộc về "đường" được nhóm lại thành một vùng ngữ nghĩa duy nhất vì việc phân biệt giữa "đoạn đường A" và "đoạn đường B" thường không có ý nghĩa.
• Things Categories: Đây là các đối tượng có thể đếm được với hình học và ranh giới xác định. Các ví dụ bao gồm người đi bộ, phương tiện, động vật và công cụ. Các mô hình phânoptic phải xác định mỗi "sự vật" như một thực thể duy nhất, đảm bảo rằng hai người đứng cạnh nhau được nhận diện là các instance riêng biệt (ví dụ: "Người A" và "Người B") thay vì một khối gộp chung.

Sự phân biệt này rất quan trọng đối với các hệ thống artificial intelligence (AI) tiên tiến, cho phép chúng điều hướng qua các môi trường đồng thời tương tác với các đối tượng cụ thể.

Cách thức hoạt động của các kiến trúc Panoptic#

Các kiến trúc phân đoạn toàn cảnh hiện đại thường sử dụng một phần lõi deep learning (DL) mạnh mẽ, chẳng hạn như Convolutional Neural Network (CNN) hoặc Vision Transformer (ViT), để trích xuất các biểu diễn đặc trưng phong phú từ một hình ảnh. Mạng này thường tách thành hai nhánh hoặc "head":

1. Semantic Head: Nhánh này dự đoán nhãn lớp cho mọi pixel, tạo ra một bản đồ dày đặc của các "stuff" trong cảnh.

2. Instance Head: Đồng thời, nhánh này sử dụng các kỹ thuật tương tự như object detection để định vị các "sự vật" và tạo mặt nạ (mask) cho chúng.

Một mô-đun kết hợp hoặc bước hậu xử lý sau đó giải quyết các xung đột giữa các đầu ra này — ví dụ, quyết định xem một pixel thuộc về một instance "người" hay bức tường "nền" phía sau họ — để tạo ra một panoptic segmentation map cuối cùng không chồng chéo.

Các ứng dụng trong thực tế#

Tính chất toàn diện của panoptic segmentation khiến nó trở nên không thể thiếu đối với các ngành công nghiệp nơi sự an toàn và bối cảnh là tối quan trọng.

• Autonomous Vehicles: Xe tự lái dựa vào nhận thức toàn cảnh để điều hướng an toàn. Thành phần ngữ nghĩa xác định các bề mặt có thể lái xe (đường) và ranh giới (vỉa hè), trong khi thành phần instance theo dõi các chướng ngại vật động như người đi bộ và các phương tiện khác. Góc nhìn thống nhất này giúp các thuật toán lập kế hoạch của xe đưa ra các quyết định an toàn hơn trong các kịch bản traffic management phức tạp.
• Medical Image Analysis: Trong giải phẫu bệnh kỹ thuật số, việc phân tích các mẫu mô thường đòi hỏi phải phân đoạn cấu trúc mô chung (stuff) đồng thời đếm và đo lường các loại tế bào hoặc khối u cụ thể (things). Phân tích chi tiết này hỗ trợ bác sĩ định lượng và chẩn đoán bệnh chính xác.
• Robotics: Các robot dịch vụ hoạt động trong các môi trường phi cấu trúc, chẳng hạn như gia đình hoặc nhà kho, cần phải phân biệt giữa sàn nhà mà chúng có thể di chuyển qua (background) và các đối tượng mà chúng cần tương tác hoặc tránh né (instances).

Triển khai phân đoạn với Ultralytics#

Mặc dù quá trình huấn luyện toàn cảnh đầy đủ có thể phức tạp, các lập trình viên có thể đạt được instance segmentation độ chính xác cao — một thành phần quan trọng của bài toán toàn cảnh — bằng cách sử dụng Ultralytics YOLO26. Mô hình tối tân này cung cấp hiệu suất thời gian thực và được tối ưu hóa cho việc triển khai ở biên (edge deployment).

Ví dụ Python sau đây minh họa cách tải một model segmentation đã được huấn luyện sẵn và chạy inference để tách biệt các đối tượng riêng biệt:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to segment individual instances
# The model identifies 'things' and generates pixel-perfect masks
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with overlaid segmentation masks
results[0].show()

Đối với các nhóm muốn quản lý training data của họ và tự động hóa quy trình gán nhãn, Ultralytics Platform cung cấp một bộ công cụ để quản lý tập dữ liệu và huấn luyện mô hình. data annotation chất lượng cao đóng vai trò quan trọng đối với các tác vụ phân đoạn, vì các mô hình yêu cầu các nhãn cấp độ pixel chính xác để học tập hiệu quả.

Phân biệt các thuật ngữ liên quan#

Hiểu rõ các sắc thái giữa các loại phân đoạn là điều cốt yếu để chọn đúng model cho dự án của bạn:

• Semantic Segmentation: Chỉ tập trung vào việc phân loại các pixel thành các danh mục. Nó trả lời câu hỏi "pixel này thuộc lớp nào?" (ví dụ: cây, bầu trời) nhưng không thể tách rời các đối tượng riêng lẻ cùng lớp. Nếu hai xe hơi chồng lên nhau, chúng xuất hiện thành một khối "xe hơi" lớn duy nhất.
• Instance Segmentation: Chỉ tập trung vào việc phát hiện và tạo mặt nạ cho các đối tượng đếm được. Nó trả lời câu hỏi "đây là đối tượng nào?" nhưng thường bỏ qua hoàn toàn bối cảnh nền.
• Panoptic Segmentation: Kết hợp cả hai. Nó trả lời câu hỏi "pixel này là gì?" và "nó thuộc về instance đối tượng nào?" cho toàn bộ hình ảnh, đảm bảo không có pixel nào bị bỏ sót không được phân loại.

Để khám phá thêm về các định dạng tập dữ liệu được sử dụng trong các tác vụ này, bạn có thể xem lại COCO dataset documentation, đây là một tiêu chuẩn chuẩn mực để đo lường hiệu suất phân đoạn.