Panoptic Segmentation

Panoptic segmentation là một tác vụ computer vision (CV) toàn diện, hợp nhất hai hình thức phân tích hình ảnh riêng biệt: semantic segmentation và instance segmentation. Trong khi các phương pháp truyền thống xử lý các tác vụ này một cách riêng lẻ—hoặc phân loại các vùng nền như "bầu trời" hoặc "cỏ" một cách tổng quát, hoặc phát hiện các đối tượng cụ thể như "xe hơi" hoặc "người"—panoptic segmentation kết hợp chúng thành một khuôn mẫu thống nhất, mạch lạc. Cách tiếp cận này gán một giá trị duy nhất cho mọi pixel trong ảnh, cung cấp hiểu biết hoàn chỉnh về cảnh quan, phân biệt giữa các đối tượng có thể đếm được (được gọi là "things") và các vùng nền vô định hình (được gọi là "stuff"). Bằng cách đảm bảo rằng mọi pixel đều được tính đến và phân loại, kỹ thuật này mô phỏng nhận thức thị giác của con người sát sao hơn so với các phương pháp phát hiện riêng lẻ.

Link to this sectionKhái niệm cốt lõi: Stuff và Things#

Để nắm bắt đầy đủ panoptic segmentation, việc hiểu rõ sự phân đôi của thông tin thị giác mà nó xử lý là rất hữu ích. Tác vụ này chia thế giới thị giác thành hai danh mục chính:

• Stuff Categories: Đây là các vùng vô định hình có kết cấu hoặc chất liệu tương đồng và không thể đếm được. Các ví dụ bao gồm đường xá, nước, cỏ, bầu trời và tường. Trong phân tích panoptic, tất cả các pixel thuộc về "đường" được nhóm vào một vùng ngữ nghĩa duy nhất vì việc phân biệt giữa "đoạn đường A" và "đoạn đường B" thường không liên quan.
• Things Categories: Đây là các đối tượng có thể đếm được với hình học và ranh giới xác định. Các ví dụ bao gồm người đi bộ, phương tiện, động vật và công cụ. Các model panoptic phải xác định mỗi "thing" như một thực thể duy nhất, đảm bảo rằng hai người đứng cạnh nhau được công nhận là các instance riêng biệt (ví dụ: "Người A" và "Người B") thay vì một khối hợp nhất.

Sự phân biệt này rất quan trọng đối với các hệ thống artificial intelligence (AI) tiên tiến, cho phép chúng điều hướng trong môi trường trong khi đồng thời tương tác với các đối tượng cụ thể.

Link to this sectionCách thức hoạt động của các kiến trúc Panoptic#

Các kiến trúc panoptic segmentation hiện đại thường sử dụng một backbone deep learning (DL) mạnh mẽ, chẳng hạn như Convolutional Neural Network (CNN) hoặc Vision Transformer (ViT), để trích xuất các biểu diễn đặc trưng phong phú từ hình ảnh. Mạng lưới này thường tách thành hai nhánh hoặc "heads":

1. Semantic Head: Nhánh này dự đoán nhãn lớp cho mọi pixel, tạo ra một bản đồ dày đặc của các "stuff" trong cảnh.

2. Instance Head: Đồng thời, nhánh này sử dụng các kỹ thuật tương tự như object detection để định vị các "things" và tạo mask cho chúng.

Một module hợp nhất hoặc bước hậu xử lý sau đó sẽ giải quyết các xung đột giữa các đầu ra này—ví dụ: quyết định xem một pixel thuộc về instance "người" hay bức tường "nền" phía sau họ—để tạo ra một panoptic segmentation map cuối cùng không chồng lấp.

Link to this sectionCác ứng dụng trong thực tế#

Tính chất toàn diện của panoptic segmentation khiến nó trở nên không thể thiếu đối với các ngành công nghiệp nơi sự an toàn và bối cảnh là tối quan trọng.

• Autonomous Vehicles: Xe tự lái dựa vào nhận thức panoptic để điều hướng an toàn. Thành phần ngữ nghĩa xác định các bề mặt có thể lái được (đường) và ranh giới (vỉa hè), trong khi thành phần instance theo dõi các chướng ngại vật động như người đi bộ và các phương tiện khác. Góc nhìn thống nhất này giúp các thuật toán lập kế hoạch của xe đưa ra các quyết định an toàn hơn trong các kịch bản traffic management phức tạp.
• Medical Image Analysis: Trong bệnh học kỹ thuật số, việc phân tích các mẫu mô thường đòi hỏi phải phân đoạn cấu trúc mô chung (stuff) đồng thời đếm và đo lường các loại tế bào hoặc khối u cụ thể (things). Sự phân tích chi tiết này hỗ trợ các bác sĩ trong việc định lượng và chẩn đoán bệnh chính xác.
• Robotics: Robot dịch vụ hoạt động trong các môi trường không cấu trúc, chẳng hạn như nhà ở hoặc kho bãi, cần phải phân biệt giữa sàn nhà mà chúng có thể di chuyển qua (nền) và các đối tượng mà chúng cần thao tác hoặc tránh (instances).

Link to this sectionTriển khai phân đoạn với Ultralytics#

Mặc dù quá trình huấn luyện panoptic toàn diện có thể phức tạp, các nhà phát triển có thể đạt được instance segmentation độ chính xác cao—một thành phần quan trọng của mảnh ghép panoptic—sử dụng Ultralytics YOLO26. Model hiện đại này cung cấp hiệu suất thời gian thực và được tối ưu hóa cho triển khai ở edge.

Ví dụ Python sau đây minh họa cách tải một model segmentation đã được huấn luyện sẵn và chạy inference để tách biệt các đối tượng riêng biệt:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to segment individual instances
# The model identifies 'things' and generates pixel-perfect masks
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with overlaid segmentation masks
results[0].show()

Đối với các đội ngũ muốn quản lý training data và tự động hóa quy trình gán nhãn, Ultralytics Platform cung cấp một bộ công cụ để quản lý bộ dữ liệu và huấn luyện model. data annotation chất lượng cao là rất quan trọng cho các tác vụ phân đoạn, vì các model yêu cầu các nhãn chính xác ở cấp độ pixel để học một cách hiệu quả.

Link to this sectionPhân biệt các thuật ngữ liên quan#

Hiểu rõ các sắc thái giữa các loại phân đoạn là điều cốt yếu để chọn đúng model cho dự án của bạn:

• Semantic Segmentation: Chỉ tập trung vào việc phân loại các pixel thành các danh mục. Nó trả lời câu hỏi "pixel này thuộc lớp nào?" (ví dụ: cây, bầu trời) nhưng không thể tách riêng các đối tượng cá thể cùng lớp. Nếu hai chiếc xe chồng lấp lên nhau, chúng xuất hiện như một khối "xe" lớn duy nhất.
• Instance Segmentation: Chỉ tập trung vào việc phát hiện và tạo mask cho các đối tượng có thể đếm được. Nó trả lời câu hỏi "đây là đối tượng nào?" nhưng thường bỏ qua hoàn toàn bối cảnh nền.
• Panoptic Segmentation: Kết hợp cả hai. Nó trả lời câu hỏi "pixel này là gì?" và "nó thuộc về instance đối tượng nào?" cho toàn bộ hình ảnh, đảm bảo không có pixel nào bị bỏ sót không được phân loại.

Để khám phá thêm về các định dạng bộ dữ liệu được sử dụng trong các tác vụ này, bạn có thể xem lại COCO dataset documentation, đây là tiêu chuẩn đánh giá hiệu suất phân đoạn.