Panoptic Segmentation

Phân đoạn toàn cảnh là một tác vụ thị giác máy tính (CV) toàn diện, hợp nhất hai hình thức phân tích ảnh riêng biệt: phân đoạn ngữ nghĩa và phân đoạn theo instance. Trong khi các phương pháp truyền thống xử lý riêng từng tác vụ—hoặc phân loại tổng quát các vùng nền như "bầu trời" hay "cỏ", hoặc phát hiện các đối tượng cụ thể như "ô tô" hay "người"—phân đoạn toàn cảnh kết hợp chúng trong một framework thống nhất. Phương pháp này gán một giá trị duy nhất cho mọi pixel trong ảnh, cung cấp khả năng hiểu đầy đủ về cảnh và phân biệt giữa các đối tượng có thể đếm được (gọi là "things") với các vùng nền vô định hình (gọi là "stuff"). Bằng cách bảo đảm mọi pixel đều được tính đến và phân loại, kỹ thuật này mô phỏng nhận thức thị giác của con người sát hơn các phương pháp phát hiện riêng lẻ.

Khái niệm cốt lõi: Stuff và Things#

Để hiểu đầy đủ về phân đoạn toàn cảnh, cần nắm được tính lưỡng phân của thông tin thị giác mà tác vụ này xử lý. Tác vụ chia thế giới thị giác thành hai nhóm chính:

• Nhóm Stuff: Đại diện cho các vùng vô định hình có kết cấu hoặc vật liệu tương tự và không thể đếm được. Ví dụ bao gồm đường, nước, cỏ, bầu trời và tường. Trong phân tích toàn cảnh, tất cả pixel thuộc về một "con đường" được nhóm thành một vùng ngữ nghĩa duy nhất vì việc phân biệt giữa "đoạn đường A" và "đoạn đường B" nhìn chung không có ý nghĩa.
• Nhóm Things: Là các đối tượng có thể đếm được, với hình học và ranh giới rõ ràng. Ví dụ bao gồm người đi bộ, phương tiện, động vật và công cụ. Các model panoptic phải xác định mỗi "thing" là một thực thể duy nhất, bảo đảm hai người đứng cạnh nhau được nhận diện là các instance riêng biệt (ví dụ: "Người A" và "Người B") thay vì một vùng hợp nhất.

Sự phân biệt này rất quan trọng đối với các hệ thống trí tuệ nhân tạo (AI) tiên tiến, cho phép chúng điều hướng môi trường đồng thời tương tác với các đối tượng cụ thể.

Kiến trúc panoptic hoạt động như thế nào#

Các kiến trúc phân đoạn toàn cảnh hiện đại thường sử dụng một backbone học sâu (DL) mạnh mẽ, chẳng hạn như Mạng nơ-ron tích chập (CNN) hoặc Transformer thị giác (ViT), để trích xuất các biểu diễn đặc trưng phong phú từ ảnh. Mạng thường được chia thành hai nhánh hoặc "head":

1. Semantic Head: Nhánh này dự đoán một nhãn lớp cho mọi pixel, tạo ra một bản đồ dày đặc về phần "stuff" trong cảnh.

2. Instance Head: Đồng thời, nhánh này sử dụng các kỹ thuật tương tự phát hiện đối tượng để định vị các "thing" và tạo mask cho chúng.

Sau đó, một module hợp nhất hoặc bước hậu xử lý sẽ giải quyết xung đột giữa các đầu ra này—chẳng hạn như xác định một pixel thuộc về instance "người" hay bức tường "nền" phía sau—để tạo ra bản đồ phân đoạn toàn cảnh cuối cùng, không chồng lấn.

Các ứng dụng trong thực tế#

Bản chất toàn diện của phân đoạn toàn cảnh khiến nó không thể thiếu trong những ngành mà an toàn và ngữ cảnh có vai trò then chốt.

• Xe tự hành: Ô tô tự lái dựa vào khả năng nhận thức panoptic để điều hướng an toàn. Thành phần ngữ nghĩa xác định các bề mặt có thể chạy xe (đường) và ranh giới (vỉa hè), trong khi thành phần instance theo dõi các chướng ngại vật động như người đi bộ và các phương tiện khác. Góc nhìn hợp nhất này giúp các thuật toán lập kế hoạch của xe đưa ra quyết định an toàn hơn trong các tình huống quản lý giao thông phức tạp.
• Phân tích ảnh y tế: Trong bệnh học kỹ thuật số, việc phân tích mẫu mô thường đòi hỏi phải phân đoạn cấu trúc mô tổng quát (stuff), đồng thời đếm và đo các loại tế bào hoặc khối u cụ thể (things). Phân tích chi tiết này hỗ trợ bác sĩ định lượng bệnh và chẩn đoán chính xác.
• Robotics: Các robot dịch vụ hoạt động trong những môi trường không có cấu trúc rõ ràng, chẳng hạn như nhà ở hoặc kho hàng, cần phân biệt giữa sàn nhà mà chúng có thể di chuyển trên đó (nền) và các đối tượng mà chúng cần thao tác hoặc tránh (instance).

Triển khai phân đoạn với Ultralytics#

Mặc dù việc huấn luyện panoptic đầy đủ có thể phức tạp, các developer vẫn có thể đạt được phân đoạn theo instance độ chính xác cao—một thành phần quan trọng trong bài toán panoptic—bằng Ultralytics YOLO26. Model tiên tiến này cung cấp hiệu năng thời gian thực và được tối ưu hóa để triển khai trên edge.

Ví dụ Python sau đây minh họa cách tải một model phân đoạn đã được huấn luyện trước và chạy inference để tách biệt các đối tượng riêng biệt:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to segment individual instances
# The model identifies 'things' and generates pixel-perfect masks
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with overlaid segmentation masks
results[0].show()

Đối với các team muốn quản lý dữ liệu huấn luyện và tự động hóa quy trình gán nhãn, Ultralytics Platform cung cấp một bộ công cụ quản lý dataset và huấn luyện model. Gán nhãn dữ liệu chất lượng cao rất quan trọng đối với các tác vụ phân đoạn, vì model cần các nhãn chính xác ở cấp pixel để học hiệu quả.

Phân biệt các thuật ngữ liên quan#

Hiểu rõ những khác biệt tinh tế giữa các loại phân đoạn là yếu tố then chốt để lựa chọn model phù hợp cho dự án của bạn:

• Phân đoạn ngữ nghĩa: Chỉ tập trung phân loại pixel thành các nhóm. Phương pháp này trả lời câu hỏi "pixel này thuộc lớp nào?" (ví dụ: cây, bầu trời) nhưng không thể tách các đối tượng riêng lẻ cùng lớp. Nếu hai ô tô chồng lấn lên nhau, chúng sẽ xuất hiện như một vùng "ô tô" lớn duy nhất.
• Phân đoạn theo instance: Chỉ tập trung phát hiện và tạo mask cho các đối tượng có thể đếm được. Phương pháp này trả lời câu hỏi "đây là đối tượng nào?" nhưng thường hoàn toàn bỏ qua ngữ cảnh nền.
• Phân đoạn toàn cảnh: Kết hợp cả hai phương pháp. Phương pháp này trả lời các câu hỏi "pixel này là gì?" và "nó thuộc về instance đối tượng nào?" trên toàn bộ ảnh, bảo đảm không có pixel nào bị bỏ lại mà chưa được phân loại.

Để tìm hiểu thêm về các định dạng dataset được sử dụng trong những tác vụ này, bạn có thể xem tài liệu về dataset COCO, một benchmark tiêu chuẩn để đo lường hiệu năng phân đoạn.