Image Segmentation

Phân đoạn ảnh là tác vụ thị giác máy tính chia ảnh thành các vùng bằng cách gán nhãn cho pixel. Đầu ra là tập hợp các mask cho biết chính xác pixel nào thuộc về lớp hoặc đối tượng nào. So với phát hiện đối tượng, vốn định vị từng đối tượng bằng bounding box hình chữ nhật có chứa cả nền, phân đoạn bám theo đường viền thực của từng đối tượng hoặc vùng và chi tiết hơn nhiều so với phân loại ảnh, vốn gán một nhãn cho toàn bộ ảnh. Độ chính xác đó rất quan trọng khi diện tích, đường viền hoặc sự tiếp xúc giữa các đối tượng là yếu tố quyết định, từ việc đo khối u đến tìm khoảng trống phía trước xe.

Các loại phân đoạn ảnh#

Các tác vụ phân đoạn khác nhau về ý nghĩa của nhãn pixel. Thị giác máy tính phân biệt "thing", tức các đối tượng có thể đếm như người và ô tô, với "stuff", tức các vùng không có hình dạng rõ ràng như đường, cỏ và bầu trời.

• Phân đoạn ngữ nghĩa: Gán một lớp cho mọi pixel, bao gồm cả thing và stuff, rồi gộp mọi đối tượng cùng lớp thành một vùng.
• Phân đoạn instance: Phát hiện từng đối tượng có thể đếm và cấp cho mỗi đối tượng một mask cùng ID riêng, để hai người đứng chạm nhau vẫn được tách biệt; pixel nền không được gán nhãn.
• Phân đoạn panoptic: Gán một lớp cho mọi pixel và thêm ID instance cho pixel thuộc các đối tượng có thể đếm, kết hợp hai phương pháp còn lại.
• Phân đoạn tương tác: Trả về mask cho nội dung được chỉ định bằng cú nhấp chuột, box hoặc prompt văn bản của người dùng, giống cách các model hỗ trợ prompt như Segment Anything Model (SAM) hoạt động.

Ba loại đầu tiên trả lời các câu hỏi khác nhau, giúp việc lựa chọn trở thành một quyết định ngắn gọn:

Cách các model phân đoạn hoạt động#

Các phương pháp cổ điển nhóm pixel dựa trên tín hiệu mức thấp như cường độ, màu sắc và cạnh: phân ngưỡng bằng phương pháp Otsu, region growing, phép biến đổi watershed, phân cụm màu k-means và graph cut. OpenCV triển khai một số phương pháp trong đó; các phương pháp này vẫn hữu ích với ảnh sạch, được kiểm soát như linh kiện có đèn nền trên băng chuyền, nhưng chúng nhóm pixel mà không biết mỗi nhóm đại diện cho điều gì.

Các model deep learning học cả ranh giới lẫn ý nghĩa của các vùng từ mask đã gán nhãn. Mạng encoder-decoder như U-Net giảm kích thước ảnh để nắm bắt ngữ cảnh rồi tăng kích thước trở lại độ phân giải đầy đủ nhằm dự đoán từng pixel. Model phân đoạn instance như Mask R-CNN và model phân đoạn YOLO gắn một đầu mask vào model phát hiện đối tượng; các model Transformer như Mask2Former xử lý phân đoạn ngữ nghĩa, instance và panoptic bằng một kiến trúc duy nhất. Model nền tảng hỗ trợ prompt đã mở rộng phân đoạn sang các đối tượng tùy ý: SAM ra mắt năm 2023 sau khi được huấn luyện trên 1,1 tỷ mask từ 11 triệu ảnh; SAM 2 bổ sung video vào năm 2024; và SAM 3 ra mắt vào tháng 11 năm 2025, phân đoạn mọi instance của một khái niệm được nêu trong prompt văn bản. Vì nhãn phân đoạn là polygon hoặc mask theo từng pixel, mất nhiều thời gian vẽ hơn box, nên các model hỗ trợ prompt hiện có thể tạo bản nháp nhiều mask huấn luyện chỉ từ một lần nhấp.

Loại tác vụ cũng quyết định hình dạng đầu ra. Ultralytics cung cấp YOLO26 dưới dạng hai họ model riêng biệt: -seg cho phân đoạn instance và -sem cho phân đoạn ngữ nghĩa; chạy hai model trên cùng một ảnh sẽ cho thấy sự khác biệt:

from ultralytics import YOLO

# Tải model phân đoạn instance và model phân đoạn ngữ nghĩa
instance_model = YOLO("yolo26n-seg.pt")
semantic_model = YOLO("yolo26n-sem.pt")

# Phân đoạn cùng một ảnh đường phố bằng cả hai model
image = "https://ultralytics.com/images/bus.jpg"
instance_results = instance_model(image)
semantic_results = semantic_model(image)

# Đầu ra instance: một mask nhị phân cho mỗi đối tượng được phát hiện, có kích thước (objects, height, width)
print(instance_results[0].masks.data.shape)

# Đầu ra ngữ nghĩa: một bản đồ lớp cho toàn bộ ảnh, có kích thước (height, width)
print(semantic_results[0].semantic_mask.data.shape)

Chiều đầu tiên của đầu ra instance bằng số lượng đối tượng được phát hiện, nhờ vậy có thể đếm kết quả instance. Mỗi loại đầu ra có metric riêng: mean average precision (mAP) của mask cho phân đoạn instance, Intersection over Union (IoU) trung bình cho phân đoạn ngữ nghĩa và chất lượng panoptic (PQ) cho phân đoạn panoptic.

Ứng dụng thực tế#

• Phân tích ảnh y tế: Công cụ X-quang vẽ đường viền các cơ quan, khối u và tổn thương trên ảnh CT và MRI để đo thể tích, lập kế hoạch phẫu thuật hoặc xạ trị.
• Xe tự hành: Hệ thống perception phân đoạn đường, vỉa hè, phương tiện và người đi bộ trong từng khung hình để xác định vùng có thể lái xe.
• Phân tích ảnh vệ tinh: Bản đồ lớp phủ đất gán nhãn mỗi pixel là nước, rừng, đất nông nghiệp hoặc công trình để theo dõi thay đổi theo thời gian.
• Chỉnh sửa ảnh và video: Xóa nền, làm mờ ở chế độ chân dung và thay bầu trời đều dựa vào mask người và bầu trời được tính toán trên thiết bị.
• Robot và sản xuất: Robot sử dụng mask đối tượng để tính điểm gắp trên các linh kiện không đều; hệ thống kiểm định đo chính xác diện tích lỗi như vết xước và vết nứt.