Instance Segmentation

Phân đoạn theo instance là một kỹ thuật tiên tiến trong thị giác máy tính (CV), giúp xác định và phân định từng đối tượng riêng biệt cần quan tâm trong một hình ảnh ở cấp độ pixel. Trong khi phát hiện đối tượng tiêu chuẩn định vị các vật thể bằng hộp giới hạn hình chữ nhật, phân đoạn theo instance đi sâu hơn vào quá trình phân tích bằng cách tạo một mask chính xác cho từng thực thể được phát hiện. Khả năng này cho phép các model trí tuệ nhân tạo (AI) phân biệt các đối tượng riêng lẻ thuộc cùng một lớp—chẳng hạn như tách hai người đang chồng lấp lên nhau—mang lại khả năng hiểu cảnh quan trực quan phong phú và chi tiết hơn so với các phương pháp phân loại đơn giản hơn.

Phân biệt các loại phân đoạn#

Để hiểu đầy đủ tính hữu ích của phân đoạn theo instance, việc phân biệt phương pháp này với các tác vụ xử lý ảnh liên quan khác là rất hữu ích. Mỗi phương pháp cung cấp một mức độ chi tiết khác nhau, tùy thuộc vào yêu cầu của ứng dụng.

• Phân đoạn ngữ nghĩa: Phương pháp này phân loại mọi pixel trong một hình ảnh vào một danh mục (ví dụ: "đường", "bầu trời", "ô tô"). Tuy nhiên, phương pháp này không phân biệt các đối tượng riêng biệt thuộc cùng một danh mục. Nếu có ba chiếc ô tô đỗ cạnh nhau, phân đoạn ngữ nghĩa sẽ xem chúng là một vùng "ô tô" duy nhất.
• Phân đoạn theo instance: Phương pháp này xem mỗi đối tượng là một thực thể riêng biệt. Phương pháp phát hiện từng instance và gán một nhãn duy nhất cho các pixel của từng instance. Trong ví dụ về những chiếc ô tô đang đỗ, phân đoạn theo instance sẽ tạo ra ba mask riêng biệt, lần lượt xác định "Ô tô A", "Ô tô B" và "Ô tô C".
• Phân đoạn toàn cảnh: Một phương pháp lai kết hợp việc gán nhãn cho nền của phân đoạn ngữ nghĩa với khả năng xác định các đối tượng có thể đếm được của phân đoạn theo instance.

Cơ chế phân tích ở cấp pixel#

Các model phân đoạn theo instance hiện đại thường dựa trên các kiến trúc deep learning (DL) tiên tiến, đặc biệt là Mạng nơ-ron tích chập (CNNs). Các mạng này trích xuất đặc trưng từ hình ảnh để dự đoán cả lớp của đối tượng và đường bao không gian của đối tượng đó. Trước đây, các kiến trúc hai giai đoạn như Mask R-CNN là tiêu chuẩn, trước tiên đề xuất các vùng quan tâm rồi tinh chỉnh chúng thành các mask.

Tuy nhiên, những tiến bộ gần đây đã dẫn đến các detector một giai đoạn như YOLO26, thực hiện phát hiện và phân đoạn đồng thời. Phương pháp "end-to-end" này cải thiện đáng kể tốc độ suy luận thời gian thực, giúp có thể áp dụng phân đoạn độ chính xác cao cho các luồng video trực tiếp trên phần cứng phổ thông.

Các ứng dụng trong thực tế#

Các ranh giới chính xác do phân đoạn theo instance cung cấp đóng vai trò quan trọng trong những ngành mà việc hiểu chính xác hình dạng và vị trí của đối tượng là cần thiết cho quá trình ra quyết định.

• AI trong lĩnh vực chăm sóc sức khỏe: Trong chẩn đoán y khoa, việc xác định chính xác kích thước và hình dạng của khối u hoặc tổn thương là yếu tố then chốt. Phân đoạn theo instance cho phép các model phác thảo bất thường trong ảnh chụp MRI với độ chính xác cao, hỗ trợ bác sĩ chẩn đoán hình ảnh lập kế hoạch điều trị và theo dõi diễn tiến bệnh.
• Xe tự hành: Xe tự lái dựa vào phân đoạn để điều hướng trong các môi trường phức tạp. Bằng cách sử dụng các dataset như Cityscapes, phương tiện có thể xác định các bề mặt có thể di chuyển, nhận diện vạch làn đường và tách từng người đi bộ trong các lối sang đường đông đúc để đảm bảo an toàn.
• AI trong nông nghiệp: Nông nghiệp chính xác sử dụng phân đoạn để theo dõi tình trạng cây trồng. Robot được trang bị hệ thống thị giác có thể xác định từng quả để thu hoạch tự động hoặc phát hiện các loại cỏ dại cụ thể nhằm phun thuốc diệt cỏ có mục tiêu, qua đó giảm lượng hóa chất sử dụng và tối ưu hóa năng suất.

Triển khai phân đoạn với Python#

Các developer có thể dễ dàng triển khai phân đoạn theo instance bằng thư viện ultralytics. Ví dụ sau minh họa cách tải một model YOLO26 đã được pre-train và tạo các mask phân đoạn cho một hình ảnh.

from ultralytics import YOLO

# Load a pre-trained YOLO26 instance segmentation model
# The 'n' suffix denotes the nano version, optimized for speed
model = YOLO("yolo26n-seg.pt")

# Run inference on an image
# This predicts classes, bounding boxes, and masks
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the results
# Displays the image with overlaid segmentation masks
results[0].show()

Thách thức và huấn luyện model#

Mặc dù mạnh mẽ, phân đoạn theo instance đòi hỏi nhiều tài nguyên tính toán hơn so với phát hiện bằng hộp giới hạn đơn giản. Việc tạo các mask chính xác đến từng pixel yêu cầu đáng kể tài nguyên GPU và gán nhãn dữ liệu chính xác. Việc gán nhãn dữ liệu cho các tác vụ này bao gồm vẽ các đa giác khít quanh từng đối tượng, có thể tốn nhiều thời gian.

Để tinh gọn quy trình này, các team thường sử dụng những công cụ như Ultralytics Platform, cung cấp các tính năng quản lý dataset, tự động gán nhãn và huấn luyện trên cloud. Điều này cho phép developer fine-tune model trên dữ liệu tùy chỉnh—chẳng hạn như các linh kiện công nghiệp cụ thể hoặc mẫu vật sinh học—và triển khai chúng một cách hiệu quả lên các thiết bị edge AI bằng các format được tối ưu hóa như ONNX hoặc TensorRT.