Interactive Segmentation

Phân đoạn tương tác là một phương pháp cộng tác cao trong computer vision, nơi người dùng con người cung cấp dữ liệu đầu vào liên tục hoặc một lần—chẳng hạn như các cú nhấp chuột, bounding box hoặc các văn bản gợi ý (text prompt)—để hướng dẫn mô hình AI cách cô lập các đối tượng cụ thể trong một hình ảnh. Không giống như các phương pháp hoàn toàn tự động, kỹ thuật human-in-the-loop này cho phép người dùng xác định chính xác những gì cần được phân đoạn, điều này đặc biệt có giá trị khi xử lý dữ liệu hình ảnh mơ hồ, các đối tượng chồng chéo hoặc các lớp (class) chưa từng thấy. Trong vài năm qua, sự ra đời của các mô hình nền tảng (foundational models) đã cải thiện đáng kể tốc độ và độ chính xác của quy trình này, biến nó thành một công cụ thiết yếu cho data annotation và hình ảnh hóa chính xác.

Link to this sectionPhân đoạn tương tác hoạt động như thế nào#

Về cốt lõi, quy trình làm việc dựa trên promptable concept segmentation, nơi mô hình diễn giải sự hướng dẫn của người dùng để tạo ra một mask hoàn hảo đến từng pixel. Người dùng có thể đặt một cú nhấp "dương tính" vào đối tượng nền trước mà họ muốn chọn và một cú nhấp "âm tính" vào các vùng nền mà họ muốn loại trừ. Các mô hình tiên tiến như Segment Anything Model (SAM) và các phiên bản kế nhiệm, Meta SAM 3, tiến xa hơn bằng cách chấp nhận các loại cử chỉ đa dạng [1], bounding boxes và thậm chí cả các mô tả bằng văn bản để làm căn cứ cho việc tìm kiếm hình ảnh. Mô hình sẽ tính toán ranh giới tối ưu dựa trên các prompt này và người dùng có thể lặp đi lặp lại việc tinh chỉnh mask bằng các cú nhấp chuột bổ sung cho đến khi đạt được độ chính xác mong muốn.

Link to this sectionCác ứng dụng trong thực tế#

Phân đoạn tương tác đang thay đổi quy trình làm việc trên nhiều ngành công nghiệp bằng cách kết hợp chuyên môn của con người với hiệu suất của AI.

• Chẩn đoán hình ảnh y tế: Trong AI in healthcare, các bác sĩ và chuyên gia chẩn đoán hình ảnh sử dụng các công cụ tương tác để cô lập các khối u, tổn thương hoặc các cơ quan cụ thể trong các bản quét MRI và CT. Nghiên cứu về spatial modeling for medical images [2] cho thấy rằng các cú nhấp chuột tương tác cho phép các chuyên gia y tế nhanh chóng sửa các dự đoán của AI, đảm bảo độ chính xác khắt khe cần thiết cho việc chẩn đoán bệnh nhân.
• Bản đồ không gian địa lý và vệ tinh: Các nhà quy hoạch đô thị và các nhà khoa học môi trường sử dụng các mô hình tương tác để tăng tốc GIS feature extraction [3]. Thay vì vẽ thủ công các đường bờ biển phức tạp, ranh giới nông nghiệp hoặc cơ sở hạ tầng mới, các nhà phân tích có thể đặt một vài cú nhấp chuột chiến lược để tạo ra các đa giác địa lý chính xác ngay lập tức.
• Phát hiện lỗi công nghiệp: Đối với AI in manufacturing, các kỹ sư kiểm soát chất lượng có thể sử dụng các prompt tương tác để làm nổi bật các lỗ hổng vi mô trên dây chuyền sản xuất, thích ứng linh hoạt hệ thống với các loại lỗi mới mà không cần phải huấn luyện lại toàn bộ mô hình.

Link to this sectionPhân đoạn tương tác so với Phân đoạn đối tượng (Instance Segmentation)#

Mặc dù cả hai khái niệm đều liên quan đến việc tách các đối tượng ở cấp độ pixel, chúng phục vụ các mục đích vận hành khác nhau. Instance segmentation thường là một quy trình hoàn toàn tự động, nơi một mô hình như Ultralytics YOLO26 phát hiện và phác thảo các lớp được xác định trước (ví dụ: "xe hơi", "người", "chó") mà không cần sự can thiệp của người dùng. Bạn có thể tìm hiểu thêm về cách thức hoạt động của nó trong hướng dẫn về instance segmentation của chúng tôi.

Ngược lại, phân đoạn tương tác không phụ thuộc hoàn toàn vào các lớp được xác định trước. Nó không phụ thuộc vào lớp (class-agnostic), nghĩa là nó phân đoạn bất cứ thứ gì mà người dùng chỉ vào, làm cho nó trở nên hoàn hảo cho các pipeline active learning, nơi các đối tượng mới cần được chú thích nhanh chóng và thêm vào các tập dữ liệu tùy chỉnh bằng cách sử dụng các công cụ như Ultralytics Platform.

Link to this sectionVí dụ sử dụng Ultralytics#

Bạn có thể dễ dàng triển khai phân đoạn tương tác trong các dự án của riêng mình bằng cách sử dụng PyTorch và gói Python ultralytics. Trong ví dụ này, chúng tôi sử dụng FastSAM để phân đoạn một đối tượng cụ thể bằng cách cung cấp một prompt dạng bounding box.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Đoạn mã này minh họa cách một prompt không gian đơn giản trực tiếp hướng dẫn mô hình cô lập vùng quan tâm, hợp lý hóa các tác vụ image segmentation phức tạp với mã nguồn tối giản.