Semantic Segmentation

Phân đoạn ngữ nghĩa là một tác vụ thị giác máy tính liên quan đến việc chia một hình ảnh thành các vùng riêng biệt bằng cách gán một nhãn lớp cụ thể cho từng pixel. Khác với các tác vụ đơn giản hơn như phân loại hình ảnh, vốn gán một nhãn duy nhất cho toàn bộ hình ảnh, hoặc phát hiện đối tượng, vốn vẽ các khung bao quanh đối tượng, phân đoạn ngữ nghĩa cung cấp sự hiểu biết ở cấp độ pixel về cảnh quan. Phân tích chi tiết này rất quan trọng đối với các ứng dụng mà hình dạng và ranh giới chính xác của đối tượng cũng quan trọng như danh tính của chúng. Nó cho phép máy móc "nhìn" thế giới giống như cách con người làm, phân biệt chính xác các pixel tạo nên con đường, người đi bộ hoặc khối u trong bản quét y tế.

Link to this sectionCách hoạt động của phân đoạn ngữ nghĩa#

Về cốt lõi, phân đoạn ngữ nghĩa coi một hình ảnh như một lưới các pixel cần được phân loại. Các model học sâu, đặc biệt là Mạng thần kinh tích chập (CNNs), là kiến trúc tiêu chuẩn cho tác vụ này. Một kiến trúc điển hình, chẳng hạn như U-Net được sử dụng rộng rãi, sử dụng cấu trúc bộ mã hóa-giải mã (encoder-decoder). Bộ mã hóa nén hình ảnh đầu vào để trích xuất các đặc trưng cấp cao (như kết cấu và hình dạng), trong khi bộ giải mã lấy mẫu lại các đặc trưng này về độ phân giải hình ảnh gốc để tạo ra một mặt nạ phân đoạn chính xác.

Để đạt được điều này, các model được huấn luyện trên các tập dữ liệu chú thích lớn, nơi các chuyên gia chú thích con người đã tô màu cẩn thận từng pixel theo lớp của nó. Các công cụ như Ultralytics Platform tạo điều kiện thuận lợi cho quy trình này bằng cách cung cấp các tính năng tự động chú thích giúp tăng tốc độ tạo dữ liệu ground truth chất lượng cao. Sau khi được huấn luyện, model xuất ra một mặt nạ trong đó mỗi giá trị pixel tương ứng với một ID lớp, về cơ bản là "phủ" ý nghĩa lên hình ảnh.

Link to this sectionPhân biệt các khái niệm liên quan#

Việc nhầm lẫn phân đoạn ngữ nghĩa với các tác vụ cấp độ pixel khác là điều phổ biến. Hiểu rõ sự khác biệt là chìa khóa để chọn phương pháp phù hợp cho một dự án:

• Phân đoạn thực thể: Trong khi phân đoạn ngữ nghĩa coi tất cả các đối tượng cùng lớp là một thực thể duy nhất (ví dụ: tất cả "xe hơi" đều được tô màu xanh), phân đoạn thực thể phân biệt giữa các đối tượng riêng lẻ (ví dụ: "Xe A" màu xanh, "Xe B" màu đỏ).
• Phân đoạn toàn cảnh: Phương pháp này kết hợp cả hai khái niệm. Nó gán một lớp cho mọi pixel (ngữ nghĩa) đồng thời tách biệt các thực thể riêng lẻ của các đối tượng có thể đếm được (thực thể), cung cấp sự hiểu biết toàn diện nhất về cảnh quan.

Link to this sectionCác ứng dụng trong thực tế#

Khả năng phân tích dữ liệu hình ảnh với độ chính xác đến từng pixel thúc đẩy sự đổi mới trong nhiều ngành công nghiệp có độ rủi ro cao:

• AI trong ngành ô tô: Các phương tiện tự hành dựa nhiều vào phân đoạn để điều hướng an toàn. Bằng cách xác định khu vực có thể lái xe so với vỉa hè, và phác thảo chính xác người đi bộ, ô tô và chướng ngại vật, các hệ thống tự lái có thể đưa ra các quyết định quan trọng theo thời gian thực.
• AI trong chăm sóc sức khỏe: Trong hình ảnh y tế, các model phân đoạn các cơ quan, tổn thương hoặc khối u từ các bản quét CT và MRI. Điều này hỗ trợ các bác sĩ chẩn đoán hình ảnh trong việc tính toán thể tích khối u để lập kế hoạch điều trị hoặc hướng dẫn các công cụ phẫu thuật bằng robot với độ chính xác cực cao.
• AI trong nông nghiệp: Nông dân sử dụng hình ảnh máy bay không người lái trên không và phân đoạn để theo dõi sức khỏe cây trồng. Bằng cách phân loại các pixel thành "cây trồng khỏe mạnh", "cỏ dại" hoặc "đất", các hệ thống tự động có thể nhắm mục tiêu phun thuốc diệt cỏ, giảm sử dụng hóa chất và tối ưu hóa năng suất.

Link to this sectionTriển khai phân đoạn với Ultralytics#

Các model phân đoạn hiện đại cần cân bằng giữa độ chính xác và tốc độ, đặc biệt là đối với suy luận thời gian thực trên các thiết bị biên. Họ nhà model Ultralytics YOLO26 bao gồm các model phân đoạn chuyên dụng (được ký hiệu bằng hậu tố -seg) vốn là end-to-end nguyên bản, mang lại hiệu suất vượt trội so với các kiến trúc cũ hơn như YOLO11.

Ví dụ sau đây minh họa cách thực hiện phân đoạn trên một hình ảnh bằng cách sử dụng gói ultralytics Python. Điều này tạo ra các mặt nạ nhị phân phác thảo ranh giới đối tượng.

from ultralytics import YOLO

# Load a pre-trained YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the results
# This will display the image with the segmentation masks overlaid
results[0].show()

Link to this sectionThách thức và các hướng phát triển trong tương lai#

Bất chấp những tiến bộ đáng kể, phân đoạn ngữ nghĩa vẫn đòi hỏi tính toán chuyên sâu. Việc tạo ra phân loại cho mỗi pixel đòi hỏi tài nguyên GPU và bộ nhớ đáng kể. Các nhà nghiên cứu đang tích cực làm việc để tối ưu hóa các model này nhằm đạt hiệu quả cao, khám phá các kỹ thuật như định lượng model để chạy các mạng nặng trên điện thoại di động và thiết bị nhúng.

Hơn nữa, nhu cầu về các tập dữ liệu dán nhãn khổng lồ là một nút thắt cổ chai. Để giải quyết vấn đề này, ngành công nghiệp đang chuyển hướng sang tạo dữ liệu tổng hợp và học tự giám sát, cho phép các model học từ hình ảnh thô mà không cần hàng triệu nhãn pixel thủ công. Khi các công nghệ này trưởng thành, chúng ta có thể mong đợi phân đoạn sẽ trở nên phổ biến hơn nữa trong các camera thông minh, robot và các ứng dụng thực tế tăng cường.