Semantic Segmentation

Semantic segmentation là một tác vụ computer vision liên quan đến việc chia một hình ảnh thành các vùng riêng biệt bằng cách gán một nhãn class cụ thể cho từng pixel riêng lẻ. Không giống như các tác vụ đơn giản hơn như image classification, gán một nhãn duy nhất cho toàn bộ hình ảnh, hoặc object detection, vẽ các bounding boxes xung quanh các đối tượng, semantic segmentation cung cấp sự hiểu biết ở cấp độ pixel về khung cảnh. Phân tích chi tiết này rất quan trọng đối với các ứng dụng mà hình dạng chính xác và ranh giới của một đối tượng quan trọng không kém gì danh tính của nó. Nó cho phép máy móc "nhìn" thế giới giống con người hơn, phân biệt chính xác các pixel cấu thành một con đường, một người đi bộ, hoặc một khối u trong bản quét y tế.

Cách hoạt động của phân đoạn ngữ nghĩa#

Về cốt lõi, semantic segmentation coi một hình ảnh như một lưới các pixel cần được phân loại. Các mô hình deep learning, đặc biệt là Convolutional Neural Networks (CNNs), là kiến trúc chuẩn cho tác vụ này. Một kiến trúc tiêu biểu, chẳng hạn như U-Net được sử dụng rộng rãi, áp dụng cấu trúc encoder-decoder. Encoder nén hình ảnh đầu vào để trích xuất các features cấp cao (như kết cấu và hình dạng), trong khi decoder upsample các features này trở lại độ phân giải hình ảnh ban đầu để tạo ra một segmentation mask chính xác.

Để đạt được điều này, các mô hình được huấn luyện trên các annotated datasets lớn, nơi những người gán nhãn đã cẩn thận tô màu từng pixel theo class của nó. Các công cụ như Ultralytics Platform hỗ trợ quá trình này bằng cách cung cấp các tính năng tự động gán nhãn giúp tăng tốc độ tạo ra dữ liệu ground truth chất lượng cao. Sau khi được huấn luyện, mô hình xuất ra một mask trong đó mọi giá trị pixel tương ứng với một class ID, thực sự "vẽ" ý nghĩa lên hình ảnh.

Phân biệt các khái niệm liên quan#

Việc nhầm lẫn phân đoạn ngữ nghĩa với các tác vụ cấp độ pixel khác là điều phổ biến. Hiểu rõ sự khác biệt là chìa khóa để chọn phương pháp phù hợp cho một dự án:

• Instance Segmentation: Trong khi semantic segmentation coi tất cả các đối tượng cùng class là một thực thể duy nhất (ví dụ: tất cả các "cars" đều được tô màu xanh lam), instance segmentation phân biệt giữa các đối tượng riêng lẻ (ví dụ: "Car A" màu xanh lam, "Car B" màu đỏ).
• Panoptic Segmentation: Điều này kết hợp cả hai khái niệm. Nó gán một class cho mọi pixel (semantic) đồng thời tách biệt từng instance của các đối tượng đếm được (instance), cung cấp khả năng hiểu khung cảnh toàn diện nhất.

Các ứng dụng trong thực tế#

Khả năng phân tích dữ liệu hình ảnh với độ chính xác đến từng pixel thúc đẩy sự đổi mới trong nhiều ngành công nghiệp có độ rủi ro cao:

• AI in Automotive: Xe tự hành phụ thuộc rất nhiều vào segmentation để điều hướng an toàn. Bằng cách xác định drivable areas so với vỉa hè, và phác hỏa chính xác người đi bộ, ô tô và vật cản, hệ thống tự lái có thể đưa ra các quyết định quan trọng trong thời gian thực.
• AI in Healthcare: Trong hình ảnh y tế, các mô hình phân đoạn các cơ quan, tổn thương hoặc khối u từ quét CT và MRI. Điều này hỗ trợ các bác sĩ X-quang tính toán thể tích khối u để lập kế hoạch điều trị hoặc hướng dẫn các công cụ phẫu thuật bằng robot với độ chính xác cực cao.
• AI in Agriculture: Nông dân sử dụng hình ảnh máydrone trên không và segmentation để theo dõi sức khỏe cây trồng. Bằng cách phân loại các pixel thành "healthy crop", "weed" hoặc "soil", các hệ thống tự động có thể nhắm mục tiêu phun thuốc diệt cỏ, giảm việc sử dụng hóa chất và tối ưu hóa năng suất.

Triển khai phân đoạn với Ultralytics#

Các mô hình segmentation hiện đại cần cân bằng giữa độ chính xác và tốc độ, đặc biệt đối với real-time inference trên các thiết bị biên. Dòng mô hình Ultralytics YOLO26 bao gồm các mô hình segmentation chuyên dụng (được ký hiệu bằng hậu tố -seg) mang tính end-to-end tự nhiên, mang lại hiệu suất vượt trội so với các kiến trúc cũ hơn như YOLO11.

Ví dụ sau đây minh họa cách thực hiện segmentation trên một hình ảnh bằng cách sử dụng gói ultralytics Python. Điều này tạo ra các binary masks phác ranh giới đối tượng.

from ultralytics import YOLO

# Load a pre-trained YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the results
# This will display the image with the segmentation masks overlaid
results[0].show()

Thách thức và các hướng phát triển trong tương lai#

Bất chấp những tiến bộ đáng kể, semantic segmentation vẫn đòi hỏi nhiều tính toán. Việc tạo ra phân loại cho từng pixel đòi hỏi GPU resources và bộ nhớ đáng kể. Các nhà nghiên cứu đang tích cực làm việc để tối ưu hóa các mô hình này nhằm đạt hiệu quả, khám phá các kỹ thuật như model quantization để chạy các mạng lớn trên điện thoại di động và thiết bị nhúng.

Hơn nữa, nhu cầu về các dataset được gán nhãn khổng lồ là một điểm nghẽn. Để giải quyết vấn đề này, ngành công nghiệp đang hướng tới việc tạo ra synthetic data và self-supervised learning, cho phép các mô hình học từ hình ảnh thô mà không yêu cầu hàng triệu nhãn pixel thủ công. Khi các công nghệ này trưởng thành, chúng ta có thể mong đợi segmentation trở nên phổ biến hơn nữa trong các camera thông minh, robot và các ứng dụng thực tế ảo tăng cường.