Instance segmentation là gì? Hướng dẫn nhanh

Các ứng dụng thị giác máy tính đang ngày càng phổ biến trong đời sống hằng ngày, từ camera giao thông theo dõi tình trạng đường sá đến hệ thống tự thanh toán trong cửa hàng. Bằng cách giúp máy móc hiểu dữ liệu hình ảnh tương tự con người, AI thị giác đang tạo ra tác động trong nhiều ngành.

Nhiều ứng dụng trong số này dựa trên tính năng phát hiện đối tượng, một tác vụ thị giác máy tính đặt các bounding box xung quanh những đối tượng chính trong ảnh. Mặc dù phương pháp này thường hoạt động tốt, một số giải pháp phân tích hình ảnh cần độ chính xác cao hơn nữa.

Ví dụ, chẩn đoán hình ảnh y khoa không chỉ yêu cầu phát hiện khối u mà còn cần phác thảo chính xác hình dạng của nó. Tương tự, trong lĩnh vực robot, máy móc cần nhận diện đường viền chính xác của một đối tượng để gắp đối tượng đó đúng cách. Để giải quyết những thách thức này, phân đoạn instance mang đến một giải pháp chính xác hơn.

Phân đoạn instance là một tác vụ thị giác máy tính được thiết kế để hỗ trợ các trường hợp mà việc phát hiện đối tượng là chưa đủ — tác vụ này cung cấp độ chính xác đến từng pixel. Các model thị giác máy tính như Ultralytics YOLO11 có thể dễ dàng áp dụng phân đoạn instance cho hình ảnh và video.

Hình 1. Ví dụ về việc sử dụng YOLO11 cho phân đoạn instance.

Trong hướng dẫn này, chúng ta sẽ phân tích cách phân đoạn instance hoạt động, các ứng dụng của nó và cách custom train Ultralytics YOLO11 cho những tác vụ phân đoạn cụ thể.

Phân đoạn instance là gì?#

Hãy giả sử có một bức ảnh nhóm gồm những người đứng gần nhau. Tính năng phát hiện đối tượng có thể giúp vẽ các bounding box quanh từng người, nhưng không cho biết hình dạng chính xác của họ.

Mặt khác, phân đoạn instance tương tự như việc cẩn thận lần theo đường viền quanh từng người để bạn có thể thấy toàn bộ hình dạng của họ, ngay cả khi họ chồng lấn lên nhau. Thay vì chỉ đánh dấu vị trí của một vật bằng box, phương pháp này xác định hình dạng chính xác của từng đối tượng ở cấp pixel, giúp dễ hiểu các hình ảnh phức tạp hơn.

Kết quả là một mask chi tiết lấp đầy hình dạng của đối tượng, xác định chính xác pixel nào thuộc về đối tượng đó. Mức độ chính xác này hữu ích trong nhiều ứng dụng thực tế, nơi việc hiểu chính xác hình dạng và ranh giới của đối tượng là điều quan trọng.

Hình 2. Minh họa khả năng hỗ trợ phân đoạn instance của Ultralytics YOLO11.

Phân đoạn instance và phân đoạn ngữ nghĩa#

Khi tìm hiểu về phân đoạn instance, bạn có thể bắt gặp khái niệm phân đoạn ngữ nghĩa.

Cả hai kỹ thuật đều giúp máy tính hiểu hình ảnh ở cấp pixel, nhưng phục vụ các mục đích khác nhau. Phân đoạn ngữ nghĩa gán nhãn cho mọi pixel dựa trên danh mục của pixel đó, nhóm tất cả đối tượng cùng loại lại với nhau. Ví dụ, trong một hình ảnh có nhiều ô tô, phân đoạn ngữ nghĩa sẽ đánh dấu tất cả là "car" mà không phân biệt từng phương tiện.

Mặt khác, phân đoạn instance tiến thêm một bước bằng cách xác định riêng từng đối tượng. Phương pháp này gán nhãn duy nhất cho từng instance và tạo các mask chính xác xung quanh hình dạng của chúng. Vì vậy, trong cùng hình ảnh đó, phân đoạn instance không chỉ gán nhãn mọi thứ là "car" mà còn nhận diện và phác thảo từng chiếc ô tô riêng biệt.

Điểm khác biệt chính giữa hai phương pháp là phân đoạn ngữ nghĩa nhóm các đối tượng theo danh mục, trong khi phân đoạn instance phân biệt từng đối tượng như một thực thể riêng biệt với ranh giới rõ ràng. Việc chọn tác vụ nào phụ thuộc vào ứng dụng cụ thể — liệu chỉ cần biết có gì trong ảnh hay cần phân biệt từng đối tượng riêng lẻ.

Hình 3. Phân đoạn instance và phân đoạn ngữ nghĩa (lần lượt ở bên phải và bên trái).

Các model phân đoạn instance phổ biến#

Hiện nay, cộng đồng AI thị giác có nhiều model phân đoạn instance để lựa chọn. Một số model nhanh hơn, một số chính xác hơn và một số dễ sử dụng hơn.

Mặc dù hữu ích, những lựa chọn này có thể dẫn đến câu hỏi: lựa chọn nào phù hợp cho một tác vụ cụ thể? Trong số đó, các model Ultralytics YOLO khá phổ biến vì tập trung vào tốc độ và độ chính xác.

Ngoài ra, các model này đã phát triển đáng kể qua nhiều năm. Ví dụ, Ultralytics YOLOv5 đơn giản hóa việc triển khai bằng cách sử dụng các framework như PyTorch, giúp AI thị giác tiên tiến dễ tiếp cận hơn với đông đảo người dùng mà không yêu cầu chuyên môn kỹ thuật sâu.

Dựa trên thành công đó, Ultralytics YOLOv8 đã cải thiện khả năng hỗ trợ các tác vụ thị giác máy tính như phân đoạn instance, ước tính tư thế và phân loại hình ảnh.

Hiện nay, Ultralytics YOLO11 đưa hiệu năng lên một tầm cao mới. Model đạt mean average precision (mAP) cao hơn trên dataset COCO với số lượng tham số ít hơn 22% so với YOLOv8m, nghĩa là có thể nhận diện đối tượng chính xác hơn trong khi sử dụng ít tài nguyên hơn.

Hình 4. Đánh giá YOLO11.

Nói một cách đơn giản, Ultralytics YOLO11 mang lại độ chính xác tiên tiến mà không ảnh hưởng đến hiệu quả, tạo ra bước đột phá trong lĩnh vực này.

Tìm hiểu cách phân đoạn instance hoạt động#

Tiếp theo, hãy cùng tìm hiểu cách phân đoạn instance thường hoạt động. Các model thị giác máy tính cũ sử dụng phương pháp gồm hai bước.

Trước tiên, chúng phát hiện đối tượng bằng cách vẽ bounding box xung quanh chúng. Sau đó, chúng tạo mask ở cấp pixel để phác thảo hình dạng chính xác của từng đối tượng. Một ví dụ nổi tiếng là Mask R-CNN, xây dựng trên các model phát hiện đối tượng bằng cách bổ sung bước dự đoán mask. Mặc dù phương pháp này hiệu quả, nó có thể chậm vì xử lý hình ảnh qua nhiều giai đoạn, khiến các ứng dụng thời gian thực trở nên khó triển khai hơn.

Trong khi đó, các model như Ultralytics YOLO11 xử lý hình ảnh trong một lần, đồng thời dự đoán bounding box của đối tượng và mask phân đoạn instance. Phương pháp tinh gọn này nhanh hơn nhiều mà vẫn duy trì độ chính xác cao. Do đó, nó đặc biệt hữu ích cho các ứng dụng thời gian thực như lái xe tự động, phân tích video và robot, nơi cả tốc độ lẫn độ chính xác đều rất quan trọng.

Custom train Ultralytics YOLO11 cho phân đoạn instance#

Ngay khi cài đặt, YOLO11 là một model đã được pre-train. Model được train trên dataset COCO-Seg, bao quát các đối tượng thường ngày cho phân đoạn instance. Tuy nhiên, package Ultralytics Python hỗ trợ custom training, điều cần thiết cho các ứng dụng chuyên biệt nơi cần phân đoạn những đối tượng độc nhất.

Tại sao custom training hoặc fine-tuning model lại quan trọng? Custom training tận dụng transfer learning bằng cách xây dựng trên kiến thức đã được tích hợp trong các model pre-train. Thay vì bắt đầu từ đầu, phương pháp này điều chỉnh một model hiện có cho các tác vụ mới bằng dataset nhỏ hơn và ít tài nguyên tính toán hơn, đồng thời vẫn duy trì độ chính xác cao.

Cách custom train Ultralytics YOLO11#

Dưới đây là phần xem xét chi tiết hơn về các bước fine-tuning Ultralytics YOLO11 cho phân đoạn instance:

• Chuẩn bị dữ liệu: Thu thập và gán nhãn hình ảnh dựa trên ứng dụng cụ thể của bạn. Ultralytics hỗ trợ nhiều dataset hình ảnh, nhưng bạn cũng có thể train bằng dataset riêng sau khi chuẩn bị hình ảnh và annotation theo format YOLO yêu cầu.
• Sử dụng model pre-train: Thay vì bắt đầu từ đầu, hãy sử dụng model Ultralytics YOLO11 đã được pre-train.
• Training model: Điều chỉnh các thiết lập training quan trọng như batch size (số hình ảnh được xử lý trong mỗi iteration), image size (độ phân giải input mục tiêu) và epochs (tổng số chu kỳ training), sau đó train model.
• Đánh giá hiệu năng: Sau khi hoàn tất training model, bạn có thể kiểm tra độ chính xác của model bằng các metric hiệu năng như mAP. Package Ultralytics Python cũng cung cấp các function tích hợp sẵn để đánh giá model.

Các ứng dụng phân đoạn instance được hỗ trợ bởi Ultralytics YOLO11#

Phân đoạn instance có thể được sử dụng để giải quyết các thách thức trong thực tế bằng cách giúp máy móc nhìn và hiểu đối tượng chính xác hơn. Từ cải thiện tự động hóa đến bảo vệ môi trường, công nghệ này đóng vai trò quan trọng trong nhiều lĩnh vực. Hãy cùng xem một số ví dụ về những nơi công nghệ này đang tạo ra tác động.

An toàn và giám sát công trường xây dựng bằng Ultralytics YOLO11#

Phân đoạn instance có thể là một phần quan trọng trong việc đảm bảo an toàn và hiệu quả tại các công trường xây dựng. Ví dụ, công nghệ này có thể được sử dụng để giám sát máy móc hạng nặng.

Ultralytics YOLO11 có thể được fine-tuning để phân đoạn và nhận diện chính xác nhiều loại thiết bị như cần cẩu, máy xúc và máy ủi, đồng thời theo dõi vị trí của chúng theo thời gian thực. Điều này cho phép quản lý công trường đảm bảo máy móc chỉ hoạt động trong các khu vực được chỉ định và không xâm lấn vào những khu vực có công nhân hoặc nguy hiểm.

Ngoài ra, việc tích hợp các giải pháp như vậy với hệ thống cảnh báo thời gian thực cho phép nhanh chóng thực hiện các hành động khắc phục. Không chỉ vậy, những insight thu thập được có thể giúp tối ưu hóa bố trí và quy trình làm việc tại công trường, tiếp tục giảm rủi ro và nâng cao năng suất.

Hình 5. Giám sát máy móc hạng nặng bằng Ultralytics YOLO11.

Giám sát động vật bằng phân đoạn và Ultralytics YOLO11#

Giám sát hành vi động vật giúp các nhà nghiên cứu, nông dân và chuyên gia bảo tồn chăm sóc động vật tốt hơn trong nhiều môi trường khác nhau. Phân đoạn instance đóng vai trò hữu ích trong các hệ thống này bằng cách xác định và phân đoạn từng động vật tại trang trại, sở thú và môi trường sống tự nhiên. Không giống phát hiện đối tượng truyền thống sử dụng bounding box, phân đoạn instance cung cấp đường phân định ở cấp pixel cho từng động vật, đặc biệt hữu ích khi các động vật ở gần nhau.

Phân đoạn chi tiết hỗ trợ theo dõi chính xác hơn các chuyển động và hành vi. Những động vật chồng lấn hoặc tập trung gần nhau có thể được nhận diện riêng biệt, đồng thời cho phép phân tích chính xác hơn về tương tác, đánh giá sức khỏe và mô hình hoạt động. Nhìn chung, insight sâu hơn về hành vi động vật giúp cải thiện hoạt động chăm sóc và quản lý động vật.

Hình 6. Giám sát gia súc bằng phân đoạn instance.

Ultralytics YOLO11 trong phân tích thể thao và theo dõi cầu thủ#

Theo dõi chính xác cầu thủ và sự kiện là một phần rất quan trọng trong phân tích thể thao. Các phương pháp tracking truyền thống dựa vào gán nhãn thủ công, nên có thể không ghi nhận được các tương tác chi tiết. Thị giác máy tính có thể được sử dụng để phân đoạn từng cầu thủ, bóng và sự kiện chính ở cấp pixel nhằm thu được insight chi tiết.

Ví dụ, phân đoạn instance có thể giúp phát hiện các sự kiện như lỗi hoặc tình huống ngoài bóng bằng cách tách biệt rõ ràng từng cầu thủ và đối tượng. Khả năng giám sát chi tiết do các model như Ultralytics YOLO11 cung cấp giúp chuyên gia phân tích có thông tin rõ ràng hơn để nghiên cứu mô hình di chuyển, vị trí không gian và tương tác với độ chính xác cao. Một lợi ích quan trọng của các insight này là giúp các đội bóng tinh chỉnh chiến thuật và nâng cao hiệu năng tổng thể.

Ưu và nhược điểm của phân đoạn instance#

Dưới đây là một số lợi ích chính mà phân đoạn instance có thể mang lại cho nhiều ngành:

• Tự động hóa được cải thiện: Bằng cách tự động hóa các tác vụ như kiểm soát chất lượng và giám sát an toàn, phân đoạn instance giảm nhu cầu can thiệp thủ công và hạn chế lỗi do con người.
• Hiểu cảnh tốt hơn: Bằng cách phác thảo chính xác từng đối tượng, phân đoạn instance góp phần giúp hiểu sâu hơn các cảnh phức tạp, hỗ trợ đưa ra quyết định sáng suốt hơn.
• Hậu xử lý hiệu quả: Output ở cấp pixel đơn giản hóa các tác vụ như xóa nền, đếm đối tượng và phân tích không gian, giảm nhu cầu thực hiện thêm các bước xử lý.

Mặc dù những lợi ích này cho thấy phân đoạn instance tác động đến nhiều trường hợp sử dụng khác nhau, việc cân nhắc các thách thức khi triển khai cũng rất cần thiết.

Dưới đây là một số hạn chế chính của phân đoạn instance:

• Thách thức với độ trong suốt: Việc phân đoạn các đối tượng trong suốt hoặc phản chiếu như kính và nước rất khó, dẫn đến ranh giới không chính xác.
• Chi phí bảo trì: Để duy trì độ chính xác và tính phù hợp của model, cần liên tục cập nhật và fine-tuning khi điều kiện môi trường và dataset thay đổi.
• Nỗ lực annotation cao: Việc train model phân đoạn instance yêu cầu annotation chi tiết ở cấp pixel, làm tăng đáng kể thời gian và chi phí chuẩn bị dữ liệu.

Những điểm chính#

Phân đoạn instance giúp phân biệt chính xác từng đối tượng, ngay cả khi chúng chồng lấn lên nhau. Bằng cách nắm bắt ranh giới đối tượng ở cấp pixel, phương pháp này mang lại hiểu biết sâu hơn về dữ liệu hình ảnh so với các tác vụ thị giác máy tính truyền thống như phát hiện đối tượng.

Những tiến bộ gần đây trong thị giác máy tính đã giúp phân đoạn instance nhanh hơn và dễ sử dụng hơn. Đặc biệt, các model thị giác máy tính như Ultralytics YOLO11 đơn giản hóa quy trình, cho phép phân đoạn thời gian thực với thiết lập tối thiểu, giúp công nghệ này dễ tiếp cận hơn trong nhiều ngành và ứng dụng.

Bạn tò mò về AI? Hãy truy cập repository GitHub của chúng tôi và kết nối với cộng đồng của chúng tôi để tiếp tục khám phá. Tìm hiểu về những đổi mới như AI trong ô tô tự lái và AI thị giác trong nông nghiệp trên các trang giải pháp của chúng tôi. Xem các lựa chọn cấp phép của chúng tôi và bắt đầu một dự án thị giác máy tính!