Instance segmentation là gì? Hướng dẫn nhanh

Các ứng dụng computer vision đang trở nên phổ biến hơn trong đời sống hàng ngày của chúng ta, từ camera giao thông giám sát tình trạng đường xá cho đến hệ thống tự thanh toán tại cửa hàng. Bằng cách cho phép máy móc hiểu dữ liệu hình ảnh theo cách tương tự con người, vision AI đang tạo ra tác động trong hàng loạt ngành công nghiệp.

Nhiều ứng dụng trong số này dựa vào object detection, một computer vision task đặt các bounding box xung quanh các đối tượng quan trọng trong hình ảnh. Mặc dù phương pháp này thường hoạt động tốt, một số giải pháp phân tích hình ảnh đòi hỏi độ chính xác cao hơn nữa.

Ví dụ, chẩn đoán hình ảnh y tế đòi hỏi nhiều hơn là chỉ phát hiện khối u - việc phác thảo chính xác hình dạng của nó là rất quan trọng. Tương tự, trong robot học, máy móc cần nhận diện các đường bao chính xác của một đối tượng để gắp nó đúng cách. Để giải quyết những thách thức này, instance segmentation cung cấp một giải pháp chính xác hơn.

Instance segmentation là một computer vision task được thiết kế để hỗ trợ các use case trong đó việc phát hiện đối tượng là chưa đủ - nó cung cấp độ chính xác ở cấp độ pixel. Các computer vision model như Ultralytics YOLO11 có thể được sử dụng để áp dụng instance segmentation cho hình ảnh và video một cách dễ dàng.

Fig 1. Ví dụ về việc sử dụng YOLO11 cho instance segmentation.

Trong hướng dẫn này, chúng ta sẽ phân tích cách instance segmentation hoạt động, các ứng dụng của nó và cách Ultralytics YOLO11 có thể được huấn luyện tùy chỉnh cho các tác vụ phân đoạn cụ thể.

Instance segmentation là gì?#

Giả sử có một bức ảnh chụp nhóm người đứng gần nhau. Object detection có thể giúp vẽ các khung xung quanh mỗi người, nhưng điều đó không cho bạn biết hình dạng chính xác của họ.

Mặt khác, Instance segmentation tương tự như việc dò theo đường viền của từng người một cách cẩn thận để bạn có thể thấy toàn bộ hình dáng của họ, ngay cả khi họ chồng chéo lên nhau. Thay vì chỉ đánh dấu vị trí của thứ gì đó bằng một box, nó xác định hình dạng chính xác của từng đối tượng ở cấp độ pixel, giúp việc hiểu các hình ảnh phức tạp trở nên dễ dàng hơn.

Kết quả là một mặt nạ (mask) chi tiết lấp đầy hình dạng của một đối tượng, xác định chính xác những pixel nào thuộc về đối tượng đó. Mức độ chính xác này rất hữu ích trong nhiều ứng dụng thực tế nơi việc hiểu hình dạng và ranh giới chính xác của đối tượng là rất quan trọng.

Hình 2. Trình bày khả năng hỗ trợ phân đoạn thực thể của Ultralytics YOLO11.

Instance segmentation so với semantic segmentation#

Trong quá trình tìm hiểu về instance segmentation, bạn có thể bắt gặp khái niệm semantic segmentation.

Cả hai kỹ thuật đều giúp máy tính hiểu hình ảnh ở cấp độ pixel, nhưng chúng phục vụ các mục đích khác nhau. Semantic segmentation dán nhãn mọi pixel dựa trên danh mục của nó, nhóm tất cả các đối tượng cùng loại lại với nhau. Ví dụ, trong một hình ảnh có nhiều xe hơi, semantic segmentation sẽ đánh dấu tất cả chúng là "car" mà không phân biệt giữa các phương tiện riêng lẻ.

Instance segmentation, mặt khác, tiến thêm một bước bằng cách xác định từng đối tượng riêng biệt. Nó gán các nhãn duy nhất cho từng thực thể và tạo ra các mặt nạ chính xác xung quanh hình dạng của chúng. Vì vậy, trong cùng một hình ảnh, instance segmentation sẽ không chỉ dán nhãn mọi thứ là "car" mà sẽ nhận diện và phác thảo từng chiếc xe một cách riêng lẻ.

Sự khác biệt chính giữa hai loại là semantic segmentation nhóm các đối tượng theo danh mục, trong khi instance segmentation phân biệt từng đối tượng như một thực thể duy nhất với các ranh giới rõ ràng. Việc lựa chọn tác vụ nào để sử dụng phụ thuộc vào ứng dụng cụ thể - liệu chỉ cần biết cái gì có trong hình ảnh hay quan trọng là phải phân biệt được các đối tượng riêng lẻ.

Fig 3. Instance segmentation so với semantic segmentation (lần lượt ở bên phải và bên trái).

Các model instance segmentation phổ biến#

Hiện nay có nhiều model instance segmentation dành cho cộng đồng thị giác AI. Một số nhanh hơn, một số chính xác hơn và một số dễ sử dụng hơn.

Những lựa chọn này dù hữu ích nhưng có thể dẫn đến câu hỏi, đâu là lựa chọn đúng để sử dụng cho một tác vụ cụ thể? Trong số các tùy chọn, các model Ultralytics YOLO khá phổ biến vì chúng tập trung vào tốc độ và độ chính xác.

Ngoài ra, các model này đã phát triển đáng kể qua nhiều năm. Ví dụ, Ultralytics YOLOv5 đã đơn giản hóa quá trình deployment bằng các framework như PyTorch, giúp vision AI nâng cao tiếp cận được với đông đảo người dùng hơn mà không đòi hỏi chuyên môn kỹ thuật sâu.

Dựa trên thành công đó, Ultralytics YOLOv8 đã giới thiệu sự hỗ trợ nâng cao cho các computer vision task như instance segmentation, pose estimation và image classification.

Giờ đây, Ultralytics YOLO11 đưa hiệu suất lên một tầm cao mới. Model đạt được độ chính xác trung bình (mAP) cao hơn trên tập dữ liệu COCO với ít hơn 22% tham số so với YOLOv8m, có nghĩa là model có thể nhận diện đối tượng chính xác hơn trong khi sử dụng ít tài nguyên hơn.

Fig 4. Benchmarking YOLO11.

Nói một cách đơn giản, Ultralytics YOLO11 mang lại độ chính xác tiên tiến mà không làm giảm đi hiệu suất, tạo nên một bước ngoặt lớn trong lĩnh vực này.

Hiểu cách thức hoạt động của instance segmentation#

Tiếp theo, hãy cùng khám phá cách thức hoạt động thông thường của instance segmentation. Các computer vision model cũ hơn sử dụng phương pháp hai bước.

Đầu tiên, chúng phát hiện các đối tượng bằng cách vẽ các bounding box xung quanh chúng. Sau đó, chúng tạo ra một mask cấp độ pixel để phác thảo hình dạng chính xác của mỗi đối tượng. Một ví dụ nổi tiếng là Mask R-CNN, được xây dựng dựa trên các model object detection bằng cách bổ sung thêm một bước dự đoán mask. Mặc dù phương pháp này hiệu quả, nó có thể chậm vì xử lý hình ảnh qua nhiều giai đoạn, khiến các ứng dụng real-time trở nên thách thức hơn.

Trong khi đó, các model như Ultralytics YOLO11 xử lý hình ảnh trong một lần duy nhất, đồng thời dự đoán bounding box của đối tượng và mặt nạ instance segmentation. Phương pháp tinh gọn này giúp tăng tốc độ đáng kể mà vẫn duy trì độ chính xác cao. Nhờ đó, nó cực kỳ hữu ích cho các ứng dụng thời gian thực như xe tự hành, phân tích video và robotics, nơi mà cả tốc độ và độ chính xác đều vô cùng quan trọng.

Huấn luyện tùy chỉnh Ultralytics YOLO11 cho phân đoạn thực thể#

Ngay khi xuất xưởng, YOLO11 là một pre-trained model. Nó đã được huấn luyện trên COCO-Seg dataset, bao gồm các đối tượng hàng ngày cho instance segmentation. Tuy nhiên, gói Ultralytics Python hỗ trợ custom training, điều này rất thiết yếu cho các ứng dụng chuyên biệt nơi các đối tượng độc đáo cần được phân đoạn.

Tại sao custom training hoặc fine-tuning một model lại quan trọng? Custom training tận dụng transfer learning bằng cách xây dựng dựa trên kiến thức đã được tích hợp sẵn trong các pre-trained model. Thay vì bắt đầu từ con số không, nó thích ứng một model hiện có với các task mới bằng cách sử dụng các dataset nhỏ hơn và ít tài nguyên tính toán hơn, đồng thời vẫn duy trì độ chính xác cao.

Cách huấn luyện tùy chỉnh Ultralytics YOLO11#

Dưới đây là cái nhìn chi tiết hơn về các bước thực hiện fine-tuning Ultralytics YOLO11 cho instance segmentation:

• Data preparation: Thu thập và chú thích hình ảnh dựa trên ứng dụng cụ thể của bạn. Ultralytics cung cấp hỗ trợ cho nhiều image datasets, nhưng bạn cũng có thể huấn luyện bằng dataset của riêng mình bằng cách chuẩn bị hình ảnh và chú thích theo định dạng YOLO được yêu cầu.
• Sử dụng pre-trained model: Thay vì bắt đầu từ đầu, hãy sử dụng một pre-trained Ultralytics YOLO11 model.
• Huấn luyện model: Điều chỉnh các cài đặt huấn luyện quan trọng như batch size (số hình ảnh được xử lý trên mỗi vòng lặp), image size (độ phân giải đầu vào mục tiêu) và epochs (tổng số chu kỳ huấn luyện) và bắt đầu huấn luyện model.
• Đánh giá hiệu suất: Sau khi huấn luyện model hoàn tất, bạn có thể kiểm tra độ chính xác của model bằng các số liệu hiệu suất như mAP. Gói Python của Ultralytics cũng cung cấp các hàm tích hợp sẵn để đánh giá model.

Các ứng dụng instance segmentation được hỗ trợ bởi Ultralytics YOLO11#

Instance segmentation có thể được sử dụng để giải quyết các thách thức trong thế giới thực bằng cách giúp máy móc nhìn và hiểu đối tượng chính xác hơn. Từ việc cải thiện tự động hóa đến bảo vệ môi trường, nó đóng vai trò then chốt trong nhiều lĩnh vực. Hãy cùng xem qua một số ví dụ về nơi nó đang tạo ra tác động.

Giám sát và đảm bảo an toàn công trường xây dựng bằng Ultralytics YOLO11#

Instance segmentation có thể là một phần quan trọng trong việc đảm bảo an toàn và hiệu quả tại các công trường xây dựng. Ví dụ, nó có thể được sử dụng để giám sát máy móc hạng nặng.

Ultralytics YOLO11 có thể được fine-tuning để phân đoạn và nhận diện chính xác các loại thiết bị khác nhau, chẳng hạn như cần cẩu, máy xúc và máy ủi, đồng thời theo dõi vị trí của chúng theo thời gian thực. Điều này cho phép người quản lý công trường đảm bảo rằng máy móc hoạt động đúng trong các khu vực được chỉ định và không xâm phạm vào các khu vực có công nhân hoặc có mối nguy hiểm.

Ngoài ra, việc tích hợp các giải pháp như vậy với hệ thống cảnh báo thời gian thực cho phép thực hiện các hành động khắc phục nhanh chóng. Ngoài ra, những thông tin chi tiết được thu thập có thể giúp tối ưu hóa bố cục công trường và quy trình làm việc, giảm thiểu rủi ro và tăng năng suất.

Fig 5. Giám sát máy móc hạng nặng bằng Ultralytics YOLO11.

Giám sát động vật với segmentation và Ultralytics YOLO11#

Animal behavior monitoring giúp các nhà nghiên cứu, nông dân và nhà bảo tồn chăm sóc động vật tốt hơn trong các môi trường khác nhau. Instance segmentation đóng vai trò hữu ích trong các hệ thống này bằng cách nhận diện và phân đoạn từng loài động vật trong trang trại, vườn thú và môi trường sống tự nhiên. Khác với object detection truyền thống sử dụng bounding box, instance segmentation cung cấp đường viền cấp độ pixel cho từng con vật, điều này đặc biệt hữu ích khi động vật ở khoảng cách gần nhau.

Việc phân đoạn chi tiết tạo điều kiện cho việc theo dõi chuyển động và hành vi chính xác hơn. Động vật chồng lấp hoặc tập trung gần nhau có thể được nhận diện rõ rệt, mang lại phân tích chính xác hơn về các tương tác, đánh giá sức khỏe và các kiểu hoạt động. Nhìn chung, những hiểu biết sâu sắc hơn về hành vi động vật giúp tăng cường các biện pháp chăm sóc và quản lý động vật.

Fig 6. Giám sát gia súc bằng instance segmentation.

Ultralytics YOLO11 trong phân tích thể thao và theo dõi cầu thủ#

Việc theo dõi chính xác cầu thủ và sự kiện là một phần quan trọng của phân tích thể thao. Các phương pháp theo dõi truyền thống dựa vào việc gắn thẻ thủ công, điều này có thể không nắm bắt được các tương tác chi tiết. Computer vision có thể được sử dụng để phân đoạn các chi tiết như từng cầu thủ, quả bóng và sự kiện chính ở cấp độ pixel để có được những thông tin chuyên sâu chi tiết.

Ví dụ, instance segmentation có thể giúp phát hiện các sự kiện như lỗi phạt hoặc các tình huống ngoài bóng bằng cách tách biệt rõ ràng từng người chơi và đối tượng. Việc giám sát chi tiết này được hỗ trợ bởi các model như Ultralytics YOLO11 cung cấp cho các nhà phân tích thông tin rõ ràng hơn để nghiên cứu các mẫu di chuyển, vị trí không gian và các tương tác với độ chính xác cao. Lợi ích cốt lõi của những thông tin chi tiết này là chúng giúp các đội bóng cải thiện chiến lược và nâng cao hiệu suất tổng thể.

Ưu điểm và nhược điểm của instance segmentation#

Dưới đây là một số lợi ích chính mà instance segmentation có thể mang lại cho các ngành công nghiệp khác nhau:

• Cải thiện tự động hóa: Bằng cách tự động hóa các tác vụ như kiểm soát chất lượng và giám sát an toàn, instance segmentation giảm nhu cầu can thiệp thủ công và giảm thiểu lỗi của con người.
• Hiểu rõ hơn về khung cảnh: Bằng cách phác thảo chính xác từng đối tượng, instance segmentation góp phần hiểu sâu hơn về các cảnh phức tạp, hỗ trợ ra quyết định sáng suốt hơn.
• Xử lý hậu kỳ hiệu quả: Đầu ra ở cấp độ pixel đơn giản hóa các tác vụ như xóa nền, đếm đối tượng và phân tích không gian, giảm nhu cầu về các bước xử lý bổ sung.

Mặc dù những lợi ích này làm nổi bật cách instance segmentation ảnh hưởng đến các trường hợp sử dụng khác nhau, nhưng cũng cần phải xem xét các thách thức liên quan đến việc triển khai nó.

Dưới đây là một số hạn chế chính của instance segmentation:

• Thách thức với sự trong suốt: Việc phân đoạn các đối tượng trong suốt hoặc phản chiếu như thủy tinh và nước rất khó khăn, dẫn đến các ranh giới không chính xác.
• Chi phí duy trì: Để giữ cho các model chính xác và phù hợp, cần liên tục cập nhật và tinh chỉnh khi các điều kiện môi trường và dataset thay đổi.
• Nỗ lực chú thích cao: Huấn luyện các model instance segmentation đòi hỏi các chú thích chi tiết ở cấp độ pixel, điều này làm tăng đáng kể thời gian và chi phí liên quan đến việc chuẩn bị dữ liệu.

Các điểm chính cần lưu ý#

Instance segmentation giúp phân biệt các đối tượng riêng lẻ một cách chính xác, ngay cả khi chúng chồng lấp. Bằng cách nắm bắt các ranh giới đối tượng ở cấp độ pixel, nó cung cấp sự hiểu biết sâu sắc hơn về dữ liệu hình ảnh so với các computer vision task truyền thống như object detection.

Những tiến bộ gần đây trong computer vision đã làm cho instance segmentation nhanh hơn và dễ sử dụng hơn. Cụ thể, các computer vision model như Ultralytics YOLO11 đơn giản hóa quy trình, cho phép phân đoạn thời gian thực với thiết lập tối thiểu, giúp nó dễ tiếp cận hơn đối với nhiều ngành công nghiệp và ứng dụng.

Tò mò về AI? Hãy truy cập our GitHub repository và kết nối với our community để tiếp tục khám phá. Tìm hiểu về các đổi mới như AI in self-driving cars và vision AI in agriculture trên các trang giải pháp của chúng tôi. Xem qua our licensing options và bắt đầu thực hiện một computer vision project!