Cách sử dụng Ultralytics YOLO11 để phân đoạn thực thể

Thị giác máy tính, một lĩnh vực trong trí tuệ nhân tạo (AI) hỗ trợ máy móc diễn giải và hiểu thông tin hình ảnh, giúp thực hiện các tác vụ như phân đoạn đối tượng. Phân đoạn đối tượng có thể được sử dụng để phân tích hình ảnh hoặc khung hình video nhằm đánh dấu ranh giới chính xác của từng đối tượng riêng biệt trong hình ảnh, ngay cả khi có nhiều đối tượng cùng loại xuất hiện. Với độ chính xác cao, phân đoạn đối tượng có phạm vi ứng dụng rộng rãi, từ việc hỗ trợ xe tự lái phát hiện vật cản trên đường đến việc nhận diện khối u trong các bản quét y tế.

Qua nhiều năm, phân đoạn đối tượng đã phát triển đáng kể. Một bước tiến gần đây đã được giới thiệu tại sự kiện hybrid thường niên của Ultralytics, YOLO Vision 2024 (YV24), dưới dạng mô hình Ultralytics YOLO11. Mô hình mới hỗ trợ các tác vụ thị giác máy tính tương tự (bao gồm phân đoạn đối tượng) như mô hình Ultralytics YOLOv8, vì vậy người dùng đã quen thuộc với các phiên bản trước đó có thể tiếp nhận mô hình mới một cách liền mạch.

Hình 1. Ví dụ về việc sử dụng mô hình Ultralytics YOLO11 để phân đoạn đối tượng.

Trong bài viết này, chúng ta sẽ tìm hiểu về phân đoạn đối tượng và cách nó khác biệt so với các tác vụ thị giác máy tính khác như phân đoạn ngữ nghĩa (semantic segmentation), cũng như thảo luận về một số ứng dụng của nó. Chúng ta cũng sẽ tìm hiểu cách bạn có thể sử dụng mô hình phân đoạn đối tượng YOLO11 thông qua gói Ultralytics Python và nền tảng Ultralytics HUB. Hãy cùng bắt đầu!

Link to this sectionInstance segmentation là gì?#

Phân đoạn đối tượng có thể được sử dụng để xác định các đối tượng trong hình ảnh và phác thảo chúng ở cấp độ pixel. Quá trình này thường bao gồm việc trước tiên là phát hiện đối tượng và vẽ các bounding box xung quanh chúng. Sau đó, một thuật toán phân đoạn sẽ phân loại từng pixel bên trong bounding box để tạo ra một mặt nạ (mask) chính xác cho mỗi đối tượng.

Phân đoạn đối tượng cũng khác biệt so với các tác vụ như phân đoạn ngữ nghĩa (semantic segmentation) và phân đoạn toàn cảnh (panoptic segmentation). Phân đoạn ngữ nghĩa gắn nhãn từng pixel dựa trên danh mục chung của một đối tượng mà không phân biệt các thực thể cá thể. Mặt khác, phân đoạn toàn cảnh kết hợp cả phân đoạn đối tượng và phân đoạn ngữ nghĩa bằng cách gắn nhãn từng pixel với cả lớp đối tượng và ID thực thể, từ đó xác định các đối tượng riêng lẻ trong từng danh mục.

Hình 2. Sử dụng YOLO11 để phát hiện và phân đoạn một người và một chú chó.

Khả năng của phân đoạn đối tượng có thể được áp dụng trong nhiều tình huống khác nhau vốn yêu cầu các mô hình khác nhau. Ví dụ, một mô hình gọn nhẹ có thể lý tưởng cho xử lý thời gian thực trên các ứng dụng di động, trong khi một mô hình phức tạp hơn có thể được sử dụng cho các tác vụ có độ chính xác cao như kiểm soát chất lượng trong sản xuất.

Giống như các mô hình trước đây, mô hình phân đoạn đối tượng YOLO11 cũng có nhiều biến thể tùy thuộc vào nhu cầu của bạn. Các biến thể này bao gồm YOLO11n-seg (Nano), YOLO11s-seg (Small), YOLO11m-seg (Medium), YOLO11l-seg (Large) và YOLO11x-seg (Extra Large). Các mô hình này khác nhau về kích thước, tốc độ xử lý, độ chính xác và lượng sức mạnh tính toán mà chúng yêu cầu. Dựa trên các yêu cầu cụ thể, bạn có thể chọn mô hình phù hợp nhất với ứng dụng của mình.

Link to this sectionCác ứng dụng phân đoạn đối tượng cho YOLO11#

Khả năng phân đoạn đối tượng tiên tiến của YOLO11 mở ra hàng loạt ứng dụng trong nhiều ngành công nghiệp khác nhau. Hãy cùng xem xét kỹ hơn một số ứng dụng này.

Link to this sectionSử dụng phân đoạn YOLO11 trong ngành dầu khí#

Việc khai thác dầu khí liên quan đến việc quản lý những biến động áp suất cực lớn. Các kỹ thuật như đốt bỏ khí dư (gas flaring) giúp đốt cháy lượng khí tự nhiên được tạo ra trong quá trình khai thác dầu. Điều này là cần thiết vì lý do an toàn. Ví dụ, trong quá trình khai thác dầu thô, một áp suất tăng đột ngột hoặc đáng kể có thể dẫn đến cháy nổ. Mặc dù không phổ biến, các tai nạn công nghiệp trong lĩnh vực sản xuất dầu khí có thể gây ra những đám cháy dữ dội khó kiểm soát. Đốt bỏ khí dư giúp các nhà vận hành giảm áp suất thiết bị một cách an toàn và quản lý các biến động áp suất lớn, khó lường bằng cách đốt cháy lượng khí dư thừa.

Các hệ thống AI có thể cải thiện quy trình giám sát này, và nguy cơ tai nạn có thể được giảm thiểu bằng cách sử dụng hệ thống giám sát ngọn lửa dựa trên phân đoạn cá thể (instance segmentation). Việc giám sát hoạt động đốt bỏ khí gas cũng rất quan trọng vì lý do môi trường, vì việc đốt bỏ quá mức có thể gây tác động tiêu cực đến môi trường.

Các mô hình phân đoạn đối tượng Ultralytics YOLO11 có thể được sử dụng để theo dõi lượng lửa và khói gây ra do đốt khí dư. Diện tích pixel của ngọn lửa và khói được phát hiện và phân đoạn có thể được tính toán. Sử dụng thông tin này, các nhà vận hành có thể thu được thông tin chi tiết theo thời gian thực về ngọn lửa và khói gây ra từ việc đốt khí, giúp họ ngăn ngừa tai nạn và các tác động tiêu cực đến môi trường.

Hình 3. Ví dụ về giám sát ngọn lửa sử dụng YOLO11 trong sản xuất dầu khí.

Link to this sectionPhân đoạn đối tượng với YOLO11 để quản lý rác thải nhựa#

Công nhân tại các cơ sở quản lý rác thải và tái chế có thể sử dụng các hệ thống dựa trên phân đoạn đối tượng YOLO11 để nhận diện rác thải nhựa. YOLO11 có thể được tích hợp với các hệ thống phân loại bằng robot để xác định chính xác các loại rác thải khác nhau, như bìa cứng và nhựa (để xử lý riêng biệt). Điều này đặc biệt quan trọng khi xem xét trong số 7 tỷ tấn rác thải nhựa được tạo ra trên toàn cầu, chỉ có khoảng 10% được tái chế.

Việc tự động hóa nhận diện và phân loại rác thải nhựa giúp giảm đáng kể thời gian so với các phương pháp truyền thống, nơi công nhân phải phân loại thủ công. Các mô hình thị giác máy tính thậm chí có thể phân đoạn các loại nhựa mềm như màng bọc và túi nhựa, vốn đặc biệt khó khăn vì chúng thường bị rối. Các mô hình YOLO11 cũng có thể được huấn luyện tùy chỉnh để phân đoạn các loại nhựa khác nhau. Chúng ta sẽ tìm hiểu thêm về cách bạn có thể huấn luyện tùy chỉnh một mô hình YOLO11 trong các phần tiếp theo.

Hình 4. Nhận diện rác thải nhựa bằng Ultralytics YOLO11.

Link to this sectionPhân đoạn YOLO11 trong xe tự lái#

Một trường hợp sử dụng thú vị khác của phân đoạn cá thể là trong xe tự lái. YOLO11 cho phép xe tự lái cải thiện sự an toàn của hành khách và những người khác trên đường bằng cách nhận diện chính xác các đối tượng ở cấp độ pixel. Hệ thống camera trên xe có thể ghi lại hình ảnh môi trường xung quanh và phân tích chúng bằng cách sử dụng YOLO11 và phân đoạn cá thể. Mỗi đối tượng (người đi bộ, đèn giao thông, các phương tiện khác, v.v.) trong hình ảnh đều được phân đoạn và gắn nhãn. Mức độ chính xác như vậy mang lại cho xe tự lái khả năng nhận diện mọi đối tượng xung quanh chúng.

Hình 5. Sử dụng YOLO11 và phân đoạn đối tượng để nhận diện phương tiện và người đi bộ trên đường.

Link to this sectionTrải nghiệm phân đoạn đối tượng với mô hình YOLO11#

Bây giờ chúng ta đã tìm hiểu về phân đoạn đối tượng và thảo luận về một số ứng dụng, hãy xem cách bạn có thể trải nghiệm nó bằng cách sử dụng mô hình Ultralytics YOLO11.

Có hai cách để thực hiện việc này: bạn có thể sử dụng gói Ultralytics Python hoặc Ultralytics HUB. Chúng ta sẽ khám phá cả hai, bắt đầu với gói Python.

Link to this sectionChạy suy luận sử dụng YOLO11#

Chạy suy luận (inference) bao gồm việc sử dụng mô hình để phân tích dữ liệu mới, chưa từng thấy trước đây. Để chạy suy luận bằng mô hình phân đoạn đối tượng YOLO11 thông qua code, chúng ta cần cài đặt gói Ultralytics Python bằng pip, conda hoặc docker. Trong trường hợp bạn gặp bất kỳ vấn đề nào trong quá trình cài đặt, bạn có thể tham khảo Hướng dẫn các vấn đề thường gặp của chúng tôi để được trợ giúp khắc phục sự cố. Sau khi cài đặt xong gói, bạn có thể chạy đoạn code hiển thị bên dưới để tải mô hình phân đoạn đối tượng YOLO11 và thực hiện dự đoán trên hình ảnh.

Hình 6. Chạy suy luận trên một hình ảnh sử dụng YOLO11n-seg.

Link to this sectionHuấn luyện một mô hình YOLO11 tùy chỉnh#

Với cùng thiết lập code, bạn cũng có thể huấn luyện (train) một mô hình YOLO11 tùy chỉnh. Bằng cách tinh chỉnh (fine-tuning), bạn có thể tạo ra một phiên bản mô hình tùy chỉnh đáp ứng tốt hơn các yêu cầu dự án cụ thể của bạn. Ví dụ, các nhà bán lẻ có thể sử dụng mô hình tùy chỉnh để phân đoạn chính xác các đặc điểm hình thể của khách hàng nhằm đề xuất trang phục vừa vặn. Đoạn code bên dưới cho thấy cách tải và huấn luyện mô hình YOLO11 cho phân đoạn đối tượng. Bạn có thể bắt đầu từ cấu hình YAML hoặc một mô hình đã được huấn luyện sẵn, chuyển đổi trọng số (weights), và huấn luyện trên tập dữ liệu như COCO để đạt được hiệu quả phân đoạn cao.

Sau khi hoàn thành, bạn có thể thực hiện suy luận bằng mô hình tùy chỉnh cho các ứng dụng cụ thể của mình. Bằng cách sử dụng tùy chọn xuất (export option), bạn cũng có thể xuất mô hình tùy chỉnh của mình sang một định dạng khác.

Link to this sectionPhân đoạn đối tượng YOLO11 trên Ultralytics HUB#

Giờ đây, khi chúng ta đã tìm hiểu về việc chạy suy luận và huấn luyện tùy chỉnh mô hình phân đoạn đối tượng YOLO11 thông qua code, hãy cùng xem xét một giải pháp thay thế không cần code: Ultralytics HUB. Ultralytics HUB là một nền tảng vision AI trực quan giúp đơn giản hóa quá trình huấn luyện và triển khai các mô hình YOLO, bao gồm cả các mô hình phân đoạn đối tượng YOLO11.

Để chạy suy luận trên hình ảnh, tất cả những gì bạn cần làm là: tạo tài khoản, truy cập phần 'Models' và chọn biến thể mô hình phân đoạn đối tượng YOLO11 mà bạn muốn. Bạn có thể tải lên một hình ảnh và xem kết quả dự đoán trong phần xem trước, như hiển thị bên dưới.

Hình 7. Chạy suy luận trên Ultralytics HUB.

Link to this sectionCác điểm chính cần lưu ý#

YOLO11 mang lại khả năng phân đoạn đối tượng đáng tin cậy, mở ra một thế giới đầy tiềm năng trong nhiều ngành công nghiệp. Từ việc tăng cường an toàn trên xe tự lái và giám sát đốt khí dư trong ngành dầu khí đến việc tự động hóa phân loại rác thải tại các cơ sở tái chế, độ chính xác ở cấp độ pixel của YOLO11 khiến nó trở nên lý tưởng cho các tác vụ phân đoạn phức tạp.

Với các tùy chọn huấn luyện tùy chỉnh thông qua gói Ultralytics Python và thiết lập không cần code qua Ultralytics HUB, người dùng có thể tích hợp YOLO11 vào quy trình công việc của họ một cách liền mạch. Dù là cho các ứng dụng công nghiệp, chăm sóc sức khỏe, bán lẻ hay giám sát môi trường, YOLO11 đều mang lại sự linh hoạt và độ chính xác để đáp ứng các nhu cầu phân đoạn đa dạng.

Để khám phá thêm, hãy truy cập kho lưu trữ GitHub của chúng tôi và tham gia cùng cộng đồng của chúng tôi. Tìm hiểu các ứng dụng AI trong xe tự lái và nông nghiệp trên các trang giải pháp của chúng tôi. 🚀