Hướng dẫn gán nhãn đa giác với Ultralytics Platform

Các công nghệ AI tiên tiến đang thâm nhập vào nhiều ngành công nghiệp, từ xe tự hành đến nông nghiệp chính xác. Ví dụ, nông dân chăn nuôi bò sữa đang sử dụng AI và phân tích hình ảnh để phát hiện bệnh trên gia súc. Các mối lo ngại về sức khỏe như đi khập khiễng có thể được theo dõi bằng cách quan sát những thay đổi trong dáng đi và tư thế của động vật, chẳng hạn như lưng cong và chuyển động không đối xứng.

Hình 1. Ví dụ về việc theo dõi bò bằng AI và phân tích hình ảnh.

Computer vision, một nhánh của trí tuệ nhân tạo, cho phép các ứng dụng như vậy bằng cách cho phép máy móc diễn giải và phân tích dữ liệu hình ảnh. Cụ thể, instance segmentation là một tác vụ computer vision giúp xác định và phân đoạn từng đối tượng trong hình ảnh ở cấp độ pixel, giúp việc phát hiện và phân tích chính xác từng cá thể động vật trở nên khả thi.

Gán nhãn đa giác (polygon annotation) đóng vai trò then chốt trong quy trình này. Đây là một phương pháp gán nhãn dữ liệu được sử dụng để vẽ cẩn thận hình dạng chính xác của một đối tượng trong hình ảnh bằng cách đặt các điểm dọc theo các cạnh của nó. Không giống như gán nhãn bằng bounding box đơn giản, phương pháp này tuân theo đường viền thực tế của đối tượng, giúp tạo ra dữ liệu huấn luyện chính xác hơn và cho phép các mô hình vision AI hiểu rõ hơn về ranh giới đối tượng.

Ngày nay, có rất nhiều công cụ có sẵn để tạo các nhãn đa giác. Tuy nhiên, các tùy chọn này thường mang tính rời rạc, đặc biệt là khi chúng cung cấp hỗ trợ không nhất quán hoặc hạn chế cho các loại nhãn khác nhau, gây khó khăn cho việc quản lý các nhu cầu gắn nhãn đa dạng trong một quy trình làm việc duy nhất.

Ultralytics Platform, không gian làm việc vision AI toàn diện mới của chúng tôi, giúp thu hẹp khoảng cách giữa quản lý tập dữ liệu, gán nhãn, huấn luyện, triển khai và giám sát. Nền tảng này giải quyết vấn đề bằng cách hỗ trợ nhiều loại nhãn và quy trình làm việc có sự hỗ trợ của AI trong một không gian làm việc liền mạch, đơn giản hóa toàn bộ quá trình gán nhãn.

Trong bài viết này, chúng ta sẽ khám phá gán nhãn đa giác là gì và cách tạo chúng bằng Ultralytics Platform. Hãy bắt đầu ngay thôi!

Link to this sectionTìm hiểu sâu hơn về gán nhãn đa giác#

Trước khi đi sâu vào Ultralytics Platform và các tính năng gán nhãn đa giác của nó, hãy cùng lùi lại một bước và tìm hiểu xem gán nhãn đa giác là gì.

Image annotation là quá trình thêm nhãn vào dữ liệu hình ảnh để các mô hình AI có thể hiểu được những gì chúng đang thấy. Quá trình này thường bao gồm việc xác định các đối tượng trong hình ảnh và đánh dấu chúng theo cách mà mô hình có thể học hỏi được.

Một trong những phương pháp phổ biến nhất là vẽ các khung hình chữ nhật xung quanh các đối tượng, được gọi là bounding box. Tuy nhiên, bounding box chỉ cung cấp một đường bao thô quanh đối tượng. Gán nhãn đa giác là một phương pháp tiếp cận chính xác hơn.

Phương pháp này hoạt động bằng cách phác thảo một đối tượng (các đường viền của nó) theo từng điểm thay vì bao quanh nó trong một cái hộp. Để thực hiện, người gán nhãn đặt nhiều đỉnh (điểm) dọc theo các cạnh của đối tượng, lần theo đường bao của nó cho đến khi toàn bộ hình dạng được bao phủ.

Các điểm kết nối này tạo thành một đa giác phản chiếu đường viền tự nhiên của đối tượng. Vì hình dạng bám sát ranh giới của đối tượng, nhãn này ghi lại các chi tiết mà các phương pháp gán nhãn truyền thống thường bỏ lỡ. Điều này đặc biệt hữu ích khi các đối tượng có hình dạng không đều hoặc các cạnh phức tạp, như lá cây, bóng người và các đối tượng chồng lấp.

Độ chính xác như vậy trong dữ liệu giúp các mô hình machine learning học hiệu quả hơn trong quá trình huấn luyện mô hình. Khi các nhãn nắm bắt chính xác ranh giới thực của đối tượng, các mô hình có thể hiểu rõ hơn các mẫu của đối tượng ở cấp độ pixel. Điều này dẫn đến hiệu suất mô hình được cải thiện, đặc biệt là trong các tác vụ segmentation đòi hỏi độ chính xác cao.

Link to this sectionVai trò của gán nhãn đa giác trong quy trình làm việc của computer vision#

Vậy, các nhãn đa giác thực sự được sử dụng như thế nào? Chúng gắn liền với các vision AI models hỗ trợ các tác vụ image segmentation như instance segmentation.

Trong nhiều ứng dụng computer vision, việc biết chính xác diện tích mà mỗi đối tượng chiếm trong hình ảnh hoặc khung hình video là rất cần thiết. Một ví dụ điển hình là phát hiện phụ tùng ô tô trong sản xuất. Trong trường hợp này, các mô hình cần xác định và phác thảo chính xác các bộ phận như cửa, cửa sổ và đèn pha, ngay cả khi chúng chồng lấp hoặc có hình dạng phức tạp.

Đây là lúc instance segmentation phát huy tác dụng. Nó cho phép các mô hình phát hiện từng đối tượng và ánh xạ chính xác ranh giới của đối tượng đó ở cấp độ pixel. Điều này khác với object detection cơ bản, vốn chỉ sử dụng bounding box.

Hình 2. Instance segmentation cũng có thể giúp phân biệt các bộ phận bị hỏng của một chiếc xe hơi. (Nguồn)

Bounding box chỉ cung cấp các vùng hình chữ nhật thô quanh các đối tượng và thường bao gồm thêm phần nền, gây khó khăn cho việc nắm bắt các hình dạng không đều hoặc tách biệt các mục chồng lấp.

Gán nhãn đa giác đóng vai trò quan trọng trong việc đạt được mức độ chính xác này. Việc lần theo hình dạng chính xác của từng đối tượng trong tập dữ liệu hình ảnh sẽ tạo ra dữ liệu huấn luyện chất lượng cao phản ánh đúng ranh giới đối tượng. Các nhãn chi tiết này giúp các mô hình, chẳng hạn như Ultralytics YOLO26, hiểu rõ hơn cấu trúc của từng thành phần, dẫn đến kết quả segmentation chính xác hơn.

Link to this sectionHạn chế của các công cụ gán nhãn hình ảnh truyền thống#

Tiếp theo, hãy cùng tìm hiểu các hạn chế của các công cụ gán nhãn truyền thống để hiểu lý do tại sao cần các giải pháp hiệu quả và có khả năng mở rộng hơn như Ultralytics Platform.

Dưới đây là một số thách thức phổ biến mà người gán nhãn phải đối mặt khi sử dụng các công cụ gán nhãn đa giác truyền thống:

• Hỗ trợ hạn chế cho các loại nhãn: Một số công cụ chỉ tập trung vào một kỹ thuật gán nhãn duy nhất, gây khó khăn khi làm việc với các loại khác nhau như đa giác, bounding box và keypoints tại cùng một nơi.
• Xử lý các nhãn phức tạp thiếu hiệu quả: Các công cụ có thể thiếu các tính năng giúp dễ dàng gán nhãn chính xác cho các đối tượng phức tạp với chi tiết tinh vi.
• Thiếu các tính năng hỗ trợ bởi AI: Nhiều công cụ hoàn toàn dựa vào thao tác thủ công, không có hỗ trợ AI tích hợp để tăng tốc độ gán nhãn.
• Quản lý tập dữ liệu phân mảnh: Việc quản lý tập dữ liệu, phiên bản và nhãn có thể khó khăn, đặc biệt là khi các công cụ không cung cấp một không gian làm việc tập trung.

Ultralytics Platform giải quyết những lo ngại này bằng các tính năng gán nhãn có sự hỗ trợ của AI, được vận hành bởi cả Segment Anything Models (SAM) và các mô hình YOLO. SAM cho phép người dùng tạo các segmentation mask chất lượng cao từ các đầu vào đơn giản như nhấp chuột, sau đó có thể được tinh chỉnh thành các nhãn đa giác chính xác.

Tương tự, gán nhãn thông minh dựa trên YOLO sử dụng các mô hình YOLO được huấn luyện sẵn hoặc tùy chỉnh để chạy inference trên hình ảnh và thêm các dự đoán, chẳng hạn như bounding box, segmentation mask hoặc oriented bounding box, dưới dạng các nhãn, sau đó có thể được xem xét và điều chỉnh khi cần. Cùng với nhau, các khả năng này làm cho quá trình gán nhãn nhanh hơn, nhất quán hơn và dễ mở rộng hơn.

Link to this sectionCác loại nhãn khác nhau được hỗ trợ bởi Ultralytics Platform#

Ultralytics Platform bao gồm một trình chỉnh sửa nhãn tích hợp cho phép người dùng gán nhãn hình ảnh trực tiếp trong không gian làm việc. Điều này giúp việc xây dựng và quản lý tập dữ liệu trở nên dễ dàng hơn mà không cần phụ thuộc vào các công cụ gán nhãn dữ liệu riêng biệt và thường gây tốn thời gian.

Ngoài gán nhãn đa giác, Ultralytics Platform còn hỗ trợ một số loại nhãn khác. Dưới đây là tổng quan nhanh:

• Bounding boxes: Người gán nhãn có thể vẽ các hộp chữ nhật đơn giản xung quanh đối tượng, giúp dễ dàng dán nhãn và phát hiện chúng trong hình ảnh.
• Keypoints: Phương pháp này được sử dụng để đánh dấu các điểm cụ thể, chẳng hạn như khớp cơ thể hoặc các mốc quan trọng, cho các tác vụ như ước tính tư thế (pose estimation).
• Oriented bounding boxes (OBBs): Cho phép người dùng nắm bắt các đối tượng bị xoay hoặc nghiêng chính xác hơn so với bounding box tiêu chuẩn.
• Classification labels: Đối với các tác vụ đơn giản hơn, người dùng có thể gán nhãn cho toàn bộ hình ảnh thay vì đánh dấu từng đối tượng riêng lẻ.

Link to this sectionGán nhãn đối tượng bằng đa giác trên Ultralytics Platform#

Bây giờ, hãy xem cách tạo nhãn đa giác trên Ultralytics Platform, dù là thủ công hay với các công cụ hỗ trợ bởi AI.

Link to this sectionTạo nhãn đa giác thủ công trên Ultralytics Platform#

Dưới đây là hướng dẫn nhanh từng bước để tạo nhãn đa giác thủ công:

• Bước 1 - Điều hướng đến tập dữ liệu của bạn: Mở tập dữ liệu chứa các hình ảnh bạn muốn gán nhãn. Đây là nơi các hình ảnh và nhãn của bạn được lưu trữ và quản lý.
• Bước 2 - Mở một hình ảnh: Nhấp vào một hình ảnh để mở nó trong giao diện gán nhãn. Quy trình gán nhãn phụ thuộc vào tác vụ của tập dữ liệu. Ví dụ, trong tập dữ liệu instance segmentation, các nhãn được tạo bằng cách sử dụng các mask đa giác.
• Bước 3 – Bắt đầu tạo một mask: Nhấp vào hình ảnh để bắt đầu gán nhãn. Mỗi lần nhấp sẽ thêm một đỉnh dọc theo ranh giới đối tượng.
• Bước 4 – Phác thảo đường viền đối tượng: Tiếp tục nhấp xung quanh các cạnh của đối tượng để xác định hình dạng của nó.
• Bước 5 – Hoàn thành đa giác: Bạn có thể nhấn “Enter” hoặc nhấp vào điểm đầu tiên để hoàn thành đa giác và gán nhãn lớp (class label).
• Bước 6 – Thêm các nhãn bổ sung: Lặp lại quy trình để tạo thêm đa giác cho các đối tượng khác trong hình ảnh.
• Bước 7 – Lưu các nhãn: Các nhãn sẽ được tự động lưu khi bạn tạo chúng.

Hình 3. Cái nhìn về việc tạo nhãn đa giác thủ công bằng Ultralytics Platform (Nguồn)

Link to this sectionGán nhãn đa giác thông minh trên Ultralytics Platform#

Tiếp theo, hãy xem các tính năng gán nhãn có sự hỗ trợ của AI được Ultralytics Platform hỗ trợ giúp đẩy nhanh quá trình gán nhãn.

Nền tảng này cung cấp hai phương pháp để gán nhãn thông minh: một phương pháp được vận hành bởi Segment Anything Models cho việc tạo nhãn tương tác dựa trên nhấp chuột, và phương pháp kia được vận hành bởi các mô hình YOLO để thêm các dự đoán của mô hình trực tiếp dưới dạng nhãn. Cả hai phương pháp đều có thể được sử dụng cho gán nhãn đa giác thông minh.

Link to this sectionGán nhãn thông minh sử dụng SAM trong Ultralytics Platform#

Gán nhãn với sự hỗ trợ của SAM trên Ultralytics Platform giúp đơn giản hóa việc dán nhãn thủ công bằng cách sử dụng Segment Anything Model (SAM) để tạo các segmentation mask với đầu vào tối thiểu. Thay vì lần theo các đối tượng từng điểm một, người dùng có thể tương tác với hình ảnh bằng các gợi ý đơn giản như nhấp chuột để chỉ định những gì nên bao gồm hoặc loại trừ.

Nền tảng hỗ trợ nhiều mô hình SAM, bao gồm SAM 2.1 và SAM 3, cho phép người dùng lựa chọn giữa hiệu suất nhanh hơn hoặc độ chính xác cao hơn tùy thuộc vào nhu cầu của họ. Dựa trên đầu vào của người dùng, SAM tạo ra các mask ở cấp độ pixel trong thời gian thực. Các mask này sau đó có thể được tinh chỉnh và sử dụng làm nhãn đa giác, làm cho quá trình trở nên nhanh hơn, nhất quán hơn và dễ mở rộng hơn.

Dưới đây là các bước để sử dụng SAM cho gán nhãn đa giác trong Ultralytics Platform:

• Bước 1 – Mở một hình ảnh: Điều hướng đến tập dữ liệu của bạn và nhấp vào một hình ảnh để khởi chạy trình xem toàn màn hình.
• Bước 2 – Vào chế độ gán nhãn: Nhấp “Edit”, sau đó chuyển sang chế độ Smart (hoặc nhấn S) để kích hoạt SAM.
• Bước 3 – Chọn một mô hình SAM: Chọn một mô hình SAM từ thanh công cụ dựa trên nhu cầu về tốc độ và độ chính xác của bạn.
• Bước 4 – Cung cấp gợi ý: Nhấp chuột trái để thêm các điểm dương (bao gồm các khu vực) và nhấp chuột phải để thêm các điểm âm (loại trừ các khu vực).
• Bước 5 – Tạo và áp dụng mask: SAM dự đoán một segmentation mask trong thời gian thực. Nhấn “Enter” (hoặc sử dụng auto-apply) để áp dụng nhãn.
• Bước 6 – Tinh chỉnh nhãn: Thêm nhiều điểm hơn hoặc điều chỉnh kết quả nếu cần để cải thiện độ chính xác trước khi lưu.

Hình 4. Gán nhãn đa giác với sự hỗ trợ của SAM trong Ultralytics Platform (Nguồn)

Link to this sectionGán nhãn thông minh sử dụng YOLO trong Ultralytics Platform#

Gán nhãn thông minh dựa trên YOLO trên Ultralytics Platform tăng tốc độ dán nhãn bằng cách sử dụng các mô hình Ultralytics YOLO được huấn luyện sẵn hoặc các mô hình YOLO đã tinh chỉnh để tạo dự đoán trên hình ảnh và thêm chúng dưới dạng nhãn. Các dự đoán này có thể bao gồm bounding box, segmentation mask hoặc oriented bounding box, tùy thuộc vào tác vụ của tập dữ liệu.

Người dùng sau đó có thể xem xét và tinh chỉnh các nhãn này khi cần. Dưới đây là tổng quan về các bước liên quan đến việc sử dụng gán nhãn thông minh dựa trên YOLO trên Ultralytics Platform:

• Bước 1 – Mở một hình ảnh: Điều hướng đến tập dữ liệu của bạn và chọn một hình ảnh để mở trong trình xem toàn màn hình.
• Bước 2 – Vào chế độ gán nhãn: Nhấp “Edit”, sau đó chuyển sang chế độ Smart (hoặc nhấn S).
• Bước 3 – Chọn một mô hình YOLO: Chọn một mô hình YOLO từ bộ chọn mô hình trong thanh công cụ.
• Bước 4 – Chạy dự đoán: Nhấp “Predict” để để mô hình tự động tạo các nhãn.
• Bước 5 – Xem xét các nhãn: Kiểm tra các bounding box, segmentation mask hoặc OBB được thêm vào hình ảnh.
• Bước 6 – Tinh chỉnh và lưu: Chỉnh sửa, điều chỉnh hoặc xóa các nhãn không chính xác nếu cần, sau đó lưu nhãn cuối cùng của bạn.

Hình 5. Cái nhìn sơ lược về việc sử dụng gán nhãn thông minh YOLO (Nguồn)

Link to this sectionCác trường hợp sử dụng thực tế của gán nhãn đa giác#

Gán nhãn đa giác đang tạo ra tác động thực sự trên các ngành công nghiệp, từ kiểm soát chất lượng trong sản xuất đến nông nghiệp và chăm sóc sức khỏe. Hãy khám phá một số ứng dụng thực tế chính.

Link to this sectionPhát hiện sâu bệnh bằng computer vision#

Trong nông nghiệp, việc theo dõi sức khỏe cây trồng rất quan trọng để cải thiện năng suất và giảm thiểu tổn thất. Việc phát hiện các khu vực bị nhiễm sâu bệnh trên lá cây có thể gặp khó khăn vì những vùng này thường có hình dạng không đều và ranh giới không rõ ràng.

Loại vấn đề này có thể được tiếp cận bằng cách sử dụng các kỹ thuật image segmentation như semantic segmentation, vốn gán nhãn tất cả các pixel thuộc về một lớp (chẳng hạn như các khu vực bị nhiễm bệnh), hoặc instance segmentation, giúp tách biệt đường viền đối tượng chính xác hơn.

Với Ultralytics Platform, người dùng có thể sử dụng gán nhãn đa giác để lần theo hình dạng chính xác của các khu vực bị nhiễm bệnh này. Điều này giúp tạo ra các tập dữ liệu chính xác hơn và giúp các thuật toán vision AI dễ dàng nhận diện các mẫu tinh vi trong môi trường nông nghiệp.

Kết quả là các đội ngũ có thể xây dựng dữ liệu huấn luyện tốt hơn giúp các mô hình xác định chính xác vị trí có sự xâm nhập của sâu bệnh. Cách làm này hiệu quả hơn so với việc sử dụng bounding box, vốn có thể bao gồm cả các phần của lá không bị ảnh hưởng.

Link to this sectionPhân tích hình ảnh y tế được vận hành bởi instance segmentation#

Tương tự như pest detection trong nông nghiệp, ngay cả những khác biệt nhỏ về ranh giới cũng có thể ảnh hưởng đến cách phân tích các bệnh như ung thư trong medical imaging. Điều này đặc biệt quan trọng khi xác định các bất thường về chăm sóc sức khỏe như khối u trong ảnh quét CT.

Các phương pháp gán nhãn truyền thống có thể bỏ lỡ các cạnh tinh vi hoặc bao gồm cả các mô xung quanh, điều này có thể làm giảm độ chính xác. Với Ultralytics Platform, các đội ngũ có thể sử dụng gán nhãn đa giác để phác thảo chính xác các vùng này trong dữ liệu huấn luyện, giúp các mô hình tạo ra kết quả phân đoạn khối u chính xác và đáng tin cậy hơn.

Link to this sectionCác điểm chính rút ra#

Gán nhãn đa giác là chìa khóa khi các mô hình cần hiểu hình dạng đối tượng trong hình ảnh với độ chính xác cao. Nó giúp thể hiện các hình dạng phức tạp một cách chính xác hơn, đặc biệt là khi sử dụng Ultralytics Platform. Bằng cách kết hợp sự chính xác với các công cụ mạnh mẽ, các đội ngũ có thể xây dựng các mô hình AI đáng tin cậy và hiệu suất cao hơn.

Bạn đã sẵn sàng đưa vision AI vào các dự án của mình chưa? Hãy tham gia community của chúng tôi và khám phá AI in the automotive và vision AI in robotics. Khám phá GitHub repository của chúng tôi để tìm hiểu thêm. Hãy xem licensing options của chúng tôi để bắt đầu ngay hôm nay!