Hướng dẫn chú thích đa giác với Ultralytics Platform

Các công nghệ AI tiên tiến đang được ứng dụng trong nhiều ngành công nghiệp, từ xe tự hành đến nông nghiệp chính xác. Ví dụ, nông dân chăn nuôi bò sữa đang sử dụng AI và phân tích hình ảnh để phát hiện bệnh ở gia súc. Các vấn đề sức khỏe như tình trạng đi khập khiễng có thể được theo dõi bằng cách quan sát những thay đổi trong dáng đi và tư thế của con vật, chẳng hạn như lưng cong và chuyển động không đối xứng.

Hình 1. Ví dụ về theo dõi bò bằng AI và phân tích hình ảnh.

Thị giác máy tính, một nhánh của trí tuệ nhân tạo, cho phép triển khai các ứng dụng như vậy bằng cách giúp máy móc diễn giải và phân tích dữ liệu hình ảnh. Cụ thể, phân đoạn đối tượng là một tác vụ thị giác máy tính có khả năng xác định và phân đoạn từng đối tượng trong ảnh ở cấp độ pixel, từ đó giúp phát hiện và phân tích chính xác từng con vật.

Chú thích đa giác đóng vai trò quan trọng trong quy trình này. Đây là một phương pháp chú thích dữ liệu được sử dụng để cẩn thận vẽ theo hình dạng chính xác của một đối tượng trong ảnh bằng cách đặt các điểm dọc theo các cạnh của đối tượng. Không giống như chú thích bằng hộp giới hạn đơn giản, phương pháp này bám theo đường viền thực của đối tượng, giúp tạo dữ liệu huấn luyện chính xác hơn và cho phép các model AI thị giác hiểu rõ hơn ranh giới của đối tượng.

Ngày nay, có nhiều công cụ hỗ trợ tạo chú thích đa giác. Tuy nhiên, các tùy chọn này thường bị phân mảnh, đặc biệt khi cung cấp khả năng hỗ trợ không nhất quán hoặc hạn chế cho các loại chú thích khác nhau, khiến việc quản lý nhu cầu gán nhãn đa dạng trong một workflow duy nhất trở nên khó khăn hơn.

Ultralytics Platform, workspace AI thị giác end-to-end mới của chúng tôi giúp kết nối quản lý dataset, chú thích, huấn luyện, triển khai và giám sát, giải quyết vấn đề này bằng cách hỗ trợ nhiều loại chú thích và workflow có AI hỗ trợ trong một workspace liền mạch, đơn giản hóa toàn bộ quy trình chú thích.

Trong bài viết này, chúng ta sẽ tìm hiểu chú thích đa giác là gì và cách tạo chú thích đa giác bằng Ultralytics Platform. Hãy bắt đầu!

Tìm hiểu sâu hơn về chú thích đa giác#

Trước khi tìm hiểu về Ultralytics Platform và các tính năng chú thích đa giác, hãy cùng lùi lại một bước để hiểu chú thích đa giác là gì.

Chú thích hình ảnh là quá trình thêm nhãn vào dữ liệu hình ảnh để các model AI có thể hiểu những gì chúng đang nhìn thấy. Quy trình này thường bao gồm việc xác định các đối tượng trong ảnh và đánh dấu chúng theo cách mà model có thể học từ đó.

Một trong những phương pháp phổ biến nhất là vẽ các hộp hình chữ nhật quanh đối tượng, gọi là hộp giới hạn. Tuy nhiên, hộp giới hạn chỉ cung cấp đường bao tương đối của đối tượng. Chú thích đa giác là một phương pháp chính xác hơn.

Phương pháp này hoạt động bằng cách vẽ đường viền của đối tượng (các biên của đối tượng) theo từng điểm thay vì bao quanh đối tượng bằng một chiếc hộp. Để thực hiện, người chú thích đặt nhiều đỉnh (điểm) dọc theo các cạnh của đối tượng, lần theo đường bao cho đến khi toàn bộ hình dạng được bao phủ.

Các điểm được nối với nhau tạo thành một đa giác phản ánh đường viền tự nhiên của đối tượng. Vì hình dạng bám sát ranh giới của đối tượng, chú thích có thể ghi lại những chi tiết mà các phương pháp gán nhãn truyền thống thường bỏ sót. Điều này đặc biệt hữu ích khi đối tượng có hình dạng bất quy tắc hoặc các cạnh phức tạp, chẳng hạn như lá cây, hình dáng con người và các đối tượng chồng lấn.

Độ chính xác như vậy trong dữ liệu giúp các model machine learning học hiệu quả hơn trong quá trình huấn luyện model. Khi chú thích ghi lại chính xác ranh giới thực của đối tượng, model có thể hiểu rõ hơn các đặc điểm của đối tượng ở cấp độ pixel. Điều này giúp cải thiện hiệu suất model, đặc biệt trong các tác vụ phân đoạn yêu cầu độ chính xác cao.

Vai trò của chú thích đa giác trong workflow thị giác máy tính#

Vậy chú thích đa giác thực sự được sử dụng như thế nào? Chúng gắn liền với các model AI thị giác hỗ trợ các tác vụ phân đoạn hình ảnh như phân đoạn đối tượng.

Trong nhiều ứng dụng thị giác máy tính, việc biết chính xác diện tích mà mỗi đối tượng chiếm trong một ảnh hoặc một khung hình video là rất cần thiết. Một ví dụ điển hình là phát hiện các bộ phận ô tô trong sản xuất. Trong trường hợp này, model cần xác định và phác thảo chính xác các bộ phận như cửa xe, cửa sổ và đèn pha, ngay cả khi chúng chồng lấn hoặc có hình dạng phức tạp.

Đây là lúc phân đoạn đối tượng phát huy tác dụng. Phương pháp này cho phép model phát hiện từng đối tượng và lập bản đồ ranh giới chính xác của chúng ở cấp độ pixel. Điều này khác với phát hiện đối tượng cơ bản, vốn sử dụng các hộp giới hạn.

Hình 2. Phân đoạn đối tượng cũng có thể giúp phân biệt các bộ phận ô tô bị hư hỏng. (Nguồn)

Hộp giới hạn chỉ cung cấp các vùng hình chữ nhật tương đối quanh đối tượng và thường bao gồm cả phần nền thừa, khiến việc nắm bắt các hình dạng bất quy tắc hoặc tách các đối tượng chồng lấn trở nên khó khăn hơn.

Chú thích đa giác đóng vai trò thiết yếu trong việc đạt được mức độ chính xác này. Việc lần theo hình dạng chính xác của từng đối tượng trong ảnh của dataset sẽ tạo ra dữ liệu huấn luyện chất lượng cao, phản ánh đúng ranh giới đối tượng. Các chú thích chi tiết này giúp các model như Ultralytics YOLO26 hiểu rõ hơn cấu trúc của từng thành phần, từ đó mang lại kết quả phân đoạn chính xác hơn.

Hạn chế của các công cụ chú thích hình ảnh truyền thống#

Tiếp theo, hãy cùng tìm hiểu các hạn chế của những công cụ chú thích truyền thống để thấy được nhu cầu về các giải pháp hiệu quả và có khả năng mở rộng hơn như Ultralytics Platform.

Dưới đây là một số thách thức phổ biến mà người chú thích gặp phải khi sử dụng các công cụ chú thích đa giác truyền thống:

• Hỗ trợ hạn chế cho các loại chú thích: Một số công cụ tập trung vào một kỹ thuật chú thích duy nhất, khiến việc làm việc với các loại khác nhau như đa giác, hộp giới hạn và keypoint trong cùng một nơi trở nên khó khăn.
• Xử lý chú thích phức tạp kém hiệu quả: Các công cụ có thể thiếu những tính năng giúp chú thích chính xác các đối tượng phức tạp với nhiều chi tiết trở nên dễ dàng hơn.
• Thiếu tính năng có AI hỗ trợ: Nhiều công cụ hoàn toàn phụ thuộc vào thao tác thủ công mà không có AI tích hợp để tăng tốc quá trình chú thích.
• Quản lý dataset phân mảnh: Việc quản lý dataset, version và chú thích có thể khó khăn, đặc biệt khi công cụ không cung cấp một workspace tập trung.

Ultralytics Platform giải quyết các vấn đề này bằng các tính năng chú thích có AI hỗ trợ, được cung cấp bởi cả Segment Anything Models (SAM) và các model YOLO. SAM cho phép người dùng tạo các segmentation mask chất lượng cao từ những đầu vào đơn giản như thao tác nhấp, sau đó có thể tinh chỉnh thành các chú thích đa giác chính xác.

Tương tự, tính năng chú thích thông minh dựa trên YOLO sử dụng các model YOLO được huấn luyện trước hoặc huấn luyện tùy chỉnh để chạy inference trên ảnh và thêm các dự đoán như hộp giới hạn, segmentation mask hoặc hộp giới hạn định hướng dưới dạng chú thích; sau đó người dùng có thể xem xét và điều chỉnh khi cần. Kết hợp lại, các khả năng này giúp quy trình chú thích nhanh hơn, nhất quán hơn và dễ mở rộng hơn.

Các loại chú thích khác nhau được Ultralytics Platform hỗ trợ#

Ultralytics Platform tích hợp một trình chỉnh sửa chú thích cho phép người dùng chú thích hình ảnh trực tiếp trong workspace. Điều này giúp xây dựng và quản lý dataset dễ dàng hơn mà không cần phụ thuộc vào các công cụ gán nhãn dữ liệu riêng biệt, vốn thường tốn nhiều thời gian.

Bên cạnh chú thích đa giác, Ultralytics Platform còn hỗ trợ một số loại chú thích khác. Dưới đây là phần tổng quan nhanh:

• Hộp giới hạn: Người chú thích có thể vẽ các hộp hình chữ nhật đơn giản quanh đối tượng, giúp dễ dàng gán nhãn và phát hiện chúng trong ảnh.
• Keypoint: Phương pháp này được sử dụng để đánh dấu các điểm cụ thể, chẳng hạn như khớp cơ thể hoặc mốc đặc trưng, cho các tác vụ như ước tính tư thế.
• Hộp giới hạn định hướng (OBBs): Các hộp này cho phép người dùng biểu diễn chính xác hơn các đối tượng bị xoay hoặc đặt theo góc nghiêng so với hộp giới hạn tiêu chuẩn.
• Nhãn phân loại: Với các tác vụ đơn giản hơn, người dùng có thể gán nhãn cho toàn bộ ảnh thay vì đánh dấu từng đối tượng.

Chú thích đối tượng bằng đa giác trên Ultralytics Platform#

Bây giờ, hãy cùng xem cách tạo chú thích đa giác trên Ultralytics Platform, theo cách thủ công hoặc bằng các công cụ có AI hỗ trợ.

Tạo chú thích đa giác thủ công trên Ultralytics Platform#

Dưới đây là hướng dẫn nhanh từng bước để tạo chú thích đa giác thủ công:

• Bước 1 - Điều hướng đến dataset: Mở dataset chứa các hình ảnh bạn muốn chú thích. Đây là nơi hình ảnh và chú thích của bạn được lưu trữ và quản lý.
• Bước 2 - Mở hình ảnh: Nhấp vào một hình ảnh để mở trong giao diện chú thích. Workflow chú thích phụ thuộc vào tác vụ của dataset. Ví dụ, trong dataset phân đoạn đối tượng, chú thích được tạo bằng polygon mask.
• Bước 3 – Bắt đầu tạo mask: Nhấp vào hình ảnh để bắt đầu chú thích. Mỗi lần nhấp sẽ thêm một đỉnh dọc theo ranh giới đối tượng.
• Bước 4 – Vẽ theo đường viền đối tượng: Tiếp tục nhấp quanh các cạnh của đối tượng để xác định hình dạng của đối tượng.
• Bước 5 – Hoàn tất đa giác: Bạn có thể nhấn “Enter” hoặc nhấp vào điểm đầu tiên để hoàn tất đa giác và gán nhãn lớp.
• Bước 6 – Thêm chú thích bổ sung: Lặp lại quy trình để tạo thêm đa giác cho các đối tượng khác trong ảnh.
• Bước 7 – Lưu chú thích: Chú thích sẽ được tự động lưu khi bạn tạo chúng.

Hình 3. Minh họa việc tạo chú thích đa giác thủ công bằng Ultralytics Platform (Nguồn)

Chú thích đa giác thông minh trên Ultralytics Platform#

Tiếp theo, hãy cùng xem các tính năng gán nhãn có AI hỗ trợ của Ultralytics Platform, giúp tăng tốc quy trình chú thích.

Nền tảng cung cấp hai phương pháp chú thích thông minh: một phương pháp được cung cấp bởi Segment Anything Models để tạo chú thích tương tác dựa trên thao tác nhấp, và phương pháp còn lại được cung cấp bởi các model YOLO để thêm trực tiếp các dự đoán của model dưới dạng chú thích. Cả hai phương pháp đều có thể được sử dụng để chú thích đa giác thông minh.

Chú thích thông minh bằng SAM trong Ultralytics Platform#

Tính năng chú thích có SAM hỗ trợ trên Ultralytics Platform đơn giản hóa việc gán nhãn thủ công bằng cách sử dụng Segment Anything Model (SAM) để tạo segmentation mask với đầu vào tối thiểu. Thay vì lần theo đối tượng từng điểm một, người dùng có thể tương tác với hình ảnh bằng các prompt đơn giản như thao tác nhấp để chỉ ra phần nào cần bao gồm hoặc loại trừ.

Nền tảng hỗ trợ nhiều model SAM, bao gồm SAM 2.1 và SAM 3, cho phép người dùng lựa chọn hiệu suất nhanh hơn hoặc độ chính xác cao hơn tùy theo nhu cầu. Dựa trên đầu vào của người dùng, SAM tạo các mask ở cấp độ pixel theo thời gian thực. Sau đó, các mask này có thể được tinh chỉnh và sử dụng làm chú thích đa giác, giúp quy trình nhanh hơn, nhất quán hơn và dễ mở rộng hơn.

Dưới đây là các bước sử dụng SAM để chú thích đa giác trong Ultralytics Platform:

• Bước 1 – Mở hình ảnh: Điều hướng đến dataset và nhấp vào một hình ảnh để mở trình xem toàn màn hình.
• Bước 2 – Vào chế độ chú thích: Nhấp vào “Edit”, sau đó chuyển sang chế độ Smart (hoặc nhấn S) để bật SAM.
• Bước 3 – Chọn model SAM: Chọn một model SAM từ thanh công cụ dựa trên nhu cầu về tốc độ và độ chính xác.
• Bước 4 – Cung cấp prompt: Nhấp chuột trái để thêm các điểm dương (vùng bao gồm) và nhấp chuột phải để thêm các điểm âm (vùng loại trừ).
• Bước 5 – Tạo và áp dụng mask: SAM dự đoán segmentation mask theo thời gian thực. Nhấn “Enter” (hoặc sử dụng tính năng tự động áp dụng) để áp dụng chú thích.
• Bước 6 – Tinh chỉnh chú thích: Thêm các điểm khác hoặc điều chỉnh kết quả nếu cần để cải thiện độ chính xác trước khi lưu.

Hình 4. Chú thích đa giác có SAM hỗ trợ trong Ultralytics Platform (Nguồn)

Chú thích thông minh bằng YOLO trong Ultralytics Platform#

Tính năng chú thích thông minh dựa trên YOLO trên Ultralytics Platform tăng tốc việc gán nhãn bằng cách sử dụng các model Ultralytics YOLO được huấn luyện trước hoặc các model YOLO được fine-tune để tạo dự đoán trên ảnh và thêm chúng dưới dạng chú thích. Các dự đoán này có thể bao gồm hộp giới hạn, segmentation mask hoặc hộp giới hạn định hướng, tùy thuộc vào tác vụ của dataset.

Sau đó, người dùng có thể xem xét và tinh chỉnh các chú thích này khi cần. Dưới đây là tổng quan về các bước sử dụng tính năng chú thích thông minh dựa trên YOLO trên Ultralytics Platform:

• Bước 1 – Mở hình ảnh: Điều hướng đến dataset và chọn một hình ảnh để mở trong trình xem toàn màn hình.
• Bước 2 – Vào chế độ chú thích: Nhấp vào “Edit”, sau đó chuyển sang chế độ Smart (hoặc nhấn S).
• Bước 3 – Chọn model YOLO: Chọn một model YOLO từ bộ chọn model trên thanh công cụ.
• Bước 4 – Chạy dự đoán: Nhấp vào “Predict” để model tự động tạo chú thích.
• Bước 5 – Xem xét chú thích: Kiểm tra các hộp giới hạn, segmentation mask hoặc OBBs được dự đoán và thêm vào hình ảnh.
• Bước 6 – Tinh chỉnh và lưu: Chỉnh sửa, điều chỉnh hoặc xóa các chú thích không chính xác khi cần, sau đó lưu các nhãn cuối cùng.

Hình 5. Minh họa việc sử dụng chú thích thông minh YOLO (Nguồn)

Các trường hợp sử dụng chú thích đa giác trong thực tế#

Chú thích đa giác đang tạo ra tác động thực tế trong nhiều ngành, từ kiểm soát chất lượng trong sản xuất đến nông nghiệp và chăm sóc sức khỏe. Hãy cùng khám phá một số ứng dụng thực tế tiêu biểu.

Xác định sâu bệnh bằng thị giác máy tính#

Trong nông nghiệp, việc theo dõi sức khỏe cây trồng có ý nghĩa quan trọng trong việc cải thiện năng suất và giảm tổn thất. Việc phát hiện các vùng bị sâu bệnh trên lá cây có thể khó khăn vì những vùng này thường có hình dạng bất quy tắc và ranh giới không rõ ràng.

Loại vấn đề này có thể được xử lý bằng các kỹ thuật phân đoạn hình ảnh như semantic segmentation, phương pháp gán nhãn cho tất cả pixel thuộc về một lớp (chẳng hạn như vùng bị nhiễm bệnh), hoặc instance segmentation, phương pháp phân tách đường viền đối tượng chính xác hơn.

Với Ultralytics Platform, người dùng có thể sử dụng chú thích đa giác để vẽ theo hình dạng chính xác của các vùng bị nhiễm bệnh này. Điều này giúp tạo ra các dataset chính xác hơn và giúp các thuật toán AI thị giác dễ dàng phát hiện những đặc điểm tinh vi trong môi trường nông nghiệp.

Nhờ đó, các nhóm có thể xây dựng dữ liệu huấn luyện tốt hơn, giúp model xác định chính xác vị trí xuất hiện của sự xâm nhiễm sâu bệnh. Phương pháp này hiệu quả hơn việc sử dụng hộp giới hạn, vốn có thể bao gồm cả những phần lá không bị ảnh hưởng.

Phân tích hình ảnh y tế được hỗ trợ bởi phân đoạn đối tượng#

Tương tự như phát hiện sâu bệnh trong nông nghiệp, ngay cả những khác biệt nhỏ ở ranh giới cũng có thể ảnh hưởng đến cách phân tích các bệnh như ung thư trong hình ảnh y tế. Điều này đặc biệt quan trọng khi xác định các bất thường y tế như khối u trong ảnh chụp CT.

Các phương pháp chú thích truyền thống có thể bỏ sót các cạnh nhỏ hoặc bao gồm mô xung quanh, từ đó làm giảm độ chính xác. Với Ultralytics Platform, các nhóm có thể sử dụng chú thích đa giác để vẽ chính xác theo những vùng này trong dữ liệu huấn luyện, giúp model tạo ra kết quả phân đoạn khối u chính xác và đáng tin cậy hơn.

Những điểm chính#

Chú thích đa giác đóng vai trò then chốt khi model cần hiểu chính xác hình dạng đối tượng trong hình ảnh. Phương pháp này giúp biểu diễn các hình dạng phức tạp chính xác hơn, đặc biệt khi sử dụng Ultralytics Platform. Bằng cách kết hợp độ chính xác với các công cụ mạnh mẽ, các nhóm có thể xây dựng những model AI đáng tin cậy và có hiệu suất cao hơn.

Bạn đã sẵn sàng đưa AI thị giác vào các dự án của mình chưa? Hãy tham gia cộng đồng của chúng tôi và khám phá AI trong ngành ô tô cũng như AI thị giác trong lĩnh vực robot. Truy cập repository GitHub của chúng tôi để tìm hiểu thêm. Xem các tùy chọn cấp phép để bắt đầu ngay hôm nay!