Tinh giản quy trình chú thích hình ảnh với Ultralytics Platform

Gần đây, Ultralytics đã giới thiệu Ultralytics Platform, một môi trường được xây dựng để hỗ trợ toàn bộ vòng đời phát triển computer vision. Nền tảng này tập trung các công cụ dùng để quản lý nhiều giai đoạn khác nhau của workflow vision AI, bao gồm chuẩn bị dataset, gán nhãn hình ảnh và video, training model và triển khai.

Mặc dù ngày càng được áp dụng rộng rãi trong các ngành như xe tự hành và chăm sóc sức khỏe, việc xây dựng các giải pháp computer vision vẫn có thể bị xem là một quy trình phân mảnh. Một trong những lý do chính là các model computer vision phụ thuộc rất nhiều vào chất lượng dữ liệu dùng để training. Ngay cả trước khi bắt đầu training, dataset cần được tạo, sắp xếp, kiểm tra và gán nhãn để model có thể học cách phát hiện hoặc nhận dạng.

Khi làm việc với dữ liệu hình ảnh, quy trình này được gọi là data annotation, hay image annotation. Trong quá trình image annotation, các phần cụ thể của hình ảnh được đánh dấu và gán nhãn để định hướng cho model trong quá trình training.

Ví dụ, nếu mục tiêu là phát hiện chó trong hình ảnh, người gán nhãn có thể vẽ bounding box quanh từng con chó để cho biết vị trí của chúng. Với các tác vụ chi tiết hơn, họ có thể phác thảo hình dạng của con chó bằng segmentation mask hoặc đánh dấu keypoint để ghi nhận tư thế. Những ví dụ đã gán nhãn này ảnh hưởng trực tiếp đến hiệu suất của model sau khi triển khai.

Quản lý workflow image annotation ở quy mô lớn có thể là một thách thức. Dataset lớn thường yêu cầu tiêu chuẩn gán nhãn nhất quán, sự cộng tác giữa nhiều người gán nhãn và các công cụ giúp việc kiểm tra, tinh chỉnh annotation trở nên dễ dàng hơn.

Ultralytics Platform tích hợp tất cả những yếu tố này trong annotation editor tích hợp sẵn. Nền tảng hỗ trợ nhiều loại tác vụ annotation và cung cấp cho các team một cách đơn giản hơn để gán nhãn dữ liệu cũng như chuẩn bị dataset computer vision trong cùng một workflow.

Hình 1. Tổng quan về annotation editor trong Ultralytics Platform (Nguồn)

Trong bài viết này, chúng ta sẽ tìm hiểu cách annotation editor của Ultralytics Platform giúp các team gán nhãn dataset hiệu quả và tinh gọn quy trình chuẩn bị dữ liệu. Hãy bắt đầu!

Data annotation trong computer vision#

Trước khi khám phá các công cụ image annotation có trên Ultralytics Platform, hãy cùng tìm hiểu data annotation là gì và tại sao nó quan trọng trong việc xây dựng các hệ thống computer vision.

Computer vision models học bằng cách phân tích các tập hợp lớn hình ảnh hoặc video, được gọi là dataset. Tuy nhiên, hình ảnh thô không cung cấp đủ thông tin để model hiểu cần phát hiện hoặc nhận dạng điều gì. Để dữ liệu hữu ích cho training, hình ảnh phải được gán nhãn thông qua data labeling để model có thể học cần tìm kiếm các object, hình dạng hoặc pattern nào.

Trong quá trình image annotation, các thành phần cụ thể trong hình ảnh được đánh dấu và gán nhãn để mô tả điều model cần học. Những ví dụ đã gán nhãn này định hướng cho deep learning model và algorithm trong quá trình training, đồng thời giúp chúng nhận dạng các pattern tương tự khi xử lý hình ảnh mới.

Các tác vụ computer vision khác nhau yêu cầu những loại image annotation khác nhau, tùy thuộc vào ứng dụng và use case. Ví dụ, người gán nhãn có thể vẽ bounding box quanh các object cho tác vụ object detection, phác thảo các vùng trong hình ảnh cho semantic segmentation, xác định keypoint cho pose estimation hoặc gán nhãn cho toàn bộ hình ảnh trong tác vụ classification.

Quản lý và chuẩn bị dữ liệu#

Chuẩn bị dữ liệu cho các dự án computer vision thường bao gồm việc làm việc với nhiều định dạng file và sắp xếp dataset. Quy trình này cũng bao gồm việc đảm bảo mọi thứ sẵn sàng cho annotation và training các machine learning algorithm. Trong nhiều workflow, quy trình này trải rộng qua nhiều công cụ, với dữ liệu được upload, làm sạch và di chuyển giữa các hệ thống trước khi có thể sử dụng.

Ultralytics Platform đơn giản hóa quy trình này bằng cách xử lý data preparation, training model và triển khai trong cùng một môi trường. Các team có thể upload hình ảnh, video hoặc archive dataset, đồng thời hưởng lợi từ cách tiếp cận hoàn toàn có thể tùy chỉnh để chuẩn bị dữ liệu bằng annotation thủ công hoặc tự động hóa bằng AI. Ultralytics Platform hỗ trợ cả dữ liệu thô và các định dạng tiêu chuẩn như YOLO và COCO, giúp dễ dàng bắt đầu các dự án mới. Nền tảng cũng cung cấp quyền truy cập vào các dataset hiện có, bao gồm những dataset đã được gán nhãn mà các team có thể sử dụng để nhanh chóng bắt đầu dự án hoặc experiment mới.

Hình 2. Upload và quản lý dataset trong một môi trường duy nhất trên Ultralytics Platform. (Nguồn)

Khi dữ liệu đã sẵn sàng, dữ liệu có thể được quản lý trực tiếp trên nền tảng. Developer có thể kiểm tra hình ảnh, theo dõi tiến độ annotation và sử dụng các visualization tích hợp để hiểu phân bố dataset cũng như xác định các phần còn thiếu.

Nền tảng cũng hỗ trợ versioning cho dataset, giúp các team ghi lại snapshot của dữ liệu khi dữ liệu phát triển. Điều này giúp dễ dàng theo dõi thay đổi, so sánh experiment và duy trì tính nhất quán trong quá trình training.

Sau khi dữ liệu được chuẩn bị, các team có thể chuyển sang gán nhãn hình ảnh để giúp model học cách phát hiện những gì cần nhận dạng.

Gán nhãn dataset trên Ultralytics Platform#

Sau khi dữ liệu được upload, bước tiếp theo là annotation. Đây là lúc dữ liệu hình ảnh được gán nhãn, tạo nền tảng cho việc training các model computer vision. Ultralytics Platform tích hợp dịch vụ image annotation thông qua annotation editor, cho phép các team gán nhãn và quản lý dataset trực tiếp trong cùng một môi trường.

Annotation editor cung cấp một workspace đơn giản, nơi người dùng có thể xem lại hình ảnh, thêm nhãn và cập nhật annotation khi cần. Mọi thứ được tổ chức tại một nơi, giúp duy trì tính nhất quán của dataset và giữ dataset sẵn sàng cho data training.

Các team có thể upload dataset và bắt đầu gán nhãn hình ảnh trực tiếp trên trình duyệt, đồng thời xác định và quản lý các class annotation để đảm bảo nhãn nhất quán trên toàn bộ dataset. Khi annotation được tạo, người dùng có thể kiểm tra trực quan trong editor, giúp dễ dàng đánh giá độ chính xác trước khi chuyển sang training model.

Các công cụ image annotation trong Ultralytics Platform#

Ultralytics Platform cũng bao gồm một số capability hỗ trợ workflow gán nhãn dataset hiệu quả, đơn giản hóa quy trình annotation bằng các algorithm nâng cao.

Dưới đây là một số tính năng chính có trên Ultralytics Platform:

• Annotation thủ công: Phương pháp này cho phép người dùng toàn quyền kiểm soát và linh hoạt khi tạo annotation cho hình ảnh, chẳng hạn như bounding box, vùng segmentation hoặc keypoint, trực tiếp trên hình ảnh.
• Gán nhãn có AI hỗ trợ: Tính năng này tự động tạo các annotation được đề xuất, giảm nhu cầu gán nhãn thủ công. Tính năng sử dụng SAM (Mô hình phân đoạn mọi thứ) để phát hiện object hoặc vùng chỉ với một lần nhấp, tinh gọn quy trình annotation và giúp người dùng kiểm tra, xác nhận các đề xuất trước khi thêm chúng vào dataset.
• Chỉnh sửa annotation: Người dùng có thể sửa đổi hoặc tinh chỉnh image annotation sau khi tạo vào bất kỳ thời điểm nào. Điều này giúp sửa các lỗi gán nhãn và duy trì nhãn dataset nhất quán trong suốt quy trình annotation.
• Quản lý class: Các team và developer làm việc độc lập có thể xác định và sắp xếp các class annotation được sử dụng trong quá trình gán nhãn dataset. Điều này giúp duy trì nhãn nhất quán giữa các hình ảnh, yếu tố quan trọng để training các model có khả năng nhận dạng và phân biệt chính xác giữa các class.

Bằng cách kết hợp các công cụ thủ công, trí tuệ nhân tạo và automation, Ultralytics Platform giúp người dùng gán nhãn hình ảnh hiệu quả hơn. Nền tảng cũng cho phép chuẩn bị dữ liệu training chất lượng cao cho các model computer vision có khả năng mở rộng.

Các loại tác vụ annotation được hỗ trợ#

Các use case khác nhau, chẳng hạn như đảm bảo chất lượng sản phẩm, sẽ yêu cầu những loại annotation khác nhau tùy thuộc vào nội dung cần phát hiện trong hình ảnh hoặc video. Như đã đề cập ở trên, Ultralytics Platform hỗ trợ năm tác vụ object detection, mỗi tác vụ có một loại annotation riêng.

Hãy cùng tìm hiểu kỹ hơn về các tác vụ annotation được nền tảng hỗ trợ và cách sử dụng chúng để gán nhãn dataset.

Phát hiện đối tượng#

Object detection xác định và định vị các object trong một hình ảnh. Người gán nhãn đánh dấu từng object cần quan tâm bằng bounding box, cho biết vị trí của các object trong hình ảnh.

Trong annotation editor, thao tác này được thực hiện bằng công cụ bounding box. Người dùng có thể vào “edit mode”, nhấp và kéo để vẽ hình chữ nhật quanh một object, rồi chọn class label từ menu dropdown.

Bounding box có thể được điều chỉnh sau khi tạo. Người gán nhãn có thể thay đổi kích thước bằng cách kéo các nút điều khiển ở góc hoặc cạnh, di chuyển bằng cách kéo phần giữa box hoặc xóa bằng phím tắt. Những annotation này giúp vision model học cách phát hiện object trong nhiều bối cảnh và điều kiện khác nhau.

Hình 3. Annotation object detection bằng bounding box trên Ultralytics Platform. (Nguồn)

Phân đoạn instance#

Instance segmentation cung cấp annotation chi tiết hơn bằng cách xác định chính xác hình dạng của object trong hình ảnh. Thay vì vẽ một box đơn giản, người gán nhãn lần theo ranh giới của object bằng polygon annotation để tạo mask chính xác cho các tác vụ image segmentation.

Annotation editor bao gồm công cụ polygon cho tác vụ này. Người gán nhãn đặt nhiều đỉnh xung quanh các cạnh của object để phác thảo hình dạng. Sau khi các đỉnh được đặt, polygon có thể được đóng lại để tạo segmentation mask.

Các đỉnh có thể được điều chỉnh sau khi polygon được tạo. Có thể di chuyển từng điểm để tinh chỉnh ranh giới object và xóa các đỉnh khi cần. Những annotation ở cấp pixel này giúp model học các cấu trúc hình ảnh chi tiết và phân biệt các object nằm gần nhau.

Ước tính pose#

Annotation pose estimation ghi nhận vị trí của các khớp cơ thể và mối quan hệ giữa chúng. Điều này giúp model hiểu cấu trúc và chuyển động của người hoặc động vật trong hình ảnh.

Bằng công cụ keypoint, người gán nhãn đặt các keypoint đại diện cho những khớp cơ thể như vai, khuỷu tay, cổ tay, hông, đầu gối và mắt cá chân. Nền tảng hỗ trợ một số template skeleton tích hợp sẵn, bao gồm định dạng pose người COCO 17 điểm cũng như template cho bàn tay, khuôn mặt, chó và góc của box.

Template cho phép đặt toàn bộ bố cục skeleton chỉ bằng một lần nhấp, sau đó có thể điều chỉnh từng keypoint để khớp với tư thế trong hình ảnh. Mỗi keypoint cũng có thể bao gồm cờ visibility để cho biết keypoint đó đang hiển thị hay bị che khuất.

Hình 4. Annotation pose estimation bằng keypoint và template skeleton. (Nguồn)

Bounding box định hướng (OBB)#

Bounding box định hướng mở rộng bounding box truyền thống bằng cách hỗ trợ xoay. Loại annotation này hữu ích khi object xuất hiện ở góc nghiêng thay vì thẳng hàng với khung hình.

Trong annotation editor, người gán nhãn có thể sử dụng công cụ bounding box định hướng để vẽ các hình chữ nhật xoay quanh object. Sau khi vẽ box ban đầu, có thể sử dụng nút điều khiển xoay để điều chỉnh góc, trong khi các nút điều khiển ở góc cho phép thay đổi kích thước box.

Annotation xoay thường được sử dụng trong ảnh chụp từ trên không, dataset kiểm tra công nghiệp và các tình huống khác khi object xuất hiện theo đường chéo hoặc từ những góc nhìn khác nhau.

Hình 5. Annotation bounding box định hướng (OBB) cho các object xoay trong ảnh chụp từ trên không. (Nguồn)

Phân loại hình ảnh#

Image classification gán một nhãn cho toàn bộ hình ảnh thay vì đánh dấu từng object bên trong.

Đối với dataset classification, annotation editor cung cấp một panel chọn class. Người gán nhãn có thể gán nhãn cho hình ảnh bằng cách chọn class từ sidebar hoặc sử dụng phím tắt để gán nhãn nhanh hơn.

Các nhãn ở cấp hình ảnh này giúp model học các pattern hình ảnh cấp cao đại diện cho những category khác nhau.

Annotation có AI hỗ trợ với SAM#

Việc gán nhãn hình ảnh cho các tác vụ như segmentation thường đòi hỏi thao tác cẩn thận và chi tiết, đặc biệt khi cần phác thảo chính xác object. Ultralytics Platform bao gồm các công cụ annotation có AI hỗ trợ, giúp tăng tốc quy trình mà vẫn giữ annotation chính xác và dễ kiểm tra.

Ví dụ, người gán nhãn có thể tương tác với hình ảnh bằng cách nhấp vào các phần của object mà họ muốn đưa vào annotation. Họ cũng có thể đánh dấu các vùng cần loại trừ để tinh chỉnh kết quả. Dựa trên những input này, model tạo segmentation mask theo thời gian thực, sau đó có thể được kiểm tra và điều chỉnh trước khi lưu.

Phương pháp này giúp xử lý các hình ảnh phức tạp dễ dàng hơn mà không cần lần theo thủ công từng chi tiết. Đồng thời, người gán nhãn vẫn kiểm soát output cuối cùng, đảm bảo annotation nhất quán trên toàn bộ dataset.

Hình 6. Segmentation có AI hỗ trợ bằng công cụ Smart annotation trong Ultralytics Platform. (Nguồn)

Các tính năng này được cung cấp bởi các mô hình phân đoạn mọi thứ (SAM). Đây là một phần của hệ sinh thái rộng lớn hơn gồm các công cụ computer vision mã nguồn mở, được thiết kế để tạo segmentation chất lượng cao từ input tối thiểu. Nền tảng hỗ trợ nhiều biến thể SAM, bao gồm SAM 2.1 và SAM 3. Điều này mang đến cho các team sự linh hoạt để lựa chọn giữa hiệu suất nhanh hơn và kết quả chi tiết hơn tùy theo nhu cầu.

Các công cụ có AI hỗ trợ này có thể được áp dụng cho những tác vụ như object detection, instance segmentation và oriented bounding box detection. Điều đó có nghĩa là các team có thể xử lý dataset lớn hiệu quả hơn mà vẫn duy trì chất lượng cần thiết cho việc training model đáng tin cậy.

Cải thiện workflow annotation bằng các công cụ tích hợp#

Khi công việc annotation tiến triển, việc quay lại điều chỉnh nhãn, sửa lỗi hoặc kiểm tra hình ảnh kỹ hơn là điều thường gặp. Ultralytics annotation editor bao gồm các công cụ tích hợp giúp xử lý những tác vụ hằng ngày này dễ dàng hơn và tốn ít thời gian hơn.

Một số tính năng workflow có trong editor bao gồm:

• Phím tắt: Editor bao gồm các phím tắt giúp tăng tốc những thao tác thường dùng, chẳng hạn như lưu annotation, hoàn tác hoặc làm lại thay đổi, xóa nhãn và chọn class trong quá trình annotation.
• Lịch sử hoàn tác và làm lại: Người gán nhãn có thể dễ dàng đảo ngược hoặc khôi phục các thay đổi được thực hiện trong một phiên chỉnh sửa. Điều này giúp các team thử nghiệm với annotation và nhanh chóng sửa lỗi mà không mất tiến độ, hỗ trợ kiểm soát chất lượng tốt hơn trong quá trình chuẩn bị dataset.
• Chỉnh sửa annotation linh hoạt: Có thể điều chỉnh annotation ngay cả sau khi tạo. Người dùng có thể thay đổi kích thước shape, di chuyển annotation, xoay bounding box định hướng hoặc cập nhật class label khi cần, đặc biệt khi tinh chỉnh các object có hình dạng không đều.
• Điều khiển visibility: Editor bao gồm các nút bật/tắt visibility, cho phép người dùng hiển thị hoặc ẩn annotation và class label, giúp kiểm tra hình ảnh dễ dàng hơn trong quá trình gán nhãn.
• Công cụ chính xác: Các tính năng như zoom và con trỏ crosshair có tọa độ pixel giúp người gán nhãn đặt nhãn chính xác hơn khi làm việc với hình ảnh chi tiết.

Quản lý class annotation trên Ultralytics Platform#

Các class annotation rõ ràng và nhất quán đóng vai trò quan trọng trong việc xây dựng dataset computer vision đáng tin cậy. Khi dự án phát triển, việc quản lý data labeling trên dataset lớn có thể trở nên khó khăn, đặc biệt khi có nhiều người gán nhãn tham gia. Sắp xếp class hợp lý giúp đảm bảo annotation nhất quán và model học từ dữ liệu có cấu trúc.

Ultralytics Platform đơn giản hóa quy trình này bằng cách đưa việc quản lý class trực tiếp vào annotation editor. Thay vì xử lý nhãn riêng biệt, các team có thể tạo, cập nhật và kiểm tra class trong khi làm việc với hình ảnh, giúp duy trì tính nhất quán trong suốt workflow annotation.

Trong editor, tất cả class đều có sẵn trong sidebar bên cạnh canvas annotation. Điều này giúp dễ dàng chọn đúng nhãn khi gán nhãn và theo dõi cách các class được sử dụng trên toàn bộ dataset. Người dùng có thể tìm kiếm class hiện có hoặc tạo class mới khi cần mà không làm gián đoạn workflow.

Chi tiết class cũng có thể được cập nhật bất kỳ lúc nào. Có thể chỉnh sửa trực tiếp tên class và gán màu để dễ nhận diện các class khác nhau trong annotation. Editor cũng hiển thị số lượng annotation được liên kết với từng class và cho phép người dùng kiểm tra chúng, giúp các team đánh giá tính nhất quán và độ chính xác.

Tất cả class được quản lý thông qua một bảng tập trung, nơi chúng có thể được sắp xếp, tìm kiếm và cập nhật. Mọi thay đổi thực hiện tại đây sẽ tự động được áp dụng trên toàn bộ dataset, giúp các team duy trì tính nhất quán khi dự án annotation mở rộng.

Hình 7. Quản lý class trong annotation editor thể hiện cách tổ chức nhãn và tùy chỉnh màu sắc. (Nguồn)

Chất lượng annotation ảnh hưởng thế nào đến hiệu suất trong thực tế#

Khi các hệ thống computer vision chuyển từ giai đoạn phát triển sang sử dụng trong thực tế, chất lượng dữ liệu đã gán nhãn đóng vai trò quan trọng đối với hiệu suất của model. Dataset được gán nhãn tốt giúp model tạo ra các dự đoán chính xác và nhất quán hơn, đặc biệt trong môi trường năng động hoặc khó dự đoán.

Trong thực tế, ngay cả những điểm không nhất quán nhỏ trong annotation cũng có thể ảnh hưởng đến hành vi của model. Sự khác biệt trong cách gán nhãn object hoặc xử lý các trường hợp đặc biệt có thể không rõ ràng trong quá trình training nhưng dẫn đến dự đoán kém tin cậy hơn sau khi hệ thống được triển khai.

Ngoài ra, những điểm không nhất quán này có thể trở nên rõ rệt hơn trong các ứng dụng thực tế. Ví dụ, trong hệ thống robotics và chăm sóc sức khỏe, model dựa vào input hình ảnh để phát hiện object và định hướng hành động theo thời gian thực. Sự khác biệt trong cách gán nhãn có thể ảnh hưởng đến mức độ chính xác khi các hệ thống này diễn giải môi trường xung quanh.

Bằng cách duy trì thực hành annotation nhất quán và sử dụng các nền tảng như Ultralytics để quản lý, tinh chỉnh dataset theo thời gian, các team có thể xây dựng model hoạt động đáng tin cậy hơn ngoài môi trường testing có kiểm soát.

Những điểm chính#

Data annotation chất lượng cao là yếu tố thiết yếu để training các model computer vision chính xác và hỗ trợ các dự án image annotation thành công. Ultralytics Platform đơn giản hóa quy trình này bằng annotation editor mạnh mẽ, hỗ trợ nhiều tác vụ vision. Bằng cách kết hợp các công cụ annotation thủ công với data labeling có AI hỗ trợ sử dụng SAM và các tính năng workflow tích hợp, các team có thể chuẩn bị dataset hiệu quả hơn và rút ngắn thời gian từ chuẩn bị dữ liệu đến phát triển model.

Tham gia cộng đồng của chúng tôi và khám phá repository GitHub để tìm hiểu thêm về các model computer vision. Đọc về những ứng dụng như AI trong ngành ô tô và computer vision trong robotics trên các trang giải pháp của chúng tôi. Xem các tùy chọn cấp phép và bắt đầu xây dựng model vision AI của riêng bạn.