Đơn giản hóa quy trình gán nhãn ảnh bằng Ultralytics Platform

Gần đây, Ultralytics giới thiệu Ultralytics Platform, một môi trường hỗ trợ toàn bộ vòng đời phát triển thị giác máy tính. Nền tảng tập trung các công cụ dùng để quản lý nhiều giai đoạn trong quy trình AI thị giác, bao gồm chuẩn bị dataset, gán nhãn ảnh và video, huấn luyện model và triển khai.

Dù mức độ ứng dụng ngày càng tăng trong các ngành như xe tự hành và chăm sóc sức khỏe, việc xây dựng giải pháp thị giác máy tính vẫn có thể bị xem là một quy trình rời rạc. Một trong những nguyên nhân chính là model thị giác máy tính phụ thuộc nhiều vào chất lượng dữ liệu dùng để huấn luyện. Trước khi bắt đầu huấn luyện, cần tạo, sắp xếp, rà soát và gán nhãn dataset để model có thể học cách phát hiện hoặc nhận dạng.

Khi làm việc với dữ liệu hình ảnh, quy trình này được gọi là chú thích dữ liệu hoặc chú thích ảnh. Trong quá trình chú thích ảnh, các phần cụ thể của ảnh được đánh dấu và gán nhãn để định hướng cho model trong quá trình huấn luyện.

Ví dụ, nếu mục tiêu là phát hiện chó trong ảnh, người chú thích có thể vẽ bounding box quanh từng con chó để đánh dấu vị trí của chúng. Với các tác vụ chi tiết hơn, họ có thể phác thảo hình dạng của chó bằng mask phân đoạn hoặc đánh dấu keypoint để ghi lại tư thế. Những ví dụ được gán nhãn này ảnh hưởng trực tiếp đến hiệu suất của model sau khi triển khai.

Quản lý quy trình chú thích ảnh ở quy mô lớn có thể là một thách thức. Dataset lớn thường cần tiêu chuẩn gán nhãn nhất quán, sự phối hợp giữa nhiều người chú thích và các công cụ giúp việc rà soát, tinh chỉnh chú thích dễ dàng hơn.

Ultralytics Platform tích hợp tất cả những khả năng này trong một trình chỉnh sửa chú thích có sẵn. Công cụ hỗ trợ nhiều loại tác vụ chú thích và giúp các nhóm gán nhãn dữ liệu, chuẩn bị dataset thị giác máy tính dễ dàng hơn trong một quy trình duy nhất.

Hình 1. Trình chỉnh sửa chú thích trong Ultralytics Platform (Nguồn)

Trong bài viết này, chúng ta sẽ tìm hiểu cách trình chỉnh sửa chú thích của Ultralytics Platform giúp các nhóm chú thích dataset hiệu quả và tinh giản quy trình chuẩn bị dữ liệu. Hãy bắt đầu!

Chú thích dữ liệu trong thị giác máy tính#

Trước khi tìm hiểu các công cụ chú thích ảnh có trên Ultralytics Platform, hãy cùng tìm hiểu chú thích dữ liệu là gì và vì sao việc này quan trọng khi xây dựng hệ thống thị giác máy tính.

Model thị giác máy tính học bằng cách phân tích các tập hợp lớn ảnh hoặc video, được gọi là dataset. Tuy nhiên, chỉ ảnh thô thì không cung cấp đủ thông tin để model hiểu cần phát hiện hoặc nhận dạng điều gì. Để dữ liệu hữu ích cho việc huấn luyện, ảnh cần được gán nhãn thông qua quy trình gán nhãn dữ liệu, giúp model học cách tìm kiếm đối tượng, hình dạng hoặc mẫu nào.

Trong quá trình chú thích ảnh, các thành phần cụ thể trong ảnh được đánh dấu và gán nhãn để mô tả điều model cần học. Những ví dụ được gán nhãn này định hướng cho các model và thuật toán học sâu trong quá trình huấn luyện, đồng thời giúp chúng nhận ra các mẫu tương tự khi xử lý ảnh mới.

Các tác vụ thị giác máy tính khác nhau đòi hỏi những loại chú thích ảnh khác nhau, tùy theo ứng dụng và trường hợp sử dụng. Ví dụ, người chú thích có thể vẽ bounding box quanh đối tượng để phát hiện đối tượng, phác thảo các vùng trong ảnh để phân đoạn ngữ nghĩa, xác định keypoint để ước tính tư thế hoặc gán nhãn cho toàn bộ ảnh để phân loại.

Quản lý và chuẩn bị dữ liệu#

Chuẩn bị dữ liệu cho các dự án thị giác máy tính thường bao gồm xử lý nhiều định dạng tệp và sắp xếp dataset. Quy trình này cũng đảm bảo mọi thứ đã sẵn sàng để chú thích dữ liệu và huấn luyện thuật toán machine learning. Trong nhiều quy trình làm việc, các bước này trải rộng trên nhiều công cụ; dữ liệu được tải lên, làm sạch và chuyển giữa các hệ thống trước khi có thể sử dụng.

Ultralytics Platform đơn giản hóa quy trình này bằng cách xử lý chuẩn bị dữ liệu, huấn luyện model và triển khai trong cùng một môi trường. Các nhóm có thể tải lên ảnh, video hoặc gói lưu trữ dataset, đồng thời tận dụng cách tiếp cận có thể tùy chỉnh hoàn toàn để chuẩn bị dữ liệu bằng chú thích thủ công hoặc tự động bằng AI. Ultralytics Platform hỗ trợ cả dữ liệu thô và các định dạng tiêu chuẩn như YOLO và COCO, giúp bắt đầu dự án mới dễ dàng. Nền tảng cũng cung cấp quyền truy cập vào các dataset hiện có, bao gồm dataset đã chú thích mà các nhóm có thể dùng để nhanh chóng bắt đầu dự án hoặc thử nghiệm mới.

Hình 2. Tải lên và quản lý dataset trong cùng một môi trường trên Ultralytics Platform. (Nguồn)

Khi dữ liệu đã sẵn sàng, bạn có thể quản lý dữ liệu trực tiếp trên nền tảng. Nhà phát triển có thể rà soát ảnh, theo dõi tiến độ chú thích và sử dụng các công cụ trực quan hóa tích hợp để hiểu phân bố dataset cũng như xác định những thiếu sót tiềm ẩn.

Nền tảng cũng hỗ trợ quản lý phiên bản dataset, giúp các nhóm ghi lại ảnh chụp nhanh dữ liệu trong quá trình phát triển. Nhờ đó, việc theo dõi thay đổi, so sánh thử nghiệm và duy trì tính nhất quán trong quá trình huấn luyện trở nên dễ dàng hơn.

Sau khi chuẩn bị dữ liệu, các nhóm có thể chuyển sang chú thích ảnh, tức gán nhãn để giúp model học những gì cần phát hiện.

Chú thích dataset trên Ultralytics Platform#

Sau khi tải dữ liệu lên, bước tiếp theo là chú thích. Đây là bước gán nhãn cho dữ liệu hình ảnh, tạo nền tảng để huấn luyện model thị giác máy tính. Ultralytics Platform tích hợp dịch vụ chú thích ảnh thông qua trình chỉnh sửa chú thích, cho phép các nhóm gán nhãn và quản lý dataset ngay trong cùng một môi trường.

Trình chỉnh sửa chú thích cung cấp một không gian làm việc đơn giản, nơi người dùng có thể rà soát ảnh, thêm nhãn và cập nhật chú thích khi cần. Mọi thứ được sắp xếp tại một nơi, giúp duy trì tính nhất quán của dataset và đảm bảo dataset sẵn sàng cho quá trình huấn luyện model.

Các nhóm có thể tải dataset lên và bắt đầu gán nhãn ảnh trực tiếp trong trình duyệt, đồng thời xác định và quản lý các class chú thích để đảm bảo nhãn nhất quán trên toàn bộ dataset. Khi tạo chú thích, người dùng có thể rà soát trực quan trong trình chỉnh sửa, giúp kiểm tra độ chính xác dễ dàng hơn trước khi chuyển sang huấn luyện model.

Công cụ chú thích ảnh trong Ultralytics Platform#

Ultralytics Platform cũng tích hợp nhiều khả năng hỗ trợ quy trình gán nhãn dataset hiệu quả, giúp đơn giản hóa quá trình chú thích bằng các thuật toán tiên tiến.

Dưới đây là một số tính năng chính có trên Ultralytics Platform:

• Chú thích thủ công: Cách tiếp cận này cho phép người dùng toàn quyền kiểm soát và linh hoạt khi tạo chú thích ảnh, chẳng hạn như bounding box, vùng phân đoạn hoặc keypoint, trực tiếp trên ảnh.
• Gán nhãn có AI hỗ trợ: Tính năng này tự động tạo các chú thích được đề xuất, giảm nhu cầu gán nhãn thủ công. Tính năng sử dụng mô hình phân đoạn mọi thứ (SAM) để phát hiện đối tượng hoặc vùng chỉ bằng một lần nhấp, giúp tinh giản quy trình chú thích và hỗ trợ người dùng rà soát, xác nhận đề xuất trước khi thêm vào dataset.
• Chỉnh sửa chú thích: Người dùng có thể sửa đổi hoặc tinh chỉnh chú thích ảnh bất kỳ lúc nào sau khi tạo. Điều này giúp khắc phục lỗi gán nhãn và duy trì tính nhất quán của nhãn dataset trong suốt quá trình chú thích.
• Quản lý class: Các nhóm và nhà phát triển độc lập có thể xác định, sắp xếp các class chú thích dùng trong quá trình gán nhãn dataset. Điều này giúp duy trì tính nhất quán của nhãn giữa các ảnh, yếu tố quan trọng để huấn luyện model có thể nhận dạng và phân biệt chính xác các class.

Bằng cách kết hợp công cụ thủ công, trí tuệ nhân tạo và tự động hóa, Ultralytics Platform giúp người dùng chú thích ảnh hiệu quả hơn. Nền tảng cũng cho phép chuẩn bị dữ liệu huấn luyện chất lượng cao cho các model thị giác máy tính có khả năng mở rộng.

Các loại tác vụ chú thích được hỗ trợ#

Các trường hợp sử dụng khác nhau, chẳng hạn như đảm bảo chất lượng sản phẩm, đòi hỏi những loại chú thích khác nhau tùy vào nội dung cần phát hiện trong ảnh hoặc video. Như đã đề cập ở trên, Ultralytics Platform hỗ trợ năm tác vụ phát hiện đối tượng, mỗi tác vụ có một loại chú thích riêng.

Hãy cùng tìm hiểu kỹ hơn các tác vụ chú thích được nền tảng hỗ trợ và cách sử dụng chúng để gán nhãn dataset.

Phát hiện đối tượng#

Phát hiện đối tượng xác định và định vị các đối tượng trong ảnh. Người chú thích đánh dấu từng đối tượng cần quan tâm bằng bounding box, cho biết vị trí của chúng trong ảnh.

Trong trình chỉnh sửa chú thích, thao tác này được thực hiện bằng công cụ bounding box. Người dùng có thể vào “chế độ chỉnh sửa”, nhấp và kéo để vẽ hình chữ nhật quanh một đối tượng, rồi chọn nhãn class từ menu thả xuống.

Có thể điều chỉnh bounding box sau khi tạo. Người chú thích có thể đổi kích thước bằng cách kéo các nút điều khiển ở góc hoặc cạnh, di chuyển bằng cách kéo tâm khung hoặc xóa bằng phím tắt. Những chú thích này giúp model thị giác học cách phát hiện đối tượng trong nhiều bối cảnh và điều kiện khác nhau.

Hình 3. Gán nhãn phát hiện đối tượng bằng bounding box trên Ultralytics Platform. (Nguồn)

Phân đoạn đối tượng riêng lẻ#

Phân đoạn đối tượng (instance segmentation) cung cấp nhãn chi tiết hơn bằng cách xác định chính xác hình dạng của đối tượng trong ảnh. Thay vì vẽ một khung đơn giản, người gán nhãn theo sát đường biên của đối tượng bằng đa giác để tạo mask chính xác cho các tác vụ phân đoạn ảnh.

Trình chỉnh sửa gán nhãn có công cụ đa giác dành cho tác vụ này. Người gán nhãn đặt nhiều đỉnh dọc theo mép đối tượng để phác thảo hình dạng. Sau khi đặt các đỉnh, có thể khép kín đa giác để tạo mask phân đoạn.

Có thể điều chỉnh các đỉnh sau khi tạo đa giác. Có thể di chuyển từng điểm để tinh chỉnh đường biên đối tượng và xóa đỉnh nếu cần. Các nhãn ở cấp pixel này giúp model học cấu trúc hình ảnh chi tiết và phân biệt những đối tượng ở gần nhau.

Ước tính tư thế#

Nhãn ước lượng tư thế ghi lại vị trí các khớp cơ thể và mối quan hệ giữa chúng. Điều này giúp model hiểu cấu trúc và chuyển động của người hoặc động vật trong ảnh.

Bằng công cụ keypoint, người gán nhãn đặt các keypoint đại diện cho khớp cơ thể như vai, khuỷu tay, cổ tay, hông, đầu gối và mắt cá chân. Nền tảng hỗ trợ một số mẫu skeleton tích hợp, bao gồm định dạng tư thế người COCO gồm 17 điểm, cùng các mẫu cho bàn tay, khuôn mặt, chó và góc hộp.

Các mẫu cho phép đặt toàn bộ bố cục skeleton chỉ bằng một lần nhấp, sau đó có thể điều chỉnh từng keypoint để khớp với tư thế trong ảnh. Mỗi keypoint cũng có thể bao gồm cờ visibility để cho biết điểm đó đang hiển thị hay bị che khuất.

Hình 4. Gán nhãn ước lượng tư thế bằng keypoint và mẫu skeleton. (Nguồn)

Bounding box định hướng (OBB)#

Bounding box định hướng nâng cấp bounding box truyền thống bằng cách hỗ trợ xoay. Kiểu gán nhãn này hữu ích khi đối tượng nằm nghiêng thay vì thẳng theo khung ảnh.

Trong trình chỉnh sửa gán nhãn, người dùng có thể sử dụng công cụ bounding box định hướng để vẽ hình chữ nhật xoay quanh đối tượng. Sau khi vẽ khung ban đầu, có thể dùng tay nắm xoay để điều chỉnh góc, còn các tay nắm ở góc cho phép thay đổi kích thước khung.

Nhãn xoay thường được dùng trong ảnh chụp từ trên không, bộ dữ liệu kiểm tra công nghiệp và các tình huống khác khi đối tượng nằm chéo hoặc xuất hiện từ nhiều góc nhìn.

Hình 5. Gán nhãn bounding box định hướng (OBB) cho đối tượng xoay trong ảnh chụp từ trên không. (Nguồn)

Phân loại ảnh#

Phân loại ảnh gán nhãn cho toàn bộ ảnh thay vì đánh dấu từng đối tượng bên trong ảnh.

Đối với bộ dữ liệu phân loại, trình chỉnh sửa gán nhãn cung cấp bảng chọn class. Người gán nhãn có thể gán nhãn cho ảnh bằng cách chọn class từ thanh bên hoặc dùng phím tắt để tăng tốc độ gán nhãn.

Các nhãn ở cấp ảnh này giúp model học những mẫu hình ảnh cấp cao đại diện cho các danh mục khác nhau.

Gán nhãn có AI hỗ trợ với SAM#

Việc gán nhãn ảnh cho các tác vụ như phân đoạn thường đòi hỏi thao tác cẩn thận, chi tiết, nhất là khi cần phác thảo chính xác đối tượng. Ultralytics Platform có các công cụ gán nhãn AI hỗ trợ giúp tăng tốc quy trình, đồng thời giữ cho nhãn chính xác và dễ rà soát.

Ví dụ, người gán nhãn có thể tương tác với ảnh bằng cách nhấp vào những phần của đối tượng muốn đưa vào nhãn. Họ cũng có thể đánh dấu những vùng cần loại trừ để tinh chỉnh kết quả. Dựa trên các thao tác này, model tạo mask phân đoạn theo thời gian thực; sau đó có thể rà soát và điều chỉnh mask trước khi lưu.

Cách tiếp cận này giúp xử lý ảnh phức tạp dễ dàng hơn mà không cần tự vẽ thủ công mọi chi tiết. Đồng thời, người gán nhãn vẫn kiểm soát đầu ra cuối cùng, đảm bảo nhãn nhất quán trên toàn bộ bộ dữ liệu.

Hình 6. Phân đoạn có AI hỗ trợ bằng công cụ gán nhãn Smart trên Ultralytics Platform. (Nguồn)

Các tính năng này được hỗ trợ bởi các mô hình phân đoạn mọi thứ (SAM). Những model này thuộc một hệ sinh thái rộng hơn gồm các công cụ thị giác máy tính mã nguồn mở, được thiết kế để tạo phân đoạn chất lượng cao từ lượng thông tin đầu vào tối thiểu. Nền tảng hỗ trợ nhiều biến thể SAM, bao gồm SAM 2.1 và SAM 3. Nhờ đó, các nhóm có thể linh hoạt lựa chọn giữa tốc độ xử lý cao hơn và kết quả chi tiết hơn tùy theo nhu cầu.

Các công cụ có AI hỗ trợ này có thể áp dụng cho nhiều tác vụ như phát hiện đối tượng, phân đoạn thực thể và phát hiện hộp giới hạn xoay. Nhờ đó, các nhóm có thể xử lý bộ dữ liệu lớn hiệu quả hơn mà vẫn duy trì chất lượng cần thiết để huấn luyện model đáng tin cậy. Các bộ dữ liệu phát hiện đối tượng cũng có thể được tự động gán nhãn bằng model thị giác-ngôn ngữ và rà soát trước khi huấn luyện.

Cải thiện quy trình gán nhãn bằng các công cụ tích hợp#

Khi công việc gán nhãn tiến triển, việc quay lại điều chỉnh nhãn, sửa lỗi hoặc xem xét kỹ hơn ảnh là điều thường gặp. Trình chỉnh sửa gán nhãn của Ultralytics có các công cụ tích hợp giúp xử lý những tác vụ thường ngày này dễ dàng hơn và tốn ít thời gian hơn.

Một số tính năng quy trình làm việc có trong trình chỉnh sửa gồm:

• Phím tắt: Trình chỉnh sửa có các phím tắt giúp tăng tốc những thao tác thường dùng, chẳng hạn như lưu nhãn, hoàn tác hoặc làm lại thay đổi, xóa nhãn và chọn class trong khi gán nhãn.
• Lịch sử hoàn tác và làm lại: Người gán nhãn có thể dễ dàng đảo ngược hoặc khôi phục các thay đổi trong phiên chỉnh sửa. Điều này giúp các nhóm thử nghiệm với nhãn và nhanh chóng sửa lỗi mà không mất tiến độ, đồng thời hỗ trợ kiểm soát chất lượng tốt hơn trong quá trình chuẩn bị bộ dữ liệu.
• Chỉnh sửa nhãn linh hoạt: Có thể điều chỉnh nhãn ngay cả sau khi tạo. Người dùng có thể thay đổi kích thước hình, di chuyển nhãn, xoay bounding box định hướng hoặc cập nhật class khi cần, đặc biệt khi tinh chỉnh các đối tượng có hình dạng bất quy tắc.
• Điều khiển hiển thị: Trình chỉnh sửa có các nút bật/tắt hiển thị để người dùng hiện hoặc ẩn nhãn và class, giúp kiểm tra ảnh dễ dàng hơn trong quá trình gán nhãn.
• Công cụ chính xác: Các tính năng như thu phóng và con trỏ chữ thập có tọa độ pixel giúp người gán nhãn đặt nhãn chính xác hơn khi làm việc với ảnh chi tiết.

Quản lý class gán nhãn trên Ultralytics Platform#

Các class gán nhãn rõ ràng và nhất quán đóng vai trò quan trọng trong việc xây dựng bộ dữ liệu thị giác máy tính đáng tin cậy. Khi dự án phát triển, việc quản lý gán nhãn dữ liệu trên các bộ dữ liệu lớn có thể trở nên khó khăn, nhất là khi có nhiều người tham gia gán nhãn. Sắp xếp class hợp lý giúp đảm bảo nhãn nhất quán và model học từ dữ liệu có cấu trúc.

Ultralytics Platform đơn giản hóa quy trình này bằng cách tích hợp tính năng quản lý class trực tiếp vào trình chỉnh sửa gán nhãn. Thay vì quản lý nhãn riêng biệt, các nhóm có thể tạo, cập nhật và rà soát class ngay trong khi làm việc với ảnh, giúp duy trì tính nhất quán trong toàn bộ quy trình gán nhãn.

Trong trình chỉnh sửa, tất cả class đều có trong thanh bên cạnh canvas gán nhãn. Nhờ đó, người dùng dễ dàng chọn đúng nhãn khi gán nhãn và theo dõi cách sử dụng class trên toàn bộ bộ dữ liệu. Người dùng có thể tìm kiếm class hiện có hoặc tạo class mới khi cần mà không làm gián đoạn quy trình làm việc.

Có thể cập nhật thông tin chi tiết của class bất cứ lúc nào. Có thể chỉnh sửa trực tiếp tên và gán màu để dễ nhận diện các class khác nhau trên các nhãn. Trình chỉnh sửa cũng hiển thị số lượng nhãn liên kết với từng class và cho phép người dùng rà soát các nhãn đó, giúp nhóm kiểm tra tính nhất quán và độ chính xác.

Tất cả class được quản lý thông qua một bảng tập trung, nơi người dùng có thể sắp xếp, tìm kiếm và cập nhật. Mọi thay đổi tại đây đều tự động áp dụng trên toàn bộ bộ dữ liệu, giúp các nhóm duy trì tính nhất quán khi dự án gán nhãn mở rộng.

Hình 7. Tính năng quản lý class trong trình chỉnh sửa gán nhãn hiển thị cách tổ chức nhãn và tùy chỉnh màu sắc. (Nguồn)

Chất lượng gán nhãn ảnh hưởng đến hiệu suất trong thực tế như thế nào#

Khi các hệ thống thị giác máy tính chuyển từ giai đoạn phát triển sang sử dụng thực tế, chất lượng dữ liệu được gán nhãn đóng vai trò then chốt đối với hiệu suất của model. Bộ dữ liệu được gán nhãn tốt giúp model đưa ra dự đoán chính xác và nhất quán hơn, đặc biệt trong môi trường năng động hoặc khó dự đoán.

Trong thực tế, ngay cả những điểm không nhất quán nhỏ trong quá trình gán nhãn cũng có thể ảnh hưởng đến hành vi của model. Khác biệt trong cách gán nhãn đối tượng hoặc xử lý các trường hợp ngoại lệ có thể không dễ nhận ra khi huấn luyện, nhưng lại dẫn đến dự đoán kém tin cậy hơn sau khi triển khai hệ thống.

Hơn nữa, những điểm không nhất quán này có thể càng dễ nhận thấy trong các ứng dụng thực tế. Chẳng hạn, trong hệ thống robot và chăm sóc sức khỏe, model dựa vào đầu vào hình ảnh để phát hiện đối tượng và hướng dẫn hành động theo thời gian thực. Sự khác biệt trong cách gán nhãn có thể ảnh hưởng đến độ chính xác khi các hệ thống này diễn giải môi trường xung quanh.

Bằng cách duy trì quy trình gán nhãn nhất quán và sử dụng các nền tảng như Ultralytics để quản lý, tinh chỉnh bộ dữ liệu theo thời gian, các nhóm có thể xây dựng model hoạt động đáng tin cậy hơn ngoài môi trường kiểm thử có kiểm soát.

Điểm chính cần ghi nhớ#

Gán nhãn dữ liệu chất lượng cao là yếu tố thiết yếu để huấn luyện model thị giác máy tính chính xác và hỗ trợ các dự án gán nhãn ảnh thành công. Ultralytics Platform đơn giản hóa quy trình này bằng trình chỉnh sửa gán nhãn mạnh mẽ, hỗ trợ nhiều tác vụ thị giác. Bằng cách kết hợp công cụ gán nhãn thủ công với tính năng gán nhãn AI hỗ trợ sử dụng SAM và các tính năng quy trình làm việc tích hợp, các nhóm có thể chuẩn bị bộ dữ liệu hiệu quả hơn và nhanh chóng chuyển từ khâu chuẩn bị dữ liệu sang phát triển model.

Tham gia cộng đồng của chúng tôi và khám phá kho lưu trữ GitHub để tìm hiểu thêm về các model thị giác máy tính. Đọc về các ứng dụng như AI trong ngành ô tô và thị giác máy tính trong robot trên các trang giải pháp của chúng tôi. Tìm hiểu các tùy chọn cấp phép và bắt đầu xây dựng model AI thị giác của riêng bạn.