Cách Ultralytics Platform sử dụng AI để tự động hóa gán nhãn

Các giải pháp thị giác máy tính phân tích hình ảnh và video đang trở thành một phần thường xuyên trong quy trình làm việc của nhiều ngành công nghiệp, từ sản xuất đến chẩn đoán hình ảnh y tế. Ví dụ, trong sản xuất, việc phát hiện các lỗi bề mặt trên sản phẩm di chuyển dọc theo băng chuyền phụ thuộc vào các computer vision models có khả năng nhận diện các mô hình tinh vi.

Để các model như vậy hoạt động hiệu quả, chúng cần được huấn luyện trên dữ liệu đã gán nhãn, nơi mỗi lỗi đều được xác định rõ ràng. Điều này cho phép các model học được những gì cần tìm kiếm và nhận dạng các mô hình tương tự.

Quá trình tạo các nhãn này được gọi là gán nhãn dữ liệu (data annotation). Cụ thể, image annotation và gán nhãn video bao gồm việc vẽ bounding box, phác thảo các hình khối hoặc gán nhãn các vùng cụ thể trong hình ảnh và khung hình video.

Mặc dù việc này có thể quản lý được với các tập dữ liệu nhỏ, nhưng nó nhanh chóng trở nên khó khăn hơn khi dữ liệu tăng lên. Việc gán nhãn hàng nghìn hình ảnh đòi hỏi nỗ lực thủ công nhất quán, khiến khâu gán nhãn trở thành một điểm nghẽn chính. Các công cụ truyền thống thường chậm, phân mảnh và khó mở rộng.

Ultralytics Platform, nền tảng AI thị giác tất-cả-trong-một, giúp giải quyết các thách thức này bằng tính năng gán nhãn hỗ trợ bởi AI. Bằng cách sử dụng AI để tự động tạo các nhãn ban đầu, sau đó có thể được xem xét và tinh chỉnh nhanh chóng, nó giúp giảm bớt nỗ lực thủ công và cải thiện hiệu suất.

Trong bài viết này, chúng ta sẽ khám phá cách thức hoạt động của tính năng gán nhãn hỗ trợ bởi AI trong Ultralytics Platform và cách nó cải thiện quy trình gán nhãn. Hãy bắt đầu thôi!

Link to this sectionTổng quan về quy trình gán nhãn dữ liệu#

Trước khi đi sâu vào cách thức hoạt động của gán nhãn hỗ trợ bởi AI trên Ultralytics Platform, hãy cùng tìm hiểu kỹ hơn về gán nhãn dữ liệu.

Gán nhãn dữ liệu, còn được gọi là gắn nhãn dữ liệu, là quá trình gán các nhãn có cấu trúc cho dữ liệu thô để nó có thể được sử dụng để huấn luyện các model machine learning. Trong thị giác máy tính, các nhãn này xác định các đối tượng, vùng hoặc đặc điểm quan tâm bên trong hình ảnh hoặc video.

Trong quá trình huấn luyện, các model hoặc thuật toán học cách ánh xạ dữ liệu đầu vào với các nhãn này, khiến chất lượng gán nhãn trở thành yếu tố then chốt đối với hiệu suất model. Các tập dữ liệu được gán nhãn chính xác và nhất quán giúp model học được các mô hình đúng, trong khi các nhãn kém hoặc không nhất quán có thể dẫn đến các dự đoán thiếu tin cậy.

Ví dụ, trong trường hợp sử dụng phát hiện lỗi, hình ảnh một sản phẩm trên băng chuyền có thể được gán nhãn bằng cách đánh dấu nơi xuất hiện lỗi và dán nhãn loại lỗi đó. Điều này giúp model học được hình dáng các lỗi để có thể nhận diện chúng trong các hình ảnh mới.

Link to this sectionTìm hiểu các tác vụ gán nhãn phổ biến#

Tiếp theo, hãy xem xét một số cách phổ biến để gán nhãn hình ảnh trong thị giác máy tính. Các phương pháp này được sử dụng để gán nhãn dữ liệu trực quan cho các tác vụ như phát hiện đối tượng, instance segmentation và phân loại hình ảnh. Mỗi phương pháp gán nhãn phục vụ một chức năng khác nhau, chẳng hạn như định vị đối tượng, ghi lại hình khối hoặc xác định các cấu trúc then chốt.

Link to this sectionBBox#

Bounding box là các hình chữ nhật đơn giản được vẽ xung quanh các đối tượng trong hình ảnh để hiển thị vị trí của chúng. Đây là một trong những cách phổ biến nhất để gán nhãn dữ liệu trong thị giác máy tính.

Bằng cách huấn luyện trên các hình ảnh có những khung hình này, các model phát hiện đối tượng học cách nhận diện các đối tượng khác nhau và hiểu vị trí của chúng trong hình ảnh. Điều này cho phép chúng phát hiện nhiều đối tượng cùng một lúc và xác định vị trí của từng đối tượng.

Ví dụ, hãy xem xét một trận bóng chày đang được phân tích bằng thị giác máy tính. Các khung hình có thể được vẽ xung quanh các cầu thủ, cây gậy và quả bóng trong mỗi khung hình, cho phép model phát hiện và nhận diện các đối tượng này trong suốt trận đấu.

Hình 1. Bounding box có thể được sử dụng để gán nhãn và định vị nhiều đối tượng. (Source)

Link to this sectionPolygons hoặc segmentation masks#

Polygons, hay còn gọi là segmentation masks, tiến xa hơn một bước so với bounding box bằng cách gán nhãn đối tượng ở cấp độ pixel. Thay vì vẽ một hình chữ nhật thô, chúng ghi lại hình dáng chính xác và các cạnh của từng đối tượng trong hình ảnh. Điều này khiến chúng hữu ích cho các tác vụ đòi hỏi sự hiểu biết chi tiết hơn.

Ví dụ, trong lái xe tự hành, segmentation masks được sử dụng trong các tác vụ như semantic segmentation, nơi mỗi pixel được gán một danh mục như đường bộ hoặc bầu trời, và instance segmentation, nơi các đối tượng riêng lẻ như xe cộ hoặc người đi bộ được xác định riêng biệt.

Chúng cũng được sử dụng cho các tác vụ như xóa nền, nơi một đối tượng, chẳng hạn như một người, cần được tách biệt khỏi phần còn lại của hình ảnh.

Link to this sectionKeypoints#

Keypoints được sử dụng để đánh dấu các điểm cụ thể trên một đối tượng, chẳng hạn như các khớp trên cơ thể người hoặc các bộ phận của động vật. Bằng cách xác định các điểm này, các model có thể hiểu được cấu trúc của một đối tượng và cách các bộ phận của nó được định vị tương đối với nhau.

Trong thị giác máy tính, đây được gọi là pose estimation, nơi mục tiêu là xác định vị trí của các keypoint này và hiểu cách chúng liên quan với nhau. Việc theo dõi các điểm này theo thời gian giúp phân tích chuyển động và các thay đổi về tư thế.

Hình 2. Gán nhãn keypoint có thể được sử dụng để đánh dấu các khớp cho pose estimation ở người. (Source)

Một ví dụ phổ biến là đánh dấu các khớp cơ thể trong video để phân tích chuyển động của con người. Bằng cách tập trung vào các điểm mấu chốt này, các model có thể nắm bắt cách một người được định vị và tư thế của họ thay đổi như thế nào theo thời gian.

Link to this sectionOriented bounding box (OBB)#

Không phải tất cả đối tượng trong hình ảnh đều được căn chỉnh hoàn hảo. Trong nhiều tình huống thực tế, các đối tượng xuất hiện dưới dạng nghiêng, xoay hoặc được nhìn từ các góc độ khác nhau.

Các bounding box tiêu chuẩn thường gặp khó khăn trong các trường hợp này, vì chúng có thể bao gồm nền không cần thiết hoặc không khớp sát với đối tượng. Oriented bounding box giải quyết vấn đề này bằng cách sử dụng các hình chữ nhật xoay khớp với hướng của đối tượng. Điều này dẫn đến các nhãn chính xác và sát hơn.

Cách tiếp cận này được sử dụng trong phát hiện oriented bounding box (OBB), nơi các model xác định cả vị trí của đối tượng và hướng của nó. Một ví dụ là ảnh chụp từ trên không, nơi các đối tượng như tòa nhà, tàu thuyền hoặc xe cộ thường xuất hiện ở các góc độ khác nhau. Các khung hình xoay giúp dễ dàng ghi lại hình dáng và hướng thực sự của chúng trong khung cảnh.

Link to this sectionClassification labels#

Classification labels thực hiện một cách tiếp cận khác so với các phương pháp gán nhãn khác bằng cách gán một nhãn duy nhất cho toàn bộ hình ảnh, thay vì đánh dấu các đối tượng hoặc vùng cụ thể. Chúng được sử dụng khi mục tiêu là xác định những gì hiện diện trong hình ảnh, mà không tập trung vào nơi nó xuất hiện.

Ví dụ, một hình ảnh có thể được gán nhãn là “mèo” hoặc “chó” dựa trên nội dung tổng thể của nó. Điều này làm cho phân loại hình ảnh hữu ích cho các tác vụ mà sự hiểu biết cấp cao về hình ảnh là đủ.

Link to this sectionCác hạn chế của công cụ gán nhãn truyền thống#

Nhiều công cụ gán nhãn truyền thống dựa vào nhiều bước và quy trình làm việc ngắt quãng. Các đội ngũ phát triển AI thường phải chuyển đổi giữa các nền tảng gán nhãn để dán nhãn, lưu trữ và xác thực, điều này làm chậm các dự án AI.

Hầu hết các công cụ chỉ hỗ trợ một tập hợp hạn chế các loại gán nhãn và loại dữ liệu, vì vậy các đội ngũ cuối cùng phải sử dụng các công cụ khác nhau cho bounding box, segmentation và keypoint. Thiết lập phân mảnh này có thể gây khó khăn trong việc quản lý, đặc biệt là đối với các đội ngũ mới làm quen với thị giác máy tính.

Nỗ lực thủ công là một thách thức lớn khác. Mặc dù việc gán nhãn một hình ảnh duy nhất chỉ mất vài phút, nhưng làm việc với các tập dữ liệu lớn nhanh chóng trở nên tốn thời gian, đặc biệt là khi các hình ảnh tương tự liên quan đến các tác vụ lặp đi lặp lại.

Khi tập dữ liệu tăng lên, các đội ngũ cũng phải quản lý tệp, theo dõi các phiên bản tập dữ liệu và duy trì tính nhất quán trong các nhãn. Điều này làm tăng khối lượng công việc, với nhiều thời gian hơn dành cho việc quản lý dữ liệu và ít thời gian hơn để cải thiện hiệu suất model.

Một cách tiếp cận hiệu quả hơn là sử dụng gán nhãn hỗ trợ bởi AI trong Ultralytics Platform, nơi sử dụng AI để tạo và tinh chỉnh các nhãn, giảm nỗ lực thủ công đồng thời cải thiện tốc độ và tính nhất quán, tất cả trong một môi trường duy nhất kết hợp quản lý tập dữ liệu, gán nhãn, huấn luyện model, triển khai và giám sát.

Link to this sectionCách Ultralytics Platform hỗ trợ quy trình gán nhãn#

Ultralytics Platform đơn giản hóa việc gán nhãn bằng cách kết nối trực tiếp nó với phần còn lại của quy trình thị giác máy tính. Thay vì dựa vào các công cụ riêng biệt, các đội ngũ có thể làm việc với data, nhãn và model trong một môi trường duy nhất.

Nó hỗ trợ hàng loạt các tác vụ thị giác máy tính, bao gồm phát hiện đối tượng, phân loại hình ảnh, instance segmentation, pose estimation và phát hiện oriented bounding box.

Trong thiết lập này, việc gán nhãn có thể được thực hiện theo nhiều cách. Các đội ngũ có thể gán nhãn dữ liệu thủ công để kiểm soát toàn bộ, sử dụng gán nhãn thông minh dựa trên SAM để gán nhãn tương tác dựa trên điểm, hoặc áp dụng gán nhãn thông minh dựa trên YOLO để tạo nhãn tự động, sau đó có thể được xem xét và tinh chỉnh. Sự linh hoạt này giúp việc làm việc với các tập dữ liệu và yêu cầu gán nhãn khác nhau trở nên dễ dàng hơn.

Hình 3. Một cái nhìn về việc gán nhãn trong Ultralytics Platform (Source)

Vì việc gán nhãn thủ công và hỗ trợ bởi AI được tích hợp với quản lý tập dữ liệu và huấn luyện model, các đội ngũ có thể chuyển đổi liền mạch từ gán nhãn dữ liệu sang sắp xếp tập dữ liệu và huấn luyện model. Điều này giữ cho quy trình làm việc có cấu trúc và loại bỏ nhu cầu chuyển đổi giữa các công cụ hoặc định dạng lại các nhãn.

Nền tảng này cũng hỗ trợ các model Ultralytics YOLO như Ultralytics YOLO11 và Ultralytics YOLO26, cho phép dữ liệu đã gán nhãn được sử dụng trực tiếp để huấn luyện và kiểm tra. Điều này giúp dễ dàng xác định các lỗ hổng trong datasets, tinh chỉnh nhãn và huấn luyện lại các model thông qua lặp đi lặp lại liên tục.

Link to this sectionCác tính năng chính của gán nhãn thông minh SAM trên Ultralytics Platform#

Gán nhãn thông minh dựa trên SAM trên Ultralytics Platform được thiết kế để tăng tốc độ gán nhãn cho các tác vụ phát hiện đối tượng, instance segmentation và oriented bounding box (OBB).

Nền tảng cung cấp nhiều biến thể model SAM, bao gồm SAM 2.1 Tiny, SAM 2.1 Small, SAM 2.1 Base, SAM 2.1 Large và SAM 3, mang đến cho người dùng tùy chọn để cân nhắc giữa tốc độ và độ chính xác.

Hình 4. Gán nhãn thông minh dựa trên SAM trên Ultralytics Platform (Source)

Các model nhỏ hơn, như Tiny và Small, nhanh hơn và phù hợp với các quy trình gán nhãn nhanh, trong khi các model lớn hơn như Large và SAM 3 cung cấp độ chính xác cao hơn cho các khung cảnh phức tạp hơn. Việc chuyển đổi giữa các model sẽ cập nhật hành vi gán nhãn ngay lập tức.

Trong trình chỉnh sửa gán nhãn, sau khi một model SAM được chọn, các người gán nhãn có thể truy cập chế độ Thông minh (Smart mode) để bắt đầu công việc. Thay vì vẽ các hình khối thủ công, model được điều hướng bằng cách sử dụng các đầu vào dựa trên điểm đơn giản.

Nhấp chuột trái để thêm một điểm dương nhằm bao gồm một vùng, trong khi nhấp chuột phải để thêm một điểm âm nhằm loại trừ các khu vực không mong muốn. Dựa trên các đầu vào này, model sẽ tạo ra một mask chính xác trong thời gian thực.

Để tăng tốc quy trình, có thể bật chế độ tự động áp dụng (auto-apply mode). Khi đang hoạt động, mỗi lần nhấp chuột sẽ tự động tạo và lưu một nhãn mà không cần xác nhận thủ công. Đối với các đối tượng phức tạp hơn, người gán nhãn có thể giữ phím "Shift" để đặt nhiều điểm trước khi mask được áp dụng, hoặc tắt tính năng tự động áp dụng để thoải mái thêm điểm và sau đó nhấn "Enter" để áp dụng mask.

Link to this sectionTìm hiểu về gán nhãn thông minh YOLO trên Ultralytics Platform#

Tương tự như gán nhãn thông minh dựa trên SAM, gán nhãn thông minh dựa trên YOLO trên Ultralytics Platform sử dụng AI để tăng tốc quá trình gán nhãn. Thay vì hướng dẫn model bằng các cú nhấp chuột, nó sử dụng các dự đoán của model để tự động tạo nhãn.

Cách tiếp cận này hỗ trợ các tác vụ như phát hiện đối tượng, instance segmentation và gán nhãn oriented bounding box (OBB). Nó hoạt động đặc biệt với các model Ultralytics YOLO, bao gồm các model được huấn luyện trước do Ultralytics cung cấp và các model YOLO được huấn luyện tùy chỉnh.

Trong annotation editor, các người gán nhãn có thể vào chế độ Thông minh (Smart mode), chọn một model YOLO từ trình chọn model và nhấp vào Dự đoán (Predict). Trình chọn model chỉ hiển thị các model YOLO phù hợp với tác vụ tập dữ liệu hiện tại, đảm bảo rằng các nhãn được tạo ra tương thích.

Model phân tích hình ảnh và tạo các nhãn dựa trên dự đoán của nó, sau đó các nhãn này được thêm trực tiếp vào hình ảnh. Nếu các dự đoán trùng lặp với đầu ra gán nhãn hiện có của cùng một lớp, các lần phát hiện trùng lặp sẽ tự động bị bỏ qua khi độ trùng lặp vượt quá một ngưỡng nhất định, giúp duy trì các nhãn sạch và nhất quán.

Hình 5. Gán nhãn thông minh được kích hoạt bởi các model Ultralytics YOLO trên Ultralytics Platform (Source)

Sau khi các dự đoán được tạo, các human-in-the-loop annotators có thể xem xét, điều chỉnh hoặc loại bỏ chúng nếu cần. Điều này giúp dễ dàng dán nhãn nhanh các tập dữ liệu lớn bằng cách bắt đầu với các nhãn do model tạo và tinh chỉnh chúng thay vì dán nhãn thủ công hoàn toàn.

Theo thời gian, các model YOLO đã cải tiến có thể được tái sử dụng để tạo ra các dự đoán tốt hơn, hỗ trợ quy trình tự động gán nhãn lặp đi lặp lại.

Link to this sectionÁp dụng gán nhãn hỗ trợ bởi AI trong các quy trình thực tế#

Tiếp theo, hãy cùng xem qua các ví dụ về cách Ultralytics Platform hỗ trợ gán nhãn dữ liệu trong các trường hợp sử dụng thực tế.

Link to this sectionSegmentation trong lái xe tự hành#

Xe tự hành được tích hợp các model thị giác máy tính dựa vào dữ liệu hình ảnh được gán nhãn tốt để hiểu môi trường xung quanh trong thời gian thực. Các model được huấn luyện trên dữ liệu này có thể phát hiện và phân đoạn xe cộ, người đi bộ, biển báo giao thông và ranh giới đường bộ.

Các tác vụ phân đoạn yêu cầu ranh giới chính xác đến từng pixel, khiến việc gán nhãn trở nên quan trọng và tốn thời gian. Gán nhãn thủ công khối lượng lớn dữ liệu cảm biến có thể nhanh chóng trở thành một điểm nghẽn, đặc biệt là trong các tình huống lái xe phức tạp.

Ultralytics Platform hợp lý hóa quy trình này với việc gán nhãn hỗ trợ bởi AI sử dụng cả model SAM và YOLO. Gán nhãn thông minh dựa trên SAM cho phép phân đoạn nhanh, dựa trên cú nhấp chuột với các mask chính xác, trong khi các model YOLO có thể được sử dụng để tự động tạo nhãn trên khắp các hình ảnh.

Cùng với nhau, các phương pháp này giúp xử lý các khung cảnh phức tạp với các đối tượng chồng chéo dễ dàng hơn.

Vì việc gán nhãn được kết nối trực tiếp với huấn luyện model, các tập dữ liệu quy mô lớn đã được cập nhật có thể được sử dụng ngay lập tức để huấn luyện lại và đánh giá các model. Điều này cho phép các đội ngũ liên tục cải thiện hiệu suất và thích nghi với các điều kiện lái xe mới hiệu quả hơn.

Link to this sectionNâng cao hệ thống đảm bảo chất lượng trong sản xuất#

Trong sản xuất, việc duy trì kiểm soát chất lượng nhất quán phụ thuộc vào việc phát hiện chính xác các lỗi trong quá trình sản xuất. Các model thị giác máy tính thường được sử dụng để xác định các vấn đề trong thời gian thực, nhưng hiệu suất của chúng phụ thuộc vào việc dữ liệu huấn luyện phản ánh các điều kiện sản xuất thực tế tốt như thế nào.

Những thay đổi trong môi trường sản xuất, chẳng hạn như biến thể về nguyên vật liệu, cài đặt máy móc hoặc ánh sáng, có thể đưa ra các loại lỗi mới và hiếm gặp mà không có trong dữ liệu huấn luyện ban đầu. Điều này tạo ra khoảng cách giữa những gì model đã học và những gì xuất hiện trên dây chuyền sản xuất.

Để duy trì sự đồng bộ, các tập dữ liệu cần được cập nhật thường xuyên với các nhãn nội bộ chất lượng cao. Ultralytics Platform giúp việc cập nhật nhãn và mở rộng tập dữ liệu trở nên đơn giản khi các mô hình lỗi mới xuất hiện. Những tập dữ liệu đã cập nhật này sau đó có thể được sử dụng để huấn luyện lại các model, giúp các đội ngũ thích nghi nhanh hơn với các điều kiện sản xuất thay đổi.

Link to this sectionGiám sát công trường và an toàn trong xây dựng#

Các công trường xây dựng là những môi trường năng động, với nhiều đội ngũ, thiết bị di chuyển và bố cục liên tục thay đổi. Việc duy trì an toàn trong các điều kiện này phụ thuộc vào dữ liệu hình ảnh rõ ràng và được gán nhãn tốt.

Các nhãn chính xác có thể tăng data quality và giúp hệ thống AI xác định công nhân, thiết bị, thiết bị bảo hộ và các rủi ro tiềm ẩn trong nhiều điều kiện công trường, bao gồm các khung cảnh đông đúc, nền thay đổi và ánh sáng khác nhau.

Ultralytics Platform hỗ trợ điều này bằng cách giúp việc cập nhật và tinh chỉnh nhãn trở nên dễ dàng khi điều kiện công trường thay đổi. Các hình ảnh mới có thể được chụp và thêm vào tập dữ liệu khi chúng xuất hiện, giúp dữ liệu luôn phù hợp với các kịch bản thực tế.

Link to this sectionCác điểm chính cần lưu ý#

Gán nhãn chất lượng cao là cần thiết để xây dựng các model thị giác máy tính và AI đáng tin cậy, nhưng các quy trình truyền thống thường làm chậm các đội ngũ. Ultralytics Platform hợp lý hóa quy trình này với các công cụ gán nhãn tự động và quy trình làm việc có thể mở rộng. Kết quả là, các đội ngũ có thể tiến nhanh hơn từ dữ liệu đến model trong khi vẫn duy trì độ chính xác và tính nhất quán.

Hãy xem cộng đồng đang phát triển của chúng tôi và kho lưu trữ GitHub để tìm hiểu thêm về thị giác máy tính. Nếu bạn đang muốn xây dựng các giải pháp thị giác, hãy xem qua các tùy chọn cấp phép của chúng tôi. Khám phá các trang giải pháp của chúng tôi để biết thêm về những lợi ích của thị giác máy tính trong sản xuất và AI trong chăm sóc sức khỏe.