Tìm hiểu vì sao gán nhãn có con người tham gia là yếu tố then chốt

Hai mươi năm trước, nếu ai đó nói họ đang nghĩ đến việc mua robot để phụ giúp việc nhà, điều đó hẳn nghe rất khó tin. Tuy nhiên, chúng ta đang ở giữa làn sóng bùng nổ AI, và robot đang được thử nghiệm trong các tình huống tương tự.

Một lĩnh vực AI chủ chốt thúc đẩy tiến bộ này là thị giác máy tính, giúp máy móc có khả năng hiểu hình ảnh và video. Nói cách khác, các model thị giác máy tính như Ultralytics YOLO11 và phiên bản mới hơn Ultralytics YOLO26 có thể được huấn luyện trên dataset gồm dữ liệu hình ảnh và chú thích.

Những chú thích này giúp model hiểu dữ liệu hình ảnh. Ví dụ, các tập dữ liệu phát hiện đối tượng sử dụng bounding box để vẽ hình chữ nhật quanh những đối tượng cần quan tâm. Nhờ đó, model có thể phát hiện và xác định vị trí của các đối tượng này trong hình ảnh mới, ngay cả khi khung cảnh lộn xộn hoặc đối tượng bị che khuất một phần.

Các tác vụ thị giác máy tính khác dựa vào những loại chú thích khác nhau. Tập dữ liệu phân đoạn gán nhãn đường viền chính xác của đối tượng ở cấp độ pixel, còn tập dữ liệu keypoint đánh dấu các mốc cụ thể như khớp trên cơ thể người.

Tuy nhiên, với mọi định dạng này, chất lượng và tính nhất quán của nhãn là yếu tố then chốt. Model học trực tiếp từ dữ liệu dùng để huấn luyện, vì vậy nếu nhãn không nhất quán hoặc sai, model thường sẽ lặp lại những lỗi đó trong các dự đoán.

Ngay cả khi có tự động hóa, tập dữ liệu do con người gán nhãn vẫn rất quan trọng, đặc biệt trong các lĩnh vực có rủi ro cao như chẩn đoán hình ảnh y khoa. Những lỗi gán nhãn nhỏ, chẳng hạn như đường biên khối u không chính xác hoặc bỏ sót một bất thường, có thể khiến model học sai quy luật và đưa ra dự đoán không an toàn về sau. Chuyên gia là con người cung cấp ground truth chính xác và khả năng đánh giá mà các ứng dụng này đòi hỏi.

Hình 1. Tập dữ liệu do con người gán nhãn là rất cần thiết. Hình ảnh của tác giả.

Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn lý do dữ liệu do con người gán nhãn là thiết yếu, ngay cả khi AI không ngừng phát triển.

Nhu cầu chú thích hình ảnh và video#

Model thị giác máy tính học theo cách khá giống con người: bằng cách xem nhiều ví dụ. Điểm khác biệt là model học thông qua việc huấn luyện trên các tập dữ liệu hình ảnh và video quy mô lớn được con người gán nhãn từ trước. Những nhãn đó đóng vai trò là ground truth, dạy model biết đây là người đi bộ, đây là đường biên của khối u, hoặc đối tượng kia là ô tô.

Hình ảnh trong thực tế hiếm khi sạch hoặc nhất quán. Ánh sáng có thể thay đổi, khiến cùng một đối tượng trông khác đi. Người và phương tiện có thể chồng lấp hoặc bị che khuất một phần. Phông nền có thể rối và gây xao nhãng. Khi tập dữ liệu có nhãn được gán cẩn thận và nhất quán trong các tình huống này, model sẽ được chuẩn bị tốt hơn nhiều cho những gì chúng gặp phải bên ngoài môi trường được kiểm soát.

Gán nhãn dữ liệu không chỉ đơn thuần là vẽ hộp hoặc phác đường viền. Công việc này còn bao gồm việc áp dụng hướng dẫn và đưa ra quyết định thực tế về những gì được tính là đối tượng, ranh giới của đối tượng nên nằm ở đâu và cần xử lý thế nào khi có điểm chưa rõ. Đánh giá của con người giúp dữ liệu luôn chính xác và hữu dụng.

Sau cùng, một hệ thống thị giác máy tính chỉ hoạt động tốt ngang với dữ liệu có nhãn mà hệ thống được huấn luyện. Trong các ứng dụng có tác động lớn như phát hiện ung thư trên ảnh chụp hoặc nhận diện mối nguy trên đường cho xe tự lái, nhãn chính xác do người có chuyên môn gán tạo ra khác biệt thực sự về độ chính xác và an toàn.

Sự phát triển của tự động hóa trong gán nhãn dữ liệu#

Khi thị giác máy tính được mở rộng và dataset ngày càng lớn, tự động hóa đang trở thành phương thức phổ biến để tăng tốc chú thích. Thay vì gán nhãn mọi thứ thủ công, các nhóm dùng model AI để tạo bản nhãn ban đầu.

Sau đó, con người xem xét kết quả, sửa lỗi và xử lý các trường hợp mà model không thể gán nhãn với độ tin cậy cao. Cách tiếp cận này giúp tăng tốc quá trình gán nhãn mà vẫn duy trì chất lượng.

Dưới đây là một số cách tự động hóa thường hỗ trợ việc gán nhãn dữ liệu:

• Phân đoạn tự động: Model có thể tự động đề xuất đường viền đối tượng hoặc mask ở cấp độ pixel, giúp giảm khối lượng vẽ đường viền thủ công mà người chú thích cần thực hiện.
• Theo dõi bằng optical flow: Với video, các phương pháp theo dõi có thể bám theo một đối tượng đang di chuyển qua các frame và chuyển tiếp nhãn của đối tượng đó, giúp duy trì tính nhất quán của annotation theo thời gian.
• Nội suy frame: Công cụ có thể điền nhãn cho các frame nằm giữa hai frame đã được gán nhãn bằng cách sử dụng tín hiệu chuyển động và theo dõi, nhờ đó người gán nhãn không cần gán nhãn từng frame.
• Active learning: Pipeline huấn luyện có thể xác định các mẫu mà model đánh giá là không chắc chắn hoặc bất thường rồi ưu tiên chuyển các mẫu đó cho con người, nhờ vậy công sức thủ công tập trung vào dữ liệu giúp cải thiện hiệu năng nhiều nhất.

Vì sao việc con người gán nhãn dữ liệu vẫn vô cùng quan trọng#

Dù tự động hóa có thể tăng tốc quá trình gán nhãn, model AI vẫn cần đến đánh giá của con người để duy trì độ chính xác và độ tin cậy.

Dưới đây là một số lĩnh vực then chốt mà chuyên môn của con người tạo ra tác động trong quá trình gán nhãn dữ liệu:

• Hiểu ngữ cảnh: Hình ảnh và video thực tế thường phức tạp. Bóng đổ, phản chiếu, nhòe chuyển động và các đối tượng chồng lấp có thể khiến công cụ tự động nhầm lẫn. Người gán nhãn có thể diễn giải điều thực sự đang diễn ra, nhờ đó nhãn chính xác hơn.
• Duy trì tính nhất quán của nhãn: Khi tập dữ liệu phát triển, nhãn tự động có thể sai lệch hoặc thay đổi giữa các batch. Con người có thể kiểm tra, chỉnh sửa và căn chỉnh nhãn để tập dữ liệu luôn nhất quán từ đầu đến cuối.
• Giảm thiên kiến và tác hại: Con người có khả năng nhận biết nội dung nhạy cảm, sắc thái văn hóa và các mẫu có thể gây ra thiên kiến tốt hơn. Việc giám sát của họ giúp tập dữ liệu công bằng hơn và tránh những tác hại ngoài ý muốn.
• Áp dụng chuyên môn lĩnh vực: Một số tác vụ cần kiến thức chuyên ngành, chẳng hạn như xác định bất thường y khoa hoặc lỗi công nghiệp. Chuyên gia có thể cung cấp nhãn chính xác và xử lý các trường hợp mơ hồ để model học được những chi tiết phù hợp.

Tổng quan về quy trình gán nhãn có con người tham gia vòng lặp#

Các công cụ và nền tảng chú thích như Roboflow tích hợp tính năng tự động hóa để tăng tốc gán nhãn, thường sử dụng các model nền tảng như Segment Anything Model 3, hay SAM 3. SAM 3 là model nền tảng phân đoạn có thể điều khiển bằng prompt của Meta AI.

Model này có thể phát hiện, phân đoạn và theo dõi đối tượng trong hình ảnh và video dựa trên các prompt đơn giản như cú nhấp, bounding box hoặc cụm từ ngắn, đồng thời tạo mask phân đoạn cho các đối tượng phù hợp mà không cần huấn luyện riêng theo tác vụ cho từng danh mục mới.

Ngay cả với những phương pháp tiên tiến này, chuyên gia con người vẫn cần xem xét và hoàn thiện chú thích. Khi công cụ tự động tạo bản nháp đầu tiên rồi con người kiểm tra, sửa và tinh chỉnh, quy trình này được gọi là chú thích có con người tham gia vòng lặp. Phương pháp này giúp chú thích nhanh chóng, đồng thời đảm bảo nhãn cuối cùng đủ chính xác và nhất quán để huấn luyện các model đáng tin cậy.

Hình 2. Tổng quan về quy trình gán nhãn có con người tham gia vòng lặp. (Nguồn)

Khi nào tự động hóa gán nhãn hiệu quả và khi nào không#

Gán nhãn tự động hiệu quả nhất với dữ liệu thu thập trong môi trường được kiểm soát. Hình ảnh thu thập tại nhà máy, nhà kho hoặc lối đi trong cửa hàng bán lẻ thường có ánh sáng ổn định và góc nhìn rõ ràng về đối tượng, nhờ vậy công cụ tự động có thể gán nhãn chính xác và giúp các nhóm mở rộng quy mô nhanh hơn với ít công việc thủ công hơn.

Dữ liệu từ các môi trường ít được kiểm soát phức tạp hơn. Cảnh quay ngoài trời thay đổi theo thời gian trong ngày và thời tiết, còn cảnh trên đường phố hoặc trong nhà thường có nhiều vật thể lộn xộn, nhòe chuyển động, đối tượng che khuất nhau và chồng lấp đáng kể. Đối tượng nhỏ, ranh giới tinh vi hoặc tình huống hiếm gặp càng làm tăng nguy cơ sai sót. Một model hoạt động tốt trên dữ liệu trong nhà sạch sẽ vẫn có thể gặp khó khăn với hình ảnh thực tế phức tạp.

Đó là lý do sự tham gia của con người vẫn quan trọng. Con người có thể can thiệp khi model không chắc chắn, diễn giải ngữ cảnh khó và sửa lỗi trước khi chúng xuất hiện trong tập dữ liệu cuối cùng. Gán nhãn có con người tham gia vòng lặp giúp tự động hóa bám sát điều kiện thực tế và duy trì độ tin cậy của model sau khi triển khai.

Gán nhãn có con người tham gia vòng lặp có thể tạo ra khác biệt ở đâu?#

Giờ đây, sau khi tìm hiểu những trường hợp tự động hóa hoạt động hiệu quả và những hạn chế của nó, hãy cùng khám phá một số ứng dụng mà gán nhãn có con người tham gia vòng lặp đóng vai trò quan trọng.

Phát hiện lỗi trong sản xuất#

Hãy hình dung một băng chuyền trong nhà máy, nơi hàng trăm linh kiện đi qua camera mỗi phút. Hầu hết lỗi đều dễ nhận thấy, nhưng đôi khi một vết nứt nhỏ như sợi tóc xuất hiện ở góc lạ hoặc dưới ánh sáng chói. Hệ thống tự động có thể bỏ sót vết nứt hoặc gán nhãn đó là kết cấu bề mặt vô hại, nhưng người đánh giá có thể phát hiện lỗi, sửa annotation và đảm bảo model học được sự khác biệt.

Đó là vai trò của quy trình gán nhãn có con người tham gia vòng lặp trong kiểm tra công nghiệp. Tự động hóa có thể gán nhãn trước các loại lỗi phổ biến và xử lý nhanh lượng lớn hình ảnh, nhưng con người vẫn cần xác minh kết quả, tinh chỉnh ranh giới và xử lý các lỗi hiếm khi xuất hiện trong dữ liệu huấn luyện.

Xe tự hành và giao thông thông minh#

Tương tự, xe tự hành sử dụng thị giác máy tính để phát hiện người đi bộ, đọc biển báo và di chuyển trong giao thông, nhưng đường sá thực tế khó dự đoán. Ví dụ, người đi bộ bước ra từ phía sau một chiếc xe đang đỗ vào ban đêm có thể bị che khuất một phần và khó nhìn thấy do ánh sáng chói.

Hình 3. Ví dụ về việc sử dụng thị giác máy tính để phân tích giao thông. (Nguồn)

Người gán nhãn có thể gán nhãn các trường hợp biên hiếm gặp nhưng trọng yếu đối với an toàn này trong quá trình huấn luyện, để model học được cách phản hồi phù hợp không chỉ trong điều kiện bình thường mà còn ở những thời điểm quan trọng nhất. Bước có con người tham gia vòng lặp này rất quan trọng để dạy hệ thống xử lý các sự kiện ít xảy ra, khó ghi nhận chỉ bằng tự động hóa.

Tương lai của tập dữ liệu do con người gán nhãn#

Gán nhãn có con người tham gia vòng lặp đang trở nên cộng tác hơn khi công nghệ tiến bộ. Đáng chú ý, model ngôn ngữ-thị giác (VLMs), được huấn luyện từ cả hình ảnh lẫn văn bản, hiện được sử dụng để tạo bản nhãn sơ bộ và đề xuất chỉnh sửa dựa trên các prompt đơn giản.

Thay vì quét thủ công từng ảnh để quyết định cần gán nhãn gì, người gán nhãn có thể đưa cho VLM một cụm từ như “gán nhãn tất cả người đi bộ, ô tô và đèn giao thông” hoặc “phân đoạn tất cả lỗi trên bộ phận này”, rồi nhận một bộ nhãn nháp để rà soát. Trên Ultralytics Platform, các nhóm có thể tự động gán nhãn bộ dữ liệu phát hiện bằng model thị giác-ngôn ngữ, còn Bảng xếp hạng VLM so sánh độ chính xác gán nhãn ảnh thực tế của từng model.

Hình 4. Các model đa phương thức lớn có thể phối hợp với người gán nhãn (Nguồn)

Điều này giúp giảm thời gian gán nhãn vì model có thể xử lý trước nhiều trường hợp đơn giản, để con người tập trung xem xét kết quả, chỉnh sửa các mẫu khó và duy trì tính nhất quán của tập dữ liệu. Các model đa phương thức lớn cũng bắt đầu hướng người gán nhãn đến những mẫu có độ không chắc chắn cao nhất, giúp tập trung nỗ lực của con người hơn và cải thiện chất lượng tổng thể của tập dữ liệu.

Điểm chính cần ghi nhớ#

Thị giác máy tính giúp máy móc diễn giải và phản ứng với những gì chúng nhìn thấy, nhưng hoạt động hiệu quả nhất khi có chuyên môn của con người tham gia vòng lặp. Dữ liệu do con người gán nhãn giúp model bám sát điều kiện thực tế và cải thiện độ tin cậy trong quá trình hoạt động. Khi tự động hóa và đánh giá của con người phối hợp với nhau, các nhóm có thể xây dựng những hệ thống thị giác tạo ra tác động thiết thực.

Tham gia cộng đồng năng động của chúng tôi và khám phá những đổi mới như AI trong logistics và Vision AI trong robot học. Truy cập repository GitHub để khám phá thêm. Để bắt đầu với thị giác máy tính ngay hôm nay, hãy xem các tùy chọn cấp phép của chúng tôi.