Tìm hiểu vì sao human-in-the-loop annotation là yếu tố then chốt

Hai mươi năm trước, nếu ai đó nói họ đang cân nhắc mua một robot để giúp việc nhà, điều đó hẳn sẽ nghe rất viển vông. Tuy nhiên, chúng ta đang ở giữa thời kỳ bùng nổ AI, và robot đang được thử nghiệm trong những tình huống tương tự.

Một lĩnh vực then chốt của AI đang thúc đẩy tiến bộ này là thị giác máy tính, giúp máy móc có khả năng hiểu hình ảnh và video. Nói cách khác, các model thị giác máy tính như Ultralytics YOLO11 và Ultralytics YOLO26 sắp ra mắt có thể được huấn luyện trên các dataset gồm dữ liệu hình ảnh và annotation.

Các annotation này giúp model hiểu dữ liệu hình ảnh. Chẳng hạn, các dataset phát hiện đối tượng sử dụng bounding box để vẽ hình chữ nhật quanh những đối tượng được quan tâm. Nhờ đó, model có thể phát hiện và xác định vị trí của các đối tượng đó trong những hình ảnh mới, ngay cả khi khung cảnh lộn xộn hoặc đối tượng bị che khuất một phần.

Các tác vụ thị giác máy tính khác phụ thuộc vào những loại annotation khác nhau. Dataset segmentation gán nhãn đường viền chính xác của đối tượng ở cấp độ pixel, trong khi dataset keypoint đánh dấu các điểm mốc cụ thể, chẳng hạn như khớp trên cơ thể người.

Tuy nhiên, trong tất cả các định dạng này, một yếu tố quan trọng là chất lượng và tính nhất quán của nhãn. Model học trực tiếp từ dữ liệu dùng để huấn luyện, vì vậy nếu nhãn không nhất quán hoặc sai, model thường sẽ đưa những lỗi đó vào các dự đoán của mình.

Ngay cả khi có automation, dataset do con người gán nhãn vẫn rất quan trọng, đặc biệt trong các lĩnh vực có rủi ro cao như chẩn đoán hình ảnh y khoa. Những lỗi gán nhãn nhỏ, chẳng hạn như đường biên khối u không chính xác hoặc bỏ sót một dấu hiệu bất thường, có thể khiến model học sai pattern và dẫn đến các dự đoán không an toàn về sau. Các chuyên gia cung cấp ground truth chính xác và khả năng phán đoán mà những ứng dụng này yêu cầu.

Hình 1. Sự cần thiết của dataset do con người gán nhãn. Hình ảnh của tác giả.

Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn vì sao dữ liệu do con người gán nhãn là thiết yếu, ngay cả khi AI không ngừng phát triển.

Nhu cầu gán nhãn hình ảnh và video#

Các model thị giác máy tính học khá giống con người, thông qua việc xem nhiều ví dụ. Điểm khác biệt là chúng học bằng cách huấn luyện trên các dataset hình ảnh và video lớn được con người gán nhãn từ trước. Những nhãn đó đóng vai trò là ground truth, dạy model rằng đây là người đi bộ, đây là đường biên của khối u, hoặc đối tượng kia là ô tô.

Hình ảnh trong thế giới thực hiếm khi rõ ràng hoặc nhất quán. Ánh sáng có thể thay đổi và khiến cùng một đối tượng trông khác đi. Người và phương tiện có thể chồng lấn hoặc bị che khuất một phần. Hậu cảnh có thể nhiều chi tiết và gây nhiễu. Khi dataset bao gồm các nhãn cẩn thận, nhất quán trong những tình huống này, model sẽ được chuẩn bị tốt hơn nhiều cho những gì chúng gặp phải ngoài các môi trường được kiểm soát.

Gán nhãn dữ liệu cũng không chỉ đơn giản là vẽ bounding box hoặc tô theo đường viền. Công việc này bao gồm việc áp dụng các guideline và đưa ra quyết định thực tế về đối tượng nào được tính, đường biên của đối tượng nên ở đâu, cũng như cần làm gì khi có điều chưa rõ ràng. Khả năng phán đoán của con người giúp dữ liệu duy trì độ chính xác và khả năng sử dụng.

Sau cùng, một hệ thống thị giác máy tính chỉ hoạt động tốt ở mức tương ứng với dữ liệu được gán nhãn mà nó học. Trong các ứng dụng có tác động lớn như phát hiện ung thư trên ảnh chụp hoặc nhận diện mối nguy trên đường cho xe tự lái, các nhãn chính xác do những người có kỹ năng tạo ra tạo nên khác biệt thực sự về độ chính xác và an toàn.

Sự phát triển của automation trong gán nhãn dữ liệu#

Khi thị giác máy tính được mở rộng và dataset ngày càng lớn, automation đang trở thành một cách phổ biến để tăng tốc việc gán nhãn. Thay vì gán nhãn mọi thứ thủ công, các team sử dụng model AI để tạo bản nhãn sơ bộ.

Sau đó, con người sẽ xem xét kết quả, sửa lỗi và xử lý những trường hợp model không thể gán nhãn một cách tự tin. Cách tiếp cận này tăng tốc quá trình gán nhãn mà vẫn duy trì chất lượng cao.

Dưới đây là một số cách automation thường hỗ trợ việc gán nhãn dữ liệu:

• Segmentation tự động: Model có thể tự động đề xuất đường viền đối tượng hoặc mask ở cấp độ pixel, giúp giảm khối lượng tô đường viền thủ công mà người gán nhãn phải thực hiện.
• Theo dõi bằng optical flow: Đối với video, các phương pháp tracking có thể theo dõi một đối tượng đang chuyển động qua các frame và chuyển tiếp nhãn của đối tượng đó, giúp annotation nhất quán theo thời gian.
• Nội suy frame: Công cụ có thể điền nhãn cho các frame nằm giữa hai frame đã được gán nhãn bằng cách sử dụng tín hiệu chuyển động và tracking, để người gán nhãn không phải gán nhãn từng frame.
• Active learning: Pipeline huấn luyện có thể xác định những ví dụ mà model cho là không chắc chắn hoặc bất thường và ưu tiên gửi chúng cho con người, để công sức thủ công tập trung vào dữ liệu giúp cải thiện hiệu suất nhiều nhất.

Vì sao việc con người gán nhãn dữ liệu vẫn vô cùng quan trọng#

Mặc dù automation có thể tăng tốc việc gán nhãn, các model AI vẫn cần khả năng phán đoán của con người để duy trì độ chính xác và độ tin cậy.

Dưới đây là một số lĩnh vực then chốt mà chuyên môn của con người tạo ra tác động trong việc gán nhãn dữ liệu:

• Hiểu ngữ cảnh: Hình ảnh và video thực tế thường lộn xộn. Bóng, phản chiếu, nhòe chuyển động và các đối tượng chồng lấn có thể khiến công cụ tự động nhầm lẫn. Người gán nhãn có thể diễn giải điều thực sự đang diễn ra, nhờ đó nhãn chính xác hơn.
• Duy trì tính nhất quán của nhãn: Khi dataset phát triển, nhãn tự động có thể bị lệch hoặc thay đổi giữa các batch. Con người có thể audit, sửa và đồng bộ nhãn để dataset luôn nhất quán từ đầu đến cuối.
• Giảm bias và tác hại: Con người giỏi hơn trong việc phát hiện nội dung nhạy cảm, sắc thái văn hóa và những pattern có thể tạo ra bias. Sự giám sát của họ giúp dataset công bằng hơn và tránh các tác hại ngoài ý muốn.
• Áp dụng chuyên môn lĩnh vực: Một số tác vụ cần kiến thức chuyên ngành, chẳng hạn như xác định bất thường y khoa hoặc lỗi trong sản xuất công nghiệp. Chuyên gia có thể cung cấp nhãn chính xác và giải quyết các trường hợp mơ hồ để model học đúng các chi tiết cần thiết.

Tổng quan về gán nhãn có sự tham gia của con người#

Các công cụ và nền tảng annotation như Roboflow tích hợp automation để tăng tốc việc gán nhãn, thường bằng cách sử dụng các foundation model như Segment Anything Model 3 hoặc SAM3. SAM3 là foundation model segmentation có thể tương tác bằng prompt của Meta AI.

Nó có thể phát hiện, segment và tracking các đối tượng trong hình ảnh và video từ những prompt đơn giản như thao tác nhấp, bounding box hoặc các cụm từ ngắn, tạo ra segmentation mask cho các đối tượng phù hợp mà không cần huấn luyện riêng theo tác vụ cho từng category mới.

Ngay cả với những phương pháp tiên tiến này, các chuyên gia vẫn cần xem xét và hoàn thiện annotation. Khi công cụ tự động tạo bản nháp đầu tiên, còn con người kiểm tra, sửa và tinh chỉnh bản nháp đó, quy trình này được gọi là gán nhãn có sự tham gia của con người. Cách làm này giúp annotation nhanh chóng, đồng thời đảm bảo nhãn cuối cùng đủ chính xác và nhất quán để huấn luyện các model đáng tin cậy.

Hình 2. Tìm hiểu về gán nhãn có sự tham gia của con người. (Nguồn)

Khi nào automation trong gán nhãn hoạt động hiệu quả và khi nào không#

Gán nhãn tự động hoạt động hiệu quả nhất với dữ liệu đến từ những địa điểm được kiểm soát. Hình ảnh được thu thập trong nhà máy, kho hàng hoặc các lối đi bán lẻ thường có ánh sáng ổn định và góc nhìn rõ ràng về đối tượng, nên công cụ tự động có thể gán nhãn chính xác và giúp team mở rộng quy mô nhanh hơn với ít công việc thủ công hơn.

Dữ liệu từ những địa điểm ít được kiểm soát phức tạp hơn. Cảnh quay ngoài trời thay đổi theo thời gian trong ngày và thời tiết, còn cảnh đường phố hoặc trong nhà thường có sự lộn xộn, nhòe chuyển động, các đối tượng che khuất lẫn nhau và nhiều vùng chồng lấn. Đối tượng nhỏ, đường biên tinh vi hoặc các tình huống hiếm gặp càng tạo thêm cơ hội phát sinh lỗi. Một model hoạt động tốt trên dữ liệu trong nhà sạch sẽ vẫn có thể gặp khó khăn với hình ảnh lộn xộn trong thế giới thực.

Đó là lý do sự tham gia của con người vẫn quan trọng. Con người có thể can thiệp khi model không chắc chắn, diễn giải ngữ cảnh phức tạp và sửa lỗi trước khi chúng xuất hiện trong dataset cuối cùng. Gán nhãn có sự tham gia của con người giúp automation bám sát các điều kiện thực tế và duy trì độ tin cậy của model sau khi triển khai.

Gán nhãn có sự tham gia của con người có thể tạo ra khác biệt ở đâu?#

Giờ đây, khi đã thấy automation hoạt động hiệu quả ở đâu và còn hạn chế ở đâu, hãy cùng khám phá một số ứng dụng mà gán nhãn có sự tham gia của con người đóng vai trò quan trọng.

Phát hiện lỗi trong sản xuất#

Hãy hình dung một băng chuyền trong nhà máy, nơi hàng trăm linh kiện đi qua camera mỗi phút. Hầu hết lỗi đều dễ nhận thấy, nhưng đôi khi một vết nứt nhỏ như sợi tóc xuất hiện ở góc bất thường hoặc bị ánh đèn chiếu lóa. Hệ thống tự động có thể bỏ sót nó hoặc gán nhãn là kết cấu bề mặt vô hại, nhưng người đánh giá có thể phát hiện khuyết điểm, sửa annotation và đảm bảo model học được sự khác biệt.

Đó là vai trò của gán nhãn có sự tham gia của con người trong kiểm tra công nghiệp. Automation có thể gán nhãn sơ bộ các loại lỗi phổ biến và xử lý nhanh khối lượng lớn hình ảnh, nhưng con người vẫn cần xác minh kết quả, điều chỉnh chính xác đường biên và xử lý những lỗi hiếm gặp không thường xuất hiện trong quá trình huấn luyện.

Xe tự hành và giao thông thông minh#

Tương tự, xe tự hành sử dụng thị giác máy tính để phát hiện người đi bộ, đọc biển báo và điều hướng giao thông, nhưng đường sá thực tế không thể đoán trước. Chẳng hạn, người đi bộ bước ra từ phía sau một chiếc ô tô đang đỗ vào ban đêm có thể bị che khuất một phần và khó nhìn thấy dưới ánh sáng lóa.

Hình 3. Ví dụ về việc sử dụng thị giác máy tính để phân tích giao thông. (Nguồn)

Người gán nhãn có thể gán nhãn các trường hợp hiếm gặp nhưng quan trọng đối với an toàn trong quá trình huấn luyện, để model học được phản hồi phù hợp không chỉ trong điều kiện bình thường mà còn trong những thời điểm quan trọng nhất. Bước có sự tham gia của con người này rất cần thiết để dạy hệ thống xử lý các sự kiện ít xảy ra, vốn khó thu thập chỉ bằng automation.

Triển vọng của dataset do con người gán nhãn#

Gán nhãn có sự tham gia của con người đang trở nên mang tính cộng tác hơn khi công nghệ phát triển. Đáng chú ý, mô hình ngôn ngữ-thị giác (VLMs), học từ cả hình ảnh và văn bản, hiện đang được sử dụng để tạo bản nhãn sơ bộ và đề xuất chỉnh sửa từ các prompt đơn giản.

Vì vậy, thay vì quét thủ công từng hình ảnh để quyết định cần gán nhãn gì, người gán nhãn có thể cung cấp cho VLM một prompt như “gán nhãn tất cả người đi bộ, ô tô và đèn giao thông” hoặc “segment tất cả lỗi trên linh kiện này”, rồi nhận được một bộ annotation nháp để xem xét.

Hình 4. Các model đa phương thức lớn có thể làm việc với người gán nhãn (Nguồn)

Điều này giảm thời gian annotation vì model có thể xử lý trước nhiều trường hợp đơn giản, để con người tập trung vào việc xem xét kết quả, sửa các ví dụ phức tạp và duy trì tính nhất quán của dataset. Các model đa phương thức lớn cũng bắt đầu hướng người gán nhãn đến những sample không chắc chắn nhất, giúp công sức của con người được tập trung hơn và cải thiện chất lượng tổng thể của dataset.

Những điểm chính#

Thị giác máy tính giúp máy móc diễn giải và phản ứng với những gì chúng nhìn thấy, nhưng hoạt động hiệu quả nhất khi có chuyên môn của con người tham gia. Dữ liệu do con người gán nhãn giúp model bám sát các điều kiện thực tế và cải thiện độ tin cậy trong hiệu suất hoạt động. Khi automation và khả năng phán đoán của con người phối hợp song song, các team có thể xây dựng những hệ thống thị giác tạo ra tác động lớn.

Tham gia cộng đồng năng động của chúng tôi và khám phá những đổi mới như AI trong logistics và Vision AI trong robotics. Truy cập repository GitHub của chúng tôi để tìm hiểu thêm. Để bắt đầu với thị giác máy tính ngay hôm nay, hãy tham khảo các tùy chọn cấp phép.