Hiểu lý do tại sao gắn nhãn có sự tham gia của con người (human-in-the-loop) là chìa khóa

Hai mươi năm trước, nếu ai đó nói họ đang nghĩ đến việc thuê một con robot để giúp việc nhà, điều đó nghe có vẻ rất xa vời. Tuy nhiên, chúng ta đang ở giữa cơn sốt AI và các robot đang được thử nghiệm trong những tình huống tương tự.

Một lĩnh vực cốt lõi của AI đang thúc đẩy tiến bộ này là computer vision, mang lại cho máy móc khả năng hiểu hình ảnh và video. Nói cách khác, các model computer vision như Ultralytics YOLO11 và Ultralytics YOLO26 sắp ra mắt có thể được huấn luyện trên các dataset bao gồm dữ liệu trực quan và các annotation.

Những chú thích này giúp model hiểu dữ liệu hình ảnh. Ví dụ, các tập dữ liệu object detection sử dụng bounding box để vẽ hình chữ nhật xung quanh các đối tượng quan tâm. Điều này cho phép model phát hiện và định vị các đối tượng đó trong hình ảnh mới, ngay cả khi cảnh bị lộn xộn hoặc đối tượng bị che khuất một phần.

Các tác vụ computer vision khác phụ thuộc vào các loại chú thích khác nhau. Các tập dữ liệu segmentation gắn nhãn đường viền chính xác của một đối tượng ở cấp độ pixel, trong khi các tập dữ liệu keypoint đánh dấu các điểm mốc cụ thể như các khớp trên cơ thể người.

Tuy nhiên, trên tất cả các định dạng này, một yếu tố quan trọng là chất lượng và tính nhất quán của các nhãn. Model học trực tiếp từ dữ liệu mà chúng được huấn luyện, vì vậy nếu các nhãn không nhất quán hoặc sai, model thường sẽ mang những lỗi đó vào các dự đoán của nó.

Ngay cả khi có tự động hóa, các dataset được gán nhãn thủ công vẫn đóng vai trò rất quan trọng, đặc biệt trong các lĩnh vực rủi ro cao như medical imaging. Các lỗi gán nhãn nhỏ, chẳng hạn như ranh giới khối u không chính xác hoặc bỏ sót một bất thường, có thể dạy cho model các pattern sai lệch và dẫn đến các dự đoán không an toàn về sau. Các chuyên gia con người cung cấp ground truth chính xác và khả năng phán đoán mà các ứng dụng này yêu cầu.

Hình 1. Cần có các tập dữ liệu do con người chú thích. Hình ảnh của tác giả.

Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn lý do tại sao dữ liệu do con người chú thích lại cần thiết, ngay cả khi AI tiếp tục tiến bộ.

Nhu cầu về chú thích hình ảnh và video#

Các model computer vision học tập rất giống chúng ta, bằng cách quan sát nhiều ví dụ. Điểm khác biệt là chúng học thông qua quá trình huấn luyện trên các datasets of images lớn và video được con người gán nhãn từ trước. Các nhãn đó đóng vai trò là ground truth, dạy cho model những khái niệm như đây là người đi bộ, đây là ranh giới của khối u, hoặc vật thể đó là ô tô.

Hình ảnh trong thế giới thực hiếm khi sạch sẽ hoặc nhất quán. Ánh sáng có thể thay đổi và làm cho cùng một đối tượng trông khác đi. Mọi người và phương tiện có thể chồng chéo hoặc bị che khuất một phần. Phông nền có thể bận rộn và gây mất tập trung. Khi các tập dữ liệu bao gồm các nhãn cẩn thận, nhất quán trong những tình huống này, các model sẽ được chuẩn bị tốt hơn nhiều cho những gì chúng sẽ đối mặt ngoài các môi trường được kiểm soát.

Data annotation không chỉ đơn thuần là vẽ hộp hay dò theo đường viền. Công việc này bao gồm việc áp dụng các hướng dẫn và đưa ra các quyết định thực tế về những gì được tính là đối tượng, vị trí ranh giới của đối tượng đó, và cách xử lý khi có điểm chưa rõ ràng. Sự phán đoán của con người giúp dữ liệu luôn chính xác và có thể sử dụng được.

Cuối cùng, một hệ thống computer vision chỉ hoạt động tốt như dữ liệu được gắn nhãn mà nó học được. Trong các ứng dụng có tác động lớn như phát hiện ung thư trong ảnh quét hoặc phát hiện các mối nguy hiểm trên đường cho xe tự lái, các nhãn chính xác từ những người có kỹ năng tạo ra sự khác biệt thực sự về độ chính xác và an toàn.

Sự gia tăng của tự động hóa trong chú thích dữ liệu#

Khi computer vision mở rộng và các tập dữ liệu phát triển, tự động hóa đang trở thành một cách phổ biến để tăng tốc độ chú thích. Thay vì gắn nhãn mọi thứ bằng tay, các nhóm sử dụng các model AI để tạo ra lượt nhãn đầu tiên.

Sau đó, con người xem xét kết quả, sửa lỗi và xử lý các trường hợp mà model không thể gắn nhãn với độ tin cậy. Cách tiếp cận này tăng tốc độ chú thích trong khi vẫn giữ chất lượng cao.

Dưới đây là một vài cách tự động hóa thường hỗ trợ chú thích dữ liệu:

• Auto segmentation: Các model có thể tự động đề xuất các đường viền đối tượng hoặc mask ở cấp độ pixel, giúp giảm khối lượng công việc vẽ theo thủ công mà các annotator cần thực hiện.
• Optical flow tracking: Đối với video, các phương pháp theo dõi có thể theo dõi một đối tượng đang di chuyển qua các khung hình và chuyển nhãn của nó về phía trước, giúp giữ cho các chú thích nhất quán theo thời gian.
• Frame interpolation: Các công cụ có thể điền các nhãn cho các khung hình giữa hai khung hình đã được gắn nhãn bằng cách sử dụng các tín hiệu chuyển động và theo dõi, vì vậy các annotator không phải gắn nhãn mọi khung hình.
• Active learning: Các pipeline huấn luyện có thể xác định các ví dụ mà model cảm thấy không chắc chắn hoặc bất thường và gửi chúng cho con người trước, để nỗ lực thủ công tập trung vào dữ liệu cải thiện hiệu suất nhiều nhất.

Tại sao việc chú thích dữ liệu bởi con người vẫn rất quan trọng#

Mặc dù tự động hóa có thể tăng tốc độ gắn nhãn, các model AI vẫn cần sự đánh giá của con người để duy trì độ chính xác và tin cậy.

Dưới đây là một số lĩnh vực quan trọng mà chuyên môn của con người tạo ra tác động trong việc chú thích dữ liệu:

• Hiểu bối cảnh: Hình ảnh và video thực tế thường lộn xộn. Bóng đổ, phản chiếu, nhòe do chuyển động và các đối tượng chồng chéo có thể gây nhầm lẫn cho các công cụ tự động. Các annotator con người có thể hiểu những gì đang thực sự xảy ra, vì vậy các nhãn sẽ chính xác hơn.
• Giữ cho các nhãn nhất quán: Khi các tập dữ liệu phát triển, các nhãn tự động có thể bị trôi hoặc khác biệt giữa các lô. Con người có thể kiểm tra, sửa chữa và căn chỉnh các nhãn để tập dữ liệu luôn nhất quán từ đầu đến cuối.
• Giảm thiểu định kiến và tác hại: Mọi người giỏi hơn trong việc phát hiện nội dung nhạy cảm, sắc thái văn hóa và các mô hình có thể tạo ra định kiến. Sự giám sát của họ giúp làm cho các tập dữ liệu công bằng hơn và tránh những tác hại ngoài ý muốn.
• Áp dụng chuyên môn về chủ đề: Một số tác vụ cần kiến thức chuyên môn, chẳng hạn như xác định các bất thường về y tế hoặc lỗi công nghiệp. Các chuyên gia có thể cung cấp các nhãn chính xác và giải quyết các trường hợp mơ hồ để model học được các chi tiết đúng.

Tổng quan về chú thích human-in-the-loop#

Các công cụ và nền tảng annotation như Roboflow tích hợp tự động hóa để đẩy nhanh quá trình gán nhãn, thường bằng cách sử dụng các foundation model như Segment Anything Model 3 hoặc SAM3. SAM3 là foundation model phân đoạn có khả năng nhận prompt của Meta AI.

Nó có thể phát hiện, phân đoạn và theo dõi các đối tượng trong hình ảnh và video từ các lời nhắc đơn giản như nhấp chuột, bounding box hoặc các cụm từ ngắn, tạo ra các mask segmentation cho các đối tượng phù hợp mà không cần huấn luyện riêng cho từng danh mục mới.

Ngay cả với những phương pháp tiên tiến này, các chuyên gia con người vẫn cần thiết để xem xét và hoàn thiện các chú thích. Khi các công cụ tự động tạo ra bản thảo đầu tiên và con người xác minh, sửa chữa và tinh chỉnh nó, quy trình làm việc đó được gọi là chú thích human-in-the-loop. Điều này giữ cho quá trình chú thích nhanh chóng trong khi đảm bảo các nhãn cuối cùng đủ chính xác và nhất quán để huấn luyện các model đáng tin cậy.

Hình 2. Góc nhìn về annotation có con người trong vòng lặp (human-in-the-loop). (Nguồn)

Khi nào tự động hóa chú thích hoạt động và khi nào không#

Chú thích tự động hoạt động tốt nhất cho dữ liệu đến từ những nơi được kiểm soát. Hình ảnh được thu thập trong các nhà máy, nhà kho hoặc lối đi bán lẻ thường có ánh sáng ổn định và tầm nhìn rõ ràng về các đối tượng, vì vậy các công cụ tự động có thể gắn nhãn chúng chính xác và giúp các nhóm mở rộng quy mô nhanh hơn với ít công việc thủ công hơn.

Dữ liệu từ những nơi ít được kiểm soát hơn phức tạp hơn. Cảnh quay ngoài trời thay đổi theo thời gian trong ngày và thời tiết, và các cảnh từ đường phố hoặc nhà cửa thường bao gồm sự lộn xộn, nhòe do chuyển động, các đối tượng chặn lẫn nhau và rất nhiều sự chồng chéo. Các đối tượng nhỏ, ranh giới mỏng hoặc các tình huống hiếm gặp làm tăng thêm khả năng xảy ra lỗi. Một model hoạt động tốt trên dữ liệu trong nhà sạch sẽ vẫn có thể gặp khó khăn trên các hình ảnh thực tế lộn xộn.

Đó là lý do tại sao sự can thiệp của con người vẫn quan trọng. Mọi người có thể can thiệp khi model không chắc chắn, diễn giải bối cảnh khó hiểu và sửa lỗi trước khi chúng đi vào tập dữ liệu cuối cùng. Chú thích human-in-the-loop giúp tự động hóa luôn bám sát các điều kiện thực tế và giữ cho các model đáng tin cậy sau khi triển khai.

Chú thích human-in-the-loop có thể tạo ra sự khác biệt ở đâu?#

Bây giờ chúng ta đã thấy nơi tự động hóa hoạt động tốt và nơi nó còn thiếu sót, hãy khám phá một vài ứng dụng nơi chú thích human-in-the-loop đóng một vai trò quan trọng.

Phát hiện lỗi trong sản xuất#

Hãy xem xét một băng chuyền nhà máy nơi hàng trăm bộ phận đi qua dưới máy ảnh mỗi phút. Hầu hết các khiếm khuyết đều rõ ràng, nhưng đôi khi, một vết nứt nhỏ xuất hiện ở một góc lạ hoặc dưới ánh sáng chói. Một hệ thống tự động có thể bỏ lỡ nó hoặc gắn nhãn nó là kết cấu bề mặt vô hại, nhưng một người đánh giá có thể phát hiện ra lỗi, sửa chú thích và đảm bảo model học được sự khác biệt.

Đó là vai trò của chú thích human-in-the-loop trong kiểm tra công nghiệp. Tự động hóa có thể gắn nhãn trước các loại lỗi phổ biến và xử lý nhanh khối lượng lớn hình ảnh, nhưng con người vẫn cần xác minh kết quả, thắt chặt ranh giới và xử lý các lỗi hiếm gặp không xuất hiện thường xuyên trong quá trình huấn luyện.

Xe tự lái và giao thông thông minh#

Tương tự, các phương tiện tự lái sử dụng computer vision để phát hiện người đi bộ, đọc biển báo và điều hướng giao thông, nhưng các con đường thực tế là không thể đoán trước. Ví dụ, một người đi bộ bước ra từ phía sau một chiếc ô tô đang đỗ vào ban đêm có thể bị che khuất một phần và khó nhìn thấy dưới ánh sáng chói.

Hình 3. Ví dụ về việc sử dụng computer vision để phân tích giao thông. (Nguồn)

Các annotator con người có thể gắn nhãn những trường hợp biên hiếm gặp, quan trọng về an toàn này trong quá trình huấn luyện để các model học được phản ứng đúng, không chỉ trong điều kiện bình thường mà còn trong những khoảnh khắc quan trọng nhất. Bước human-in-the-loop này là chìa khóa để dạy cho các hệ thống xử lý các sự kiện tần suất thấp mà khó nắm bắt được bằng tự động hóa đơn thuần.

Con đường phía trước cho các tập dữ liệu do con người chú thích#

Annotation có con người trong vòng lặp đang ngày càng trở nên mang tính cộng tác hơn theo sự phát triển của công nghệ. Thật thú vị, vision language models (VLM), những model học từ cả hình ảnh và văn bản, hiện đang được sử dụng để tạo ra lượt gán nhãn đầu tiên và đề xuất các chỉnh sửa từ các prompt đơn giản.

Vì vậy, thay vì quét thủ công từng hình ảnh để quyết định những gì cần gắn nhãn, một annotator có thể nhắc lệnh VLM với một cụm từ như "gắn nhãn tất cả người đi bộ, ô tô và đèn giao thông" hoặc "phân đoạn tất cả các lỗi trên bộ phận này" và nhận một bộ chú thích dự thảo để xem xét.

Hình 4. Large multimodal model có thể làm việc cùng với các chuyên gia gán nhãn dữ liệu (Nguồn)

Điều này làm giảm thời gian chú thích vì model có thể xử lý nhiều trường hợp đơn giản ngay từ đầu, để con người có thể tập trung vào việc xem xét kết quả, sửa các ví dụ khó và giữ cho tập dữ liệu nhất quán. Các model đa phương thức lớn cũng bắt đầu hướng dẫn các annotator đến các mẫu không chắc chắn nhất, giúp nỗ lực của con người trở nên có mục tiêu hơn và cải thiện chất lượng tập dữ liệu tổng thể.

Các điểm chính cần lưu ý#

Computer vision giúp máy móc diễn giải và phản ứng với những gì chúng nhìn thấy, nhưng nó hoạt động tốt nhất với chuyên môn của con người trong vòng lặp. Dữ liệu do con người chú thích giữ cho các model bám sát các điều kiện thực tế và cải thiện mức độ đáng tin cậy khi chúng hoạt động. Với tự động hóa và sự đánh giá của con người song hành, các nhóm có thể xây dựng các hệ thống tầm nhìn có tác động.

Tham gia community năng động của chúng tôi và khám phá các đổi mới như AI in logistics và Vision AI in robotics. Ghé thăm GitHub repository của chúng tôi để khám phá thêm. Để bắt đầu với computer vision ngay hôm nay, hãy xem các licensing options của chúng tôi.