Độ tin cậy giữa những người đánh giá: Định nghĩa, ví dụ, cách tính

Khi xây dựng model AI, chất lượng dữ liệu cũng quan trọng như các thuật toán phía sau model. Khi nhiều người cùng gán nhãn hoặc đánh giá một dữ liệu, chắc chắn sẽ có bất đồng. Điều này đúng với nhiều lĩnh vực, bao gồm nghiên cứu, y tế và giáo dục.

Đặc biệt, trong thị giác máy tính—một nhánh của AI liên quan đến huấn luyện các model như Ultralytics YOLO11 để diễn giải dữ liệu hình ảnh như ảnh hoặc video—các mẫu đã gán nhãn đóng vai trò thiết yếu. Nếu nhãn không nhất quán, các model thị giác máy tính có thể gặp khó khăn khi học đúng các mẫu hình.

Độ tin cậy giữa những người đánh giá (IRR) đo lường mức độ nhất quán trong sự đồng thuận của những cá nhân khác nhau, hay người gán nhãn, đối với một tác vụ. Chỉ số này giúp theo dõi tính nhất quán và xác định những điểm còn thiếu trong đào tạo, hướng dẫn hoặc diễn giải. Điều này đặc biệt quan trọng khi huấn luyện model tùy chỉnh, trong đó các model AI được xây dựng bằng dữ liệu cụ thể cho một mục đích nhất định.

Trong bài viết này, chúng ta sẽ tìm hiểu độ tin cậy giữa những người đánh giá là gì, cách đo lường và cách cải thiện chỉ số này trong các dự án thực tế. Bắt đầu thôi!

Độ tin cậy giữa những người đánh giá là gì?#

Độ tin cậy giữa những người đánh giá đo lường mức độ thường xuyên mà hai hoặc nhiều người (còn gọi là người đánh giá) đồng ý với nhau khi gán nhãn, chấm điểm hoặc xem xét cùng một nội dung. Chỉ số này được dùng để kiểm tra mức độ nhất quán khi những người đánh giá khác nhau áp dụng các tiêu chí đã cho. Mức độ đồng thuận cao cho thấy tác vụ được xác định rõ và dễ hiểu.

Khái niệm này được sử dụng trong nhiều lĩnh vực. Tùy theo lĩnh vực, khái niệm có thể được gọi bằng những tên khác nhau, chẳng hạn như mức độ đồng thuận giữa người đánh giá, độ tin cậy giữa những người quan sát hoặc độ tin cậy giữa những người mã hóa. Tuy nhiên, nguyên tắc cơ bản vẫn không đổi.

Trong AI thị giác, độ tin cậy giữa các người gán nhãn là một phần quan trọng của quy trình gán nhãn dữ liệu. Việc huấn luyện model thị giác máy tính thường đòi hỏi gán nhãn các dataset lớn gồm hình ảnh hoặc frame video, vì vậy nhiều người gán nhãn thường cùng làm việc trên một dữ liệu.

Để có kết quả chính xác, họ cần tuân theo cùng một hướng dẫn gán nhãn. Ví dụ, khi gán nhãn động vật, mọi người cần thống nhất rõ thế nào được xem là chó, cách vẽ bounding box quanh con vật và có nên gán nhãn hay bỏ qua các đối tượng bị nhòe.

Hình 1. Tìm hiểu độ tin cậy giữa những người đánh giá (Ảnh của tác giả)

Độ tin cậy giữa những người đánh giá, trong cùng một người đánh giá và độ tin cậy kiểm tra-lặp lại#

Khi con người tham gia gán nhãn hoặc chấm điểm dữ liệu, có ba loại độ tin cậy chính cần xem xét. Mỗi loại có mục đích riêng trong việc đo lường mức độ nhất quán của kết quả. Dưới đây là phần tìm hiểu chi tiết từng loại:

• Độ tin cậy giữa những người đánh giá: Loại độ tin cậy này xem xét mức độ đồng thuận giữa những người khác nhau cùng thực hiện một tác vụ. Đây là yếu tố đặc biệt hữu ích khi có nhiều người gán nhãn tham gia các dự án như gán nhãn ảnh, phân tích cảm xúc hoặc đánh giá y tế.
• Độ tin cậy trong cùng một người đánh giá: Loại này tập trung vào một người. Độ tin cậy trong cùng một người đánh giá kiểm tra xem người đó có nhất quán khi lặp lại cùng một tác vụ ở những thời điểm khác nhau hay không. Nếu nhãn thay đổi quá nhiều, nguyên nhân có thể là hướng dẫn chưa rõ ràng hoặc tác vụ chưa được xác định cụ thể.
• Độ tin cậy kiểm tra-lặp lại: Loại độ tin cậy này không tập trung vào người gán nhãn mà vào công cụ hoặc phương pháp được sử dụng. Chỉ số này đo lường xem kết quả có giống nhau khi lặp lại phép kiểm tra trong các điều kiện tương tự hay không. Nếu đầu ra vẫn nhất quán, phương pháp đó được xem là đáng tin cậy.

Kết hợp lại, các phép đo này giúp xác nhận rằng cả con người lẫn quy trình đều tạo ra kết quả ổn định và đáng tin cậy.

Hình 2. Tổng quan về độ tin cậy giữa người đánh giá, trong cùng người đánh giá và kiểm tra–kiểm tra lại (Ảnh của tác giả)

Tại sao độ tin cậy giữa những người đánh giá lại quan trọng?#

Trong các dự án AI thị giác quy mô lớn, chất lượng dữ liệu được gán nhãn ảnh hưởng trực tiếp đến hiệu suất của model. Ngay cả những khác biệt nhỏ trong cách người gán nhãn áp dụng hướng dẫn cũng có thể tạo ra sự không nhất quán, khiến model khó học trong quá trình huấn luyện. Theo thời gian, điều này có thể dẫn đến dự đoán không chính xác, lãng phí tài nguyên và phải gán nhãn lại với chi phí cao.

Đo lường độ tin cậy giữa những người đánh giá giúp phát hiện sớm các vấn đề này. Mức độ đồng thuận cao cho thấy những người gán nhãn có cách hiểu thống nhất, tạo ra dataset sạch hơn và đáng tin cậy hơn. Mức độ đồng thuận thấp là dấu hiệu cho thấy cần tinh chỉnh hướng dẫn, ví dụ hoặc hoạt động đào tạo trước khi tiếp tục dự án. Bằng cách đảm bảo người gán nhãn làm việc đồng bộ, các nhóm có thể xây dựng model AI học hiệu quả hơn và mang lại kết quả tốt hơn trong ứng dụng thực tế.

Các cân nhắc thực tiễn về độ tin cậy giữa những người đánh giá#

Dưới đây là một số cân nhắc thực tiễn quan trọng cần ghi nhớ khi làm việc với nhiều người đánh giá và hướng đến duy trì độ tin cậy cao giữa họ:

• Tác vụ mơ hồ hoặc chủ quan: Khi việc gán nhãn đòi hỏi diễn giải, chẳng hạn như xác định một vật thể mờ có phải là người đi bộ hay đánh giá chất lượng hình ảnh, nhiều người đánh giá sẽ giúp đảm bảo các quyết định nhất quán và không bị ảnh hưởng quá mức bởi thiên kiến cá nhân.
• Tác vụ đơn giản, khách quan: Những tác vụ rõ ràng như đếm số xe trong ảnh hoặc xác nhận một vật thể có xuất hiện hay không thường chỉ cần một người đánh giá được đào tạo bài bản, vì mức độ đồng thuận thường cao khi quy trình đã được xác định rõ.
• Hướng dẫn gán nhãn rõ ràng: Hướng dẫn chi tiết, dễ làm theo giúp giảm sự không chắc chắn về cách áp dụng nhãn, qua đó cải thiện mức độ đồng thuận giữa những người đánh giá. Hướng dẫn cần nêu rõ các trường hợp ngoại lệ để tránh diễn giải không nhất quán.
• Đào tạo và hiệu chuẩn định kỳ: Ngay cả những người đánh giá giàu kinh nghiệm cũng có thể dần thay đổi cách đưa ra nhận định theo thời gian. Các buổi đào tạo thường xuyên và hoạt động kiểm tra hiệu chuẩn giúp duy trì tính nhất quán và giảm thiểu thiên kiến của người thực hiện thí nghiệm.

Các phương pháp đo độ tin cậy giữa những người đánh giá#

Có một số cách đo độ tin cậy giữa các người gán nhãn, và lựa chọn phù hợp nhất phụ thuộc vào loại dữ liệu cũng như tác vụ. Một số phương pháp phù hợp với hai người đánh giá các câu hỏi có/không đơn giản, trong khi những phương pháp khác được thiết kế cho tình huống có nhiều người đánh giá.

Các phương pháp phổ biến gồm tỷ lệ đồng thuận, Kappa của Cohen, Kappa của Fleiss và hệ số tương quan nội lớp. Mỗi phương pháp đo mức độ đồng thuận giữa những người đánh giá; hầu hết các phương pháp cũng tính đến khả năng một phần đồng thuận có thể xảy ra ngẫu nhiên.

Kappa của Cohen và Kappa của Fleiss#

Kappa của Cohen là phương pháp được sử dụng rộng rãi để đo độ tin cậy giữa hai người đánh giá. Phương pháp này tính toán tần suất họ đồng thuận trong một tác vụ, đồng thời điều chỉnh theo khả năng một phần đồng thuận xảy ra do ngẫu nhiên. Điểm số nằm trong khoảng từ -1 đến 1; 1 biểu thị đồng thuận hoàn hảo, còn 0 nghĩa là mức đồng thuận không tốt hơn đoán ngẫu nhiên.

Tương tự, Fleiss’ Kappa được dùng khi có hơn hai người đánh giá. Phương pháp này cung cấp một điểm tổng thể cho biết mức độ nhất quán của nhóm. Cả hai phương pháp đều được dùng cho các tác vụ có danh mục cố định, chẳng hạn như gán nhãn ảnh hoặc gắn thẻ cảm xúc. Các phương pháp này dễ tính toán.

Tỷ lệ đồng thuận và hệ số tương quan nội lớp (ICC)#

Một cách khác để đo độ tin cậy giữa những người đánh giá là tỷ lệ đồng thuận, được tính bằng tỷ lệ phần trăm số lần những người đánh giá đưa ra cùng một quyết định. Phương pháp này dễ sử dụng nhưng không tính đến mức đồng thuận có thể xảy ra do ngẫu nhiên.

Trong khi đó, hệ số tương quan nội lớp là phương pháp nâng cao hơn, được dùng cho dữ liệu liên tục hoặc dữ liệu theo thang đo. Phương pháp này đo mức độ nhất quán giữa các đánh giá của nhiều người và thường được áp dụng trong nghiên cứu có điểm số, phép đo hoặc các loại dữ liệu khác ngoài danh mục cố định.

Ví dụ và ứng dụng của độ tin cậy giữa những người đánh giá#

Giờ đây, khi đã hiểu rõ hơn về cách đo độ tin cậy giữa những người đánh giá, hãy cùng tìm hiểu cách áp dụng các phương pháp này trong thực tế.

Độ tin cậy giữa những người đánh giá trong gán nhãn ảnh y tế#

Đối với ảnh y tế, ngay cả những khác biệt nhỏ trong cách diễn giải cũng có thể dẫn đến thay đổi đáng kể về kết quả. Chẳng hạn, bác sĩ chẩn đoán hình ảnh thường được yêu cầu xác định những dấu hiệu tinh tế, mơ hồ hoặc khó định nghĩa. Khi các dấu hiệu đó trở thành dữ liệu huấn luyện cho hệ thống AI, mức độ quan trọng càng cao. Nếu các chuyên gia gán nhãn khác nhau cho cùng một ảnh quét, model có thể học sai dấu hiệu hoặc hoàn toàn không học được.

Độ tin cậy giữa những người đánh giá giúp các nhóm xử lý loại dữ liệu này đánh giá mức độ nhất quán thực sự trong nhận định của chuyên gia. Ví dụ, trong một nghiên cứu gần đây tập trung vào ảnh chụp OCT võng mạc, hai người đánh giá đã gán nhãn 500 hình ảnh.

Mức độ đồng thuận cao đối với các đặc điểm rõ ràng như drusen (các lắng đọng màu vàng bên dưới võng mạc), với điểm kappa là 0,87. Tuy nhiên, đối với những yếu tố khó xác định hơn như ổ tăng phản xạ (các đốm nhỏ, sáng nhìn thấy trong ảnh quét võng mạc), điểm số giảm xuống còn 0,33. Điều này cho thấy các đặc điểm rõ ràng, được định nghĩa tốt thường tạo ra nhận định nhất quán hơn từ chuyên gia, trong khi những đặc điểm mơ hồ tạo nhiều dư địa hơn cho việc diễn giải.

Hình 3. Ví dụ về nhãn cho các đặc điểm khác nhau liên quan đến bệnh võng mạc (Nguồn)

Dataset dành cho xe tự hành và độ tin cậy giữa những người đánh giá#

Huấn luyện model AI cho hệ thống lái xe tự hành phụ thuộc vào nhãn chính xác, nhất quán trong nhiều điều kiện đường sá. Người gán nhãn tham gia các dự án như vậy thường được yêu cầu xác định người đi bộ, phương tiện, biển báo giao thông và vạch kẻ làn đường, thường trong điều kiện thiếu sáng hoặc khung cảnh đông đúc.

Các quyết định này định hình cách model học phản ứng trong môi trường thực tế khắc nghiệt. Độ tin cậy giữa những người đánh giá giúp các nhóm kiểm tra xem các nhãn có được áp dụng nhất quán giữa những người gán nhãn hay không.

Hình 4. Khảo sát những điểm bất đồng trong quá trình gán nhãn (Nguồn)

Ngoài độ tin cậy giữa những người đánh giá: Các biện pháp đảm bảo chất lượng khác#

Mặc dù đo lường độ tin cậy giữa những người đánh giá là bước quan trọng trong quá trình xây dựng giải pháp AI, đây chỉ là một phần của quy trình đảm bảo chất lượng rộng hơn. Dưới đây là một số thực hành khác có thể giúp cải thiện chất lượng dữ liệu trong các nhóm và dự án:

• Hướng dẫn gán nhãn rõ ràng: Hướng dẫn cần giải thích chính xác cách áp dụng nhãn để mọi người cùng tuân theo một tiêu chuẩn.
• Đào tạo và hiệu chuẩn: Các buổi định kỳ giúp người gán nhãn duy trì sự thống nhất, đồng thời tạo điều kiện để họ đặt câu hỏi và điều chỉnh cách xử lý các trường hợp ngoại lệ.
• Kiểm tra chất lượng thường xuyên: Việc kiểm tra ngẫu nhiên và các ví dụ chuẩn vàng có thể phát hiện lỗi sớm và duy trì chất lượng cao khi dự án mở rộng.
• Giải quyết bất đồng: Khi người gán nhãn không đồng thuận, cần có quy trình rõ ràng để xem xét các trường hợp đó và đưa ra quyết định cuối cùng.
• Nhóm người gán nhãn đa dạng: Sự tham gia của những người có xuất thân khác nhau có thể giảm thiên kiến và cải thiện mức độ đại diện của dataset đối với các biến thiên trong thế giới thực.

Điểm chính cần ghi nhớ#

Độ tin cậy giữa những người đánh giá đo lường mức độ nhất quán trong cách mọi người áp dụng nhãn hoặc đưa ra quyết định. Các phương pháp như Kappa của Cohen, Kappa của Fleiss và ICC giúp định lượng mức độ đồng thuận đó. Với hướng dẫn rõ ràng, hoạt động đào tạo và kiểm soát thiên kiến, chú thích đáng tin cậy sẽ tạo ra dữ liệu tốt hơn và cải thiện kết quả của model.

Tham gia cộng đồng của chúng tôi và khám phá repository GitHub của chúng tôi để tìm hiểu thêm về AI. Nếu bạn muốn bắt đầu dự án AI thị giác của riêng mình, hãy xem các tùy chọn cấp phép của chúng tôi. Bạn cũng có thể tìm hiểu cách AI trong chăm sóc sức khỏe và AI thị giác trong bán lẻ tạo ra tác động bằng cách truy cập các trang giải pháp của chúng tôi.