18 tháng 8, 2025
Tìm hiểu độ tin cậy giữa các người đánh giá, Cohen's Kappa, ICC, đào tạo tỷ lệ và tỷ lệ phần trăm đồng ý. Tìm hiểu cách các biện pháp thống kê này đảm bảo tính nhất quán và sự đồng ý giữa những người quan sát trong nghiên cứu và phân tích dữ liệu.
Khi bạn xây dựng một mô hình AI, chất lượng dữ liệu của bạn cũng quan trọng như các thuật toán đằng sau nó. Bất cứ khi nào nhiều người gắn nhãn hoặc xem xét cùng một dữ liệu, những bất đồng chắc chắn sẽ xảy ra. Điều này đúng trong nhiều lĩnh vực, bao gồm nghiên cứu, chăm sóc sức khỏe và giáo dục.
Đặc biệt, trong thị giác máy tính, một nhánh của AI liên quan đến việc huấn luyện các mô hình như Ultralytics YOLO11 để diễn giải dữ liệu trực quan như hình ảnh hoặc video, các ví dụ được gắn nhãn đóng một vai trò quan trọng. Nếu các nhãn đó không nhất quán, các mô hình thị giác máy tính có thể gặp khó khăn trong việc học các mẫu chính xác.
Độ tin cậy giữa các người đánh giá (Inter-rater reliability - IRR) đo lường mức độ nhất quán giữa các cá nhân hoặc người gắn nhãn khác nhau về một nhiệm vụ. Nó giúp theo dõi tính nhất quán và xác định các lỗ hổng trong quá trình đào tạo, hướng dẫn hoặc diễn giải. Điều này đặc biệt quan trọng trong quá trình huấn luyện mô hình tùy chỉnh, nơi các mô hình AI được xây dựng bằng cách sử dụng dữ liệu cụ thể cho một mục đích cụ thể.
Trong bài viết này, chúng ta sẽ khám phá độ tin cậy giữa các người đánh giá (inter-rater reliability) là gì, cách đo lường nó và cách cải thiện nó trong các dự án thực tế. Hãy cùng bắt đầu!
Độ tin cậy giữa các người đánh giá đo lường tần suất hai hoặc nhiều người (còn được gọi là người đánh giá) đồng ý khi gắn nhãn, xếp hạng hoặc xem xét cùng một nội dung. Nó được sử dụng để kiểm tra mức độ nhất quán của những người đánh giá khác nhau khi sử dụng các tiêu chí nhất định. Sự đồng ý cao giữa những người đánh giá có nghĩa là một nhiệm vụ được xác định rõ ràng và được hiểu rõ.
Khái niệm này được sử dụng trong các lĩnh vực khác nhau. Tùy thuộc vào lĩnh vực, nó được biết đến với những tên gọi khác nhau, chẳng hạn như thỏa thuận giữa các người đánh giá, độ tin cậy giữa những người quan sát hoặc độ tin cậy giữa những người mã hóa. Tuy nhiên, nguyên tắc cơ bản vẫn giống nhau.
Trong Vision AI, độ tin cậy giữa các người đánh giá (inter-rater reliability) là một phần quan trọng của quy trình gán nhãn dữ liệu. Huấn luyện các mô hình thị giác máy tính thường yêu cầu gán nhãn các tập dữ liệu lớn gồm hình ảnh hoặc khung hình video, vì vậy nhiều nhà phát triển AI làm việc cùng nhau trên cùng một dữ liệu.
Để có được kết quả chính xác, họ phải tuân theo các hướng dẫn ghi nhãn giống nhau. Ví dụ: khi ghi nhãn động vật, mọi người cần có thỏa thuận rõ ràng về những gì được coi là chó, cách vẽ hộp giới hạn xung quanh nó và có nên gắn nhãn hoặc bỏ qua các đối tượng bị mờ hay không.
Khi mọi người tham gia vào việc dán nhãn hoặc chấm điểm dữ liệu, có ba loại độ tin cậy chính cần xem xét. Mỗi loại phục vụ một mục đích khác nhau trong việc đo lường mức độ nhất quán của kết quả. Dưới đây là cái nhìn kỹ hơn về từng loại:
Cùng với nhau, các biện pháp này giúp xác nhận rằng cả con người và quy trình đều tạo ra kết quả ổn định và đáng tin cậy.
Trong các dự án Vision AI quy mô lớn, chất lượng của dữ liệu được gắn nhãn ảnh hưởng trực tiếp đến hiệu suất của mô hình. Ngay cả những khác biệt nhỏ trong cách người chú giải áp dụng hướng dẫn cũng có thể gây ra sự không nhất quán, gây nhầm lẫn cho mô hình trong quá trình huấn luyện. Theo thời gian, điều này có thể dẫn đến dự đoán không chính xác, lãng phí tài nguyên và cần gắn nhãn lại tốn kém.
Đo lường độ tin cậy giữa những người đánh giá giúp phát hiện sớm những vấn đề này. Sự đồng thuận cao có nghĩa là những người chú thích (annotator) đã thống nhất, tạo ra bộ dữ liệu sạch hơn và đáng tin cậy hơn. Sự đồng thuận thấp báo hiệu rằng các hướng dẫn, ví dụ hoặc đào tạo có thể cần được điều chỉnh trước khi dự án tiến triển. Bằng cách đảm bảo những người dán nhãn làm việc đồng bộ, các nhóm có thể xây dựng các mô hình AI học hỏi hiệu quả hơn và mang lại kết quả tốt hơn trong các ứng dụng thực tế.
Dưới đây là một số cân nhắc thực tế quan trọng cần ghi nhớ khi làm việc với nhiều người đánh giá và hướng đến duy trì độ tin cậy cao giữa những người đánh giá:
Có một số cách để đo lường độ tin cậy giữa các người đánh giá và lựa chọn tốt nhất phụ thuộc vào loại dữ liệu và tác vụ. Một số phương pháp hoạt động tốt cho những người đánh giá đơn lẻ xử lý các câu hỏi có/không đơn giản, trong khi những phương pháp khác được thiết kế cho các tình huống liên quan đến nhiều người đánh giá.
Các phương pháp phổ biến bao gồm phần trăm đồng ý (percent agreement), Cohen’s Kappa, Fleiss’ Kappa và hệ số tương quan nội lớp (intraclass correlation coefficient). Mỗi phương pháp đo lường mức độ đồng ý giữa những người đánh giá và tính đến khả năng một số thỏa thuận có thể xảy ra do may mắn.
Cohen’s Kappa là một phương pháp được sử dụng rộng rãi để đo lường độ tin cậy giữa các người đánh giá (inter-rater reliability) giữa hai người đánh giá. Nó tính toán tần suất họ đồng ý về một nhiệm vụ, đồng thời điều chỉnh cho khả năng một số thỏa thuận có thể xảy ra do may mắn. Điểm số dao động từ -1 đến 1, với 1 biểu thị sự đồng ý hoàn hảo và 0 có nghĩa là sự đồng ý không tốt hơn so với đoán ngẫu nhiên.
Tương tự, Fleiss’ Kappa được sử dụng khi có nhiều hơn hai người đánh giá tham gia. Nó cung cấp một điểm số tổng thể cho thấy mức độ nhất quán của nhóm. Cả hai phương pháp đều được sử dụng cho các tác vụ có các danh mục được thiết lập, chẳng hạn như gắn nhãn hình ảnh hoặc gắn thẻ cảm xúc. Chúng rất dễ tính toán và được hỗ trợ bởi hầu hết các công cụ chú thích.
Một cách khác để đo lường độ tin cậy giữa các người đánh giá là tỷ lệ phần trăm đồng ý, tính toán tỷ lệ phần trăm số lần người đánh giá đưa ra cùng một quyết định. Mặc dù đơn giản để sử dụng, nhưng nó không tính đến sự đồng ý có thể xảy ra do may mắn.
Trong khi đó, hệ số tương quan nội bộ (intraclass correlation coefficient) là một phương pháp nâng cao hơn được sử dụng cho dữ liệu liên tục hoặc dựa trên thang đo. Nó đo lường mức độ nhất quán của các đánh giá giữa nhiều người đánh giá và thường được áp dụng trong các nghiên cứu liên quan đến điểm số, phép đo hoặc các loại dữ liệu khác ngoài các danh mục cố định.
Bây giờ chúng ta đã hiểu rõ hơn về cách đo lường độ tin cậy giữa những người đánh giá, hãy cùng xem xét cách các phương pháp này có thể được sử dụng trong các ứng dụng thực tế.
Khi nói đến chẩn đoán hình ảnh y tế, ngay cả những khác biệt nhỏ trong cách giải thích cũng có thể dẫn đến những thay đổi đáng kể trong kết quả. Ví dụ: các bác sĩ радиологи thường được yêu cầu xác định các mẫu tinh vi, mơ hồ hoặc khó xác định. Khi những mẫu đó trở thành dữ liệu huấn luyện cho các hệ thống AI, rủi ro sẽ cao hơn. Nếu các chuyên gia dán nhãn cùng một bản quét khác nhau, mô hình có thể học các mẫu sai hoặc không học được gì cả.
Độ tin cậy giữa các người đánh giá giúp các nhóm xử lý dữ liệu như vậy đánh giá xem các đánh giá của chuyên gia thực sự nhất quán đến mức nào. Ví dụ: trong một nghiên cứu gần đây tập trung vào quét OCT võng mạc, hai người đánh giá đã gắn nhãn 500 hình ảnh.
Mức độ thống nhất cao đối với các đặc điểm rõ ràng như drusen (các chất lắng màu vàng dưới võng mạc), với điểm kappa là 0,87. Nhưng đối với các yếu tố khó xác định hơn như hyperreflective foci (các đốm nhỏ, sáng thấy trong ảnh quét võng mạc), điểm số giảm xuống 0,33. Điều này cho thấy rằng các đặc điểm rõ ràng, được xác định rõ hơn có xu hướng tạo ra các đánh giá nhất quán hơn từ các chuyên gia, trong khi những đặc điểm mơ hồ để lại nhiều dư địa hơn cho việc giải thích.
Huấn luyện các mô hình AI cho một hệ thống lái xe tự động phụ thuộc vào các nhãn chính xác, nhất quán trên một loạt các điều kiện đường xá. Người chú thích làm việc trên các dự án như vậy thường được yêu cầu xác định người đi bộ, phương tiện, biển báo giao thông và vạch kẻ đường, thường trong điều kiện ánh sáng kém hoặc cảnh đông đúc.
Những quyết định này định hình cách mô hình học cách phản hồi trong môi trường thực tế khắc nghiệt. Độ tin cậy giữa các người đánh giá (Inter-rater reliability) giúp các nhóm kiểm tra xem các nhãn đó có được áp dụng theo cùng một cách trên tất cả những người chú thích hay không.
Mặc dù đo lường độ tin cậy giữa những người đánh giá là một bước quan trọng trong việc xây dựng một giải pháp AI, nhưng nó là một phần của quy trình đảm bảo chất lượng rộng hơn. Dưới đây là một số phương pháp khác có thể giúp cải thiện chất lượng dữ liệu trên các nhóm và dự án:
Độ tin cậy giữa các người đánh giá đo lường mức độ nhất quán của mọi người khi áp dụng nhãn hoặc đưa ra quyết định. Các phương pháp như Cohen’s Kappa, Fleiss’ Kappa và ICC giúp định lượng sự đồng ý đó. Với các hướng dẫn rõ ràng, đào tạo và kiểm soát sai lệch, các chú thích đáng tin cậy sẽ dẫn đến dữ liệu mạnh hơn và kết quả mô hình tốt hơn.
Tham gia cộng đồng của chúng tôi và khám phá kho lưu trữ GitHub để tìm hiểu thêm về AI. Nếu bạn đang muốn bắt đầu dự án Vision AI của riêng mình, hãy xem các tùy chọn cấp phép của chúng tôi. Bạn cũng có thể xem AI trong lĩnh vực chăm sóc sức khỏe và Vision AI trong lĩnh vực bán lẻ đang tạo ra tác động như thế nào bằng cách truy cập các trang giải pháp của chúng tôi.
