موثوقية الاتفاق بين المقيمين: التعريف والأمثلة والحسابات

عند بناء نموذج للذكاء الاصطناعي، تكون جودة بياناتك مهمة بقدر أهمية الخوارزميات التي تقف وراءه. وعندما يضع عدة أشخاص تسميات للبيانات نفسها أو يراجعونها، فلا بد أن تحدث اختلافات. وينطبق ذلك على مجالات عديدة، منها البحث والرعاية الصحية والتعليم.

ولا سيما في الرؤية الحاسوبية، وهي فرع من الذكاء الاصطناعي يتضمن تدريب نماذج مثل Ultralytics YOLO11 لتفسير البيانات المرئية، مثل الصور أو مقاطع الفيديو، تؤدي الأمثلة الموسومة دورًا محوريًا. وإذا كانت هذه التسميات غير متسقة، فقد تواجه نماذج الرؤية الحاسوبية صعوبة في تعلم الأنماط الصحيحة.

تقيس موثوقية بين المقيمين (IRR) مدى اتفاق الأفراد المختلفين، أو واضعي التسميات، باستمرار بشأن مهمة معينة. وتساعد على مراقبة الاتساق وتحديد الثغرات في التدريب أو الإرشادات أو التفسير. وتكتسب هذه الموثوقية أهمية خاصة في تدريب النماذج المخصصة، حيث تُبنى نماذج الذكاء الاصطناعي باستخدام بيانات محددة لغرض معين.

سنستكشف في هذه المقالة ماهية موثوقية بين المقيمين، وكيفية قياسها، وسبل تحسينها في مختلف المشاريع الواقعية. فلنبدأ!

ما موثوقية بين المقيمين؟#

تقيس موثوقية بين المقيمين عدد المرات التي يتفق فيها شخصان أو أكثر، ويُعرفون أيضًا باسم المقيمين، عند وضع تسميات للمحتوى نفسه أو تقييمه أو مراجعته. وتُستخدم للتحقق من مدى اتساق استخدام المقيمين المختلفين للمعايير المحددة. ويعني ارتفاع مستوى الاتفاق بين المقيمين أن المهمة محددة جيدًا ومفهومة بوضوح.

يُستخدم هذا المفهوم في مجالات مختلفة. ويُعرف بأسماء متعددة تبعًا للمجال، مثل الاتفاق بين المقيمين، أو موثوقية بين المراقبين، أو موثوقية بين المرمّزين. إلا أن المبدأ الأساسي يظل واحدًا.

في مجال الذكاء الاصطناعي للرؤية، تُعد موثوقية بين المقيمين جزءًا أساسيًا من عملية وضع تسميات البيانات. وغالبًا ما يتطلب تدريب نماذج الرؤية الحاسوبية وضع تسميات لمجموعات بيانات ضخمة من الصور أو إطارات الفيديو، ولذلك يعمل مطورون متعددون للذكاء الاصطناعي على البيانات نفسها معًا.

وللحصول على نتائج دقيقة، يجب عليهم اتباع إرشادات وضع التسميات نفسها. فعلى سبيل المثال، عند وضع تسميات للحيوانات، يحتاج الجميع إلى اتفاق واضح بشأن ما يُعد كلبًا، وكيفية رسم مربع الإحاطة حوله، وما إذا كان ينبغي وضع تسمية للكائنات الضبابية أو تجاهلها.

الشكل 1. فهم موثوقية بين المقيمين (الصورة من إعداد المؤلف)

موثوقية بين المقيمين مقابل موثوقية داخل المقيم وموثوقية الاختبار وإعادة الاختبار#

عندما يشارك أشخاص في وضع تسميات للبيانات أو تسجيل درجاتها، فهناك ثلاثة أنواع رئيسية من الموثوقية ينبغي أخذها في الاعتبار. ويخدم كل نوع غرضًا مختلفًا في قياس مدى اتساق النتائج. فيما يلي نظرة أقرب على كل منها:

• موثوقية بين المقيمين: تبحث موثوقية بين المقيمين في مقدار الاتفاق بين أشخاص مختلفين يؤدون المهمة نفسها. وتفيد هذه الموثوقية خصوصًا عند مشاركة عدة واضعي تسميات في مشاريع مثل وضع تسميات للصور، أو تحليل المشاعر، أو المراجعات الطبية.

• موثوقية داخل المقيم: تنقل التركيز إلى شخص واحد. وتتحقق موثوقية داخل المقيم من بقاء المقيم متسقًا عند تكرار المهمة نفسها في أوقات مختلفة. وإذا تغيرت التسميات بدرجة كبيرة، فقد يكون ذلك نتيجة إرشادات غير واضحة أو غموض في المهمة.

• موثوقية الاختبار وإعادة الاختبار: لا تركز موثوقية الاختبار وإعادة الاختبار على واضع التسميات، بل على الأداة أو الطريقة المستخدمة. وهي تقيس ما إذا كانت النتيجة نفسها تظهر عند تكرار الاختبار في ظروف متشابهة. وإذا ظل الناتج متسقًا، عُدّت الطريقة موثوقة.

تساعد هذه المقاييس مجتمعةً على التأكد من أن الأشخاص والعمليات ينتجون نتائج ثابتة وجديرة بالثقة.

الشكل 2. نظرة عامة على موثوقية بين المقيمين وموثوقية داخل المقيم وموثوقية الاختبار وإعادة الاختبار (الصورة من إعداد المؤلف)

لماذا تُعد موثوقية بين المقيمين مهمة؟#

في مشاريع الذكاء الاصطناعي للرؤية واسعة النطاق، تؤثر جودة البيانات الموسومة مباشرةً في أداء النموذج. وحتى الاختلافات الصغيرة في طريقة تطبيق واضعي التسميات للإرشادات قد تُدخل حالات من عدم الاتساق تربك النموذج أثناء التدريب. ومع مرور الوقت، قد يؤدي ذلك إلى تنبؤات غير دقيقة، وهدر الموارد، والحاجة إلى إعادة وضع التسميات بتكلفة مرتفعة.

يساعد قياس موثوقية بين المقيمين على اكتشاف هذه المشكلات مبكرًا. ويعني الاتفاق المرتفع أن واضعي التسميات متوافقون، وينتجون مجموعات بيانات أنظف وأكثر موثوقية. أما الاتفاق المنخفض فيشير إلى أن التعليمات أو الأمثلة أو التدريب قد تحتاج إلى تحسين قبل المضي في المشروع. ومن خلال ضمان عمل واضعي التسميات بانسجام، تستطيع الفرق بناء نماذج ذكاء اصطناعي تتعلم بفاعلية أكبر وتقدم نتائج أفضل في التطبيقات الواقعية.

اعتبارات عملية لموثوقية بين المقيمين#

فيما يلي بعض الاعتبارات العملية الرئيسية التي ينبغي وضعها في الحسبان عند العمل مع مقيمين متعددين والسعي إلى الحفاظ على مستوى مرتفع من موثوقية بين المقيمين:

• المهام الغامضة أو الذاتية: عندما يتضمن وضع التسميات تفسيرًا، مثل تحديد ما إذا كان كائن ضبابي أحد المشاة أو الحكم على جودة صورة، يساعد تعدد المقيمين على ضمان اتساق القرارات وعدم تأثرها بشدة بالتحيز الفردي.
• المهام البسيطة والموضوعية: غالبًا ما تتطلب المهام المباشرة، مثل عدّ عدد السيارات في صورة أو التأكد من وجود كائن، مقيمًا واحدًا مدربًا جيدًا فقط، إذ يكون الاتفاق مرتفعًا عادةً بمجرد تحديد العملية بوضوح.
• إرشادات واضحة لوضع التسميات: تقلل التعليمات المفصلة والسهلة الاتباع من عدم اليقين بشأن كيفية تطبيق التسميات، مما يحسن الاتفاق بين المقيمين. وينبغي أن تغطي الإرشادات الحالات الحدية صراحةً لمنع التفسيرات غير المتسقة.
• التدريب والمعايرة الدورية: قد ينحرف حتى المقيمون ذوو الخبرة في أحكامهم بمرور الوقت. وتساعد جلسات التدريب المنتظمة وفحوصات المعايرة على الحفاظ على الاتساق وتقليل تحيز القائم بالتجربة.

مقاييس موثوقية بين المقيمين#

توجد عدة طرق لقياس موثوقية بين المقيمين، ويعتمد الاختيار الأفضل على نوع البيانات والمهمة. وتناسب بعض الأساليب المقيمين المنفردين الذين يتعاملون مع أسئلة بسيطة بنعم أو لا، بينما صُممت أساليب أخرى للحالات التي يشارك فيها مقيمون متعددون.

تشمل الأساليب الشائعة نسبة الاتفاق، وكابا كوهين، وكابا فليس، ومعامل الارتباط داخل الفئة. ويقيس كل أسلوب مستوى الاتفاق بين المقيمين، ويأخذ في الحسبان احتمال حدوث بعض الاتفاق بمحض الصدفة.

كابا كوهين وكابا فليس#

تُعد كابا كوهين طريقة شائعة الاستخدام لقياس موثوقية بين مقيمين اثنين. وتحسب عدد المرات التي يتفقان فيها بشأن مهمة ما، مع ضبط احتمال حدوث بعض الاتفاق بمحض الصدفة. وتتراوح الدرجات بين -1 و1، حيث تشير 1 إلى اتفاق تام، ويعني 0 أن الاتفاق ليس أفضل من التخمين العشوائي.

وبالمثل، تُستخدم كابا فليس عند مشاركة أكثر من مقيمين اثنين. وتوفر درجة إجمالية توضح مدى اتساق المجموعة. ويُستخدم كلا الأسلوبين في المهام ذات الفئات المحددة، مثل وضع تسميات للصور أو وسم المشاعر. كما يسهل حسابهما وتدعمهما معظم أدوات وضع التسميات.

نسبة الاتفاق ومعامل الارتباط داخل الفئة (ICC)#

ثمة طريقة أخرى لقياس موثوقية بين المقيمين، وهي نسبة الاتفاق التي تحسب النسبة المئوية للمرات التي يتخذ فيها المقيمون القرار نفسه. وعلى الرغم من سهولة استخدامها، فإنها لا تأخذ في الحسبان الاتفاق الذي قد يحدث بمحض الصدفة.

في المقابل، يُعد معامل الارتباط داخل الفئة طريقة أكثر تقدمًا تُستخدم مع البيانات المستمرة أو القائمة على المقاييس. ويقيس مدى اتساق التقييمات بين مقيمين متعددين، وغالبًا ما يُطبق في الأبحاث التي تتضمن درجات أو قياسات أو أنواعًا أخرى من البيانات تتجاوز الفئات الثابتة.

أمثلة وتطبيقات على موثوقية بين المقيمين#

بعد أن أصبح لدينا فهم أفضل لكيفية قياس موثوقية بين المقيمين، فلنستعرض كيفية استخدام هذه الأساليب في التطبيقات الواقعية.

موثوقية بين المقيمين في وضع تسميات للصور الطبية#

عند التعامل مع التصوير الطبي، يمكن حتى للاختلافات الطفيفة في التفسير أن تؤدي إلى تغيرات كبيرة في النتائج. فعلى سبيل المثال، غالبًا ما يُطلب من أطباء الأشعة تحديد أنماط دقيقة أو غامضة أو يصعب تعريفها. وعندما تصبح هذه الأنماط بيانات تدريب لأنظمة الذكاء الاصطناعي، تكون المخاطر أكبر. وإذا وضع الخبراء تسميات مختلفة للفحص نفسه، فقد يتعلم النموذج الأنماط الخاطئة أو يفشل في التعلم تمامًا.

تساعد موثوقية بين المقيمين الفرق التي تتعامل مع هذه البيانات على تقييم مدى اتساق أحكام الخبراء فعلًا. فعلى سبيل المثال، في دراسة حديثة ركزت على فحوصات OCT للشبكية، وضع مقيمان تسميات لـ500 صورة.

كان الاتفاق مرتفعًا بالنسبة إلى السمات الواضحة مثل الدروزن (ترسبات صفراء تحت الشبكية)، إذ بلغت درجة كابا 0.87. لكن بالنسبة إلى العناصر الأصعب تعريفًا، مثل البؤر فائقة الانعكاس (نقاط صغيرة ومضيئة تظهر في فحوصات الشبكية)، انخفضت الدرجة إلى 0.33. ويوضح ذلك أن السمات الأوضح والأكثر تحديدًا تميل إلى إنتاج أحكام خبراء أكثر اتساقًا، بينما تترك السمات الغامضة مجالًا أكبر للتفسير.

الشكل 3. أمثلة على تسميات لسمات مختلفة مرتبطة بأمراض الشبكية (المصدر)

مجموعات بيانات المركبات ذاتية القيادة وموثوقية بين المقيمين#

يعتمد تدريب نماذج الذكاء الاصطناعي لنظام القيادة الذاتية على تسميات دقيقة ومتسقة عبر مجموعة واسعة من ظروف الطرق. ويُطلب عادةً من واضعي التسميات العاملين في هذه المشاريع تحديد المشاة والمركبات وإشارات المرور وعلامات المسارات، وغالبًا في ظروف إضاءة سيئة أو مشاهد مزدحمة.

تشكل هذه القرارات الطريقة التي يتعلم بها النموذج الاستجابة في البيئات القاسية الواقعية. وتجعل موثوقية بين المقيمين من الممكن للفرق التحقق من تطبيق تلك التسميات بالطريقة نفسها بين واضعي التسميات.

الشكل 4. نظرة على اختلافات وضع التسميات (المصدر)

ما بعد موثوقية بين المقيمين: تدابير أخرى لضمان الجودة#

مع أن قياس موثوقية بين المقيمين خطوة حاسمة في بناء حل للذكاء الاصطناعي، فإنه يمثل جزءًا من عملية أوسع لضمان الجودة. فيما يلي بعض الممارسات الأخرى التي يمكن أن تساعد على تحسين جودة البيانات عبر الفرق والمشاريع:

• إرشادات واضحة لوضع التسميات: ينبغي أن توضح التعليمات بالضبط كيفية تطبيق التسميات، بحيث يعمل الجميع وفق معيار واحد.
• التدريب والمعايرة: تساعد الجلسات المنتظمة واضعي التسميات على الحفاظ على التوافق، وتمنحهم فرصة لطرح الأسئلة والتكيف مع الحالات الحدية.
• فحوصات الجودة المستمرة: يمكن للفحوصات العشوائية والأمثلة المعيارية الذهبية اكتشاف الأخطاء مبكرًا والحفاظ على جودة عالية مع توسع المشروع.
• حل الاختلافات: عند اختلاف واضعي التسميات، ينبغي أن تكون هناك عملية واضحة لمراجعة تلك الحالات واتخاذ القرارات النهائية.
• تنوع مجموعة واضعي التسميات: يمكن لإشراك أشخاص من خلفيات مختلفة تقليل التحيز وتحسين مدى تمثيل مجموعة البيانات للتنوع في العالم الواقعي.

أهم النقاط المستخلصة#

تقيس موثوقية بين المقيمين مدى اتساق تطبيق الأشخاص للتسميات أو اتخاذهم للقرارات. وتساعد أساليب مثل كابا كوهين وكابا فليس وICC على قياس ذلك الاتفاق كميًا. ومع وجود إرشادات واضحة وتدريب وضبط للتحيز، تؤدي التسميات الموثوقة إلى بيانات أقوى ونتائج أفضل للنماذج.

انضم إلى مجتمعنا واستكشف مستودع GitHub الخاص بنا لمعرفة المزيد عن الذكاء الاصطناعي. وإذا كنت تتطلع إلى بدء مشروعك الخاص في مجال الذكاء الاصطناعي للرؤية، فاطّلع على خيارات الترخيص لدينا. ويمكنك أيضًا الاطلاع على كيفية إحداث الذكاء الاصطناعي في الرعاية الصحية والذكاء الاصطناعي للرؤية في قطاع التجزئة أثرًا من خلال زيارة صفحات حلولنا.