الموثوقية بين المقيمين: التعريف، الأمثلة، الحسابات

عند بناء نموذج ذكاء اصطناعي، تكون جودة بياناتك بنفس أهمية الخوارزميات الكامنة وراءها. كلما قام عدة أشخاص بتصنيف أو مراجعة نفس البيانات، لا بد من حدوث خلافات. هذا صحيح في العديد من المجالات، بما في ذلك البحث، الرعاية الصحية، والتعليم.

ولا سيما في مجال الرؤية الحاسوبية، وهو فرع من الذكاء الاصطناعي يتضمن تدريب نماذج مثل Ultralytics YOLO11 لتفسير البيانات المرئية مثل الصور أو مقاطع الفيديو، تلعب الأمثلة الموسومة دورًا حاسمًا. وإذا كانت تلك التسميات غير متسقة، فقد تعاني نماذج الرؤية الحاسوبية في تعلم الأنماط الصحيحة.

تقيس موثوقية المقيمين (IRR) مدى اتساق أفراد مختلفين، أو مصنفين، في الاتفاق على مهمة ما. فهي تساعد في مراقبة الاتساق وتحديد الفجوات في التدريب، أو الإرشادات، أو التفسير. وهذا مهم بشكل خاص في تدريب النماذج المخصصة، حيث يتم بناء نماذج الذكاء الاصطناعي باستخدام بيانات محددة لغرض معين.

في هذه المقالة، سنستكشف ماهية موثوقية المقيمين، وكيفية قياسها، وكيفية تحسينها عبر مشاريع العالم الحقيقي. لنبدأ!

ما هي موثوقية المقيمين؟#

تقيس موثوقية المقيمين عدد المرات التي يتفق فيها شخصان أو أكثر (يُعرفون أيضاً بالمقيمين) عند تصنيف أو تقييم أو مراجعة نفس المحتوى. تُستخدم للتحقق من مدى اتساق المقيمين المختلفين في استخدام معايير محددة. يعني الاتفاق العالي بين المقيمين أن المهمة محددة جيداً ومفهومة بوضوح.

يُستخدم هذا المفهوم في مجالات مختلفة. اعتماداً على المجال، يُعرف بأسماء مختلفة، مثل اتفاق المقيمين، موثوقية المراقبين، أو موثوقية المبرمجين. ومع ذلك، يظل المبدأ الأساسي كما هو.

في مجال الذكاء الاصطناعي البصري، تُعد موثوقية المُقيّمين جزءًا أساسيًا من عملية تسمية البيانات. وغالبًا ما يتطلب تدريب نماذج الرؤية الحاسوبية تسمية مجموعات بيانات ضخمة من الصور أو إطارات الفيديو، ولهذا السبب يعمل العديد من مطوري الذكاء الاصطناعي على البيانات نفسها معًا.

للحصول على نتائج دقيقة، يجب عليهم اتباع نفس إرشادات التصنيف. على سبيل المثال، عند تصنيف الحيوانات، يحتاج الجميع إلى اتفاق واضح حول ما يُعد كلباً، وكيفية رسم مربع الإحاطة حوله، وما إذا كان يجب تصنيف الكائنات الضبابية أو تجاهلها.

الشكل 1. فهم موثوقية المقيمين (صورة من إعداد المؤلف)

موثوقية المقيمين مقابل موثوقية المقيم الواحد وموثوقية الاختبار وإعادة الاختبار#

عندما يشارك الأشخاص في تصنيف أو تسجيل البيانات، هناك ثلاثة أنواع رئيسية من الموثوقية يجب مراعاتها. يخدم كل منها غرضاً مختلفاً في قياس مدى اتساق النتائج. إليكم نظرة فاحصة على كل منها:

• موثوقية المقيمين: تنظر موثوقية المقيمين إلى مقدار الاتفاق الموجود بين أشخاص مختلفين يؤدون نفس المهمة. وهذا مفيد بشكل خاص عندما يشارك العديد من المصنفين في مشاريع مثل تصنيف الصور، تحليل المشاعر، أو المراجعات الطبية.

• موثوقية المقيم الواحد: تحول التركيز إلى شخص واحد. تتحقق موثوقية المقيم الواحد مما إذا كان المقيم يظل متسقاً عند تكرار نفس المهمة في أوقات مختلفة. إذا تغيرت التصنيفات كثيراً، فقد يكون ذلك نتيجة لإرشادات غير واضحة أو نقص في وضوح المهمة.

• موثوقية الاختبار وإعادة الاختبار: لا تركز موثوقية الاختبار وإعادة الاختبار على المصنف بل على الأداة أو الطريقة المستخدمة. فهي تقيس ما إذا كانت نفس النتيجة تظهر عند تكرار الاختبار في ظل ظروف مماثلة. إذا ظلت المخرجات متسقة، تُعتبر الطريقة موثوقة.

معاً، تساعد هذه المقاييس في التأكيد على أن كلاً من الأشخاص والعمليات ينتجون نتائج ثابتة وجديرة بالثقة.

الشكل 2. نظرة عامة على موثوقية المقيمين، وموثوقية المقيم الواحد، وموثوقية الاختبار وإعادة الاختبار (صورة من إعداد المؤلف)

لماذا تعتبر موثوقية المقيمين مهمة؟#

في مشاريع رؤية الذكاء الاصطناعي واسعة النطاق، تؤثر جودة البيانات المصنفة بشكل مباشر على مدى أداء النموذج. حتى الاختلافات الصغيرة في كيفية تطبيق المصنفين للإرشادات يمكن أن تؤدي إلى تناقضات تربك النموذج أثناء التدريب. بمرور الوقت، يمكن أن يؤدي ذلك إلى تنبؤات غير دقيقة، وإهدار الموارد، والحاجة إلى إعادة تصنيف مكلفة.

يساعد قياس موثوقية المُقيّمين في اكتشاف هذه المشكلات مبكرًا. ويعني التوافق العالي أن المُصنّفين متفقون، مما ينتج عنه مجموعات بيانات أنظف وأكثر موثوقية. بينما يشير التوافق المنخفض إلى أن التعليمات أو الأمثلة أو التدريب قد تحتاج إلى تنقيح قبل المضي قدمًا في المشروع. ومن خلال ضمان عمل المُصنّفين بتوافق تام، يمكن للفرق بناء نماذج ذكاء اصطناعي تتعلم بشكل أكثر فعالية وتحقق نتائج أفضل في التطبيقات الواقعية.

اعتبارات عملية لموثوقية المقيمين#

إليك بعض الاعتبارات العملية الرئيسية التي يجب وضعها في الاعتبار أثناء العمل مع مقيمين متعددين والسعي للحفاظ على موثوقية عالية بين المقيمين:

• المهام الغامضة أو الذاتية: عندما يتضمن التصنيف التفسير، مثل تحديد ما إذا كان كائن ضبابي هو أحد المشاة أو الحكم على جودة صورة ما، يساعد المقيمون المتعددون في ضمان أن القرارات متسقة ولا تتأثر بشكل مفرط بالتحيز الفردي.
• المهام البسيطة والموضوعية: غالبًا ما تتطلب المهام المباشرة مثل عد عدد السيارات في صورة ما أو التأكد من وجود كائن ما مقيّمًا واحدًا مدربًا جيدًا، نظرًا لأن التوافق يكون مرتفعًا عادةً بمجرد تحديد العملية بوضوح.
• إرشادات تصنيف واضحة: تقلل التعليمات المفصلة وسهلة المتابعة من عدم اليقين في كيفية تطبيق التصنيفات، مما يحسن الاتفاق عبر المقيمين. يجب أن تغطي الإرشادات بشكل صريح الحالات الطرفية لمنع التفسيرات غير المتسقة.
• التدريب والمعايرة الدورية: حتى المقيمون ذوو الخبرة يمكن أن تنحرف أحكامهم بمرور الوقت. تساعد جلسات التدريب المنتظمة وفحوصات المعايرة في الحفاظ على الاتساق وتقليل تحيز القائم بالتجربة.

مقاييس موثوقية المقيمين#

هناك عدة طرق لقياس موثوقية المقيمين، ويعتمد الخيار الأفضل على نوع البيانات والمهمة. تعمل بعض الطرق بشكل جيد مع المقيمين المنفردين الذين يتعاملون مع أسئلة بسيطة بـ "نعم" أو "لا"، بينما تم تصميم طرق أخرى للمواقف التي تنطوي على مقيمين متعددين.

تشمل النهج الشائعة نسبة الاتفاق، ومعامل كوهين كابا، وفليس كابا، ومعامل الارتباط داخل الفئة. تقيس كل طريقة مستوى الاتفاق بين المقيمين وتأخذ في الاعتبار احتمالية حدوث بعض الاتفاق عن طريق الصدفة.

كوهين كابا وفليس كابا#

يعتبر كوهين كابا طريقة مستخدمة على نطاق واسع لقياس موثوقية المقيمين بين اثنين من المقيمين. وهي تحسب عدد مرات اتفاقهما في مهمة ما، مع تعديل احتمالية أن يكون جزء من الاتفاق قد حدث عن طريق الصدفة. تتراوح الدرجات من -1 إلى 1، حيث تشير 1 إلى اتفاق تام و0 تعني أن الاتفاق لا يتجاوز التخمين العشوائي.

وبالمثل، يُستخدم معامل فليس (Fleiss’ Kappa) عندما يشارك أكثر من مقيّمَين. فهو يوفر درجة إجمالية توضح مدى اتساق المجموعة. وتُستخدم كلتا الطريقتين للمهام ذات الفئات المحددة، مثل تسمية الصور أو تصنيف المشاعر. وهي سهلة الحساب ومساندة من قِبل معظم أدوات التصنيف.

نسبة الاتفاق ومعامل الارتباط داخل الفئة (ICC)#

طريقة أخرى لقياس موثوقية المقيمين هي نسبة الاتفاق، التي تحسب النسبة المئوية للمرات التي يتخذ فيها المقيمون نفس القرار. وعلى الرغم من سهولة استخدامها، إلا أنها لا تأخذ في الاعتبار الاتفاق الذي قد يحدث عن طريق الصدفة.

وفي الوقت نفسه، يُعد معامل الارتباط داخل الفئة طريقة أكثر تقدماً تُستخدم للبيانات المستمرة أو القائمة على مقياس. فهو يقيس مدى اتساق التقييمات عبر مقيمين متعددين وغالباً ما يُطبق في الأبحاث التي تتضمن درجات، أو قياسات، أو أنواع بيانات أخرى تتجاوز الفئات الثابتة.

أمثلة وتطبيقات موثوقية المقيمين#

الآن بعد أن أصبح لدينا فهم أفضل لكيفية قياس موثوقية المقيمين، دعنا نستعرض كيف يمكن استخدام هذه الطرق في تطبيقات العالم الحقيقي.

موثوقية المقيمين في تصنيف التصوير الطبي#

وعندما يتعلق الأمر بـالتصوير الطبي، يمكن حتى لأصغر الاختلافات في التفسير أن تؤدي إلى تغييرات كبيرة في النتائج. على سبيل المثال، يُطلب غالبًا من أخصائيي الأشعة تحديد أنماط دقيقة، أو غامضة، أو يصعب تعريفها. وعندما تصبح تلك الأنماط بيانات تدريب لأنظمة الذكاء الاصطناعي، ترتفع المخاطر. فإذا قام الخبراء بتسمية نفس الفحص بشكل مختلف، فقد يتعلم النموذج الأنماط الخاطئة أو يفشل في التعلم تمامًا.

تساعد موثوقية المُقيّمين الفرق التي تتعامل مع مثل هذه البيانات على تقييم مدى اتساق أحكام الخبراء حقًا. على سبيل المثال، في دراسة حديثة ركزت على فض 500 صورة OCT شبكية، قام مقيِّمان بتسمية 500 صورة.

كان الاتفاق مرتفعاً بالنسبة للميزات الواضحة مثل التكلسات (ترسبات صفراء تحت الشبكية)، مع درجة كابا تبلغ 0.87. ولكن بالنسبة للعناصر التي يصعب تعريفها مثل البؤر فائقة الانعكاس (بقع صغيرة ومشرقة تظهر في مسوحات الشبكية)، انخفضت الدرجة إلى 0.33. يوضح هذا أن الميزات الأكثر وضوحاً وتحديداً تميل إلى إنتاج أحكام خبراء أكثر اتساقاً، بينما تترك الميزات الغامضة مجالاً أكبر للتفسير.

الشكل 3. أمثلة على التسميات لمختلف الميزات المتعلقة بأمراض الشبكية (المصدر)

مجموعات بيانات المركبات ذاتية القيادة وموثوقية المقيمين#

يعتمد تدريب نماذج الذكاء الاصطناعي لنظام القيادة الذاتية على تسميات دقيقة ومتسقة عبر نطاق واسع من ظروف الطرق. وعادةً ما يُطلب من المُصنّفين العاملين في مثل هذه المشاريع تحديد المشاة، والمركبات، وإشارات المرور، وعلامات الممرات، وغالبًا ما يتم ذلك في إضاءة ضعيفة أو مشاهد مزدحمة.

تشكل هذه القرارات كيفية تعلم النموذج للاستجابة في بيئات العالم الحقيقي القاسية. تجعل موثوقية المقيمين من الممكن للفرق التحقق مما إذا كانت تلك التصنيفات تُطبق بنفس الطريقة عبر المصنفين.

الشكل 4. نظرة على خلافات التصنيف (المصدر)

ما وراء موثوقية المقيمين: تدابير ضمان الجودة الأخرى#

في حين أن قياس موثوقية المُقيّمين يعد خطوة حاسمة في بناء حل ذكاء اصطناعي، إلا أنه جزء من عملية ضمان جودة أوسع نطاقًا. إليك بعض الممارسات الأخرى التي يمكن أن تساعد في تحسين جودة البيانات عبر الفرق والمشاريع:

• إرشادات تصنيف واضحة: يجب أن تشرح التعليمات بالضبط كيفية تطبيق التصنيفات بحيث يعمل الجميع وفقاً لنفس المعيار.
• التدريب والمعايرة: تساعد الجلسات المنتظمة المصنفين في البقاء على توافق وتمنحهم مساحة لطرح الأسئلة والتكيف مع الحالات الطرفية.
• فحوصات الجودة المستمرة: يمكن للفحوصات العشوائية وأمثلة المعايير الذهبية اكتشاف الأخطاء مبكراً والحفاظ على جودة عالية مع توسع المشروع.
• حل الخلافات: عندما يختلف المصنفون، يجب أن تكون هناك عملية واضحة لمراجعة تلك الحالات واتخاذ قرارات نهائية.
• مجموعة متنوعة من المصنفين: يمكن أن يؤدي إشراك أشخاص من خلفيات مختلفة إلى تقليل التحيز وتحسين مدى تمثيل مجموعة البيانات لتنوع العالم الحقيقي.

أبرز النقاط#

تقيس موثوقية المقيمين مدى اتساق الأشخاص في تطبيق التصنيفات أو اتخاذ القرارات. تساعد طرق مثل كوهين كابا، وفليس كابا، وICC في قياس هذا الاتفاق. مع وجود إرشادات واضحة، وتدريب، والتحكم في التحيز، تؤدي التصنيفات الموثوقة إلى بيانات أقوى ونتائج نماذج أفضل.

انضم إلى مجتمعنا واستكشف مستودع GitHub الخاص بنا لاكتشاف المزيد حول الذكاء الاصطناعي. إذا كنت تتطلع إلى بدء مشروعك الخاص في مجال الرؤية البسيطة بالذكاء الاصطناعي، فالرجاء التحقق من خيارات الترخيص الخاصة بنا. يمكنك أيضًا معرفة كيف يؤثر الذكاء الاصطناعي في الرعاية الصحية والرؤية الحاسوبية في قطاع التجزئة من خلال زيارة صفحات الحلول الخاصة بنا.