موثوقية الاتفاق بين المقيمين: التعريف والأمثلة والحسابات

عند بناء نموذج للذكاء الاصطناعي، لا تقل جودة بياناتك أهمية عن الخوارزميات التي يستند إليها النموذج. ومن الطبيعي أن تنشأ اختلافات كلما قام عدة أشخاص بتصنيف البيانات نفسها أو مراجعتها. وينطبق ذلك على مجالات كثيرة، منها البحث والرعاية الصحية والتعليم.

وفي الرؤية الحاسوبية على وجه الخصوص، وهي فرع من الذكاء الاصطناعي يتضمن تدريب نماذج مثل Ultralytics YOLO11 على تفسير البيانات المرئية كالصور ومقاطع الفيديو، تؤدي الأمثلة المشروحة دورًا حاسمًا. فإذا كانت تلك التسميات غير متسقة، فقد تواجه نماذج الرؤية الحاسوبية صعوبة في تعلّم الأنماط الصحيحة.

يقيس موثوقية التقييم بين المقيمين (IRR) مدى اتساق اتفاق أشخاص مختلفين، أو واضعي التسميات، على مهمة ما. ويساعد ذلك على مراقبة الاتساق وتحديد الثغرات في التدريب أو الإرشادات أو التفسير. وتكتسب هذه الموثوقية أهمية خاصة عند تدريب النماذج المخصصة، حيث تُبنى نماذج الذكاء الاصطناعي باستخدام بيانات محددة لغرض معين.

في هذا المقال، سنستكشف ماهية موثوقية التقييم بين المقيمين، وكيفية قياسها، وسبل تحسينها في المشاريع الواقعية. لنبدأ!

ما موثوقية التقييم بين المقيمين؟#

تقيس موثوقية التقييم بين المقيمين مدى اتفاق شخصين أو أكثر، يُعرفون أيضًا بالمقيّمين، عند تصنيف المحتوى نفسه أو تقييمه أو مراجعته. وتُستخدم للتحقق من مدى اتساق استخدام المقيمين المختلفين للمعايير المحددة. ويعني ارتفاع مستوى الاتفاق بين المقيمين أن المهمة محددة جيدًا ومفهومة بوضوح.

يُستخدم هذا المفهوم في مجالات مختلفة، ويُعرف بمسميات متعددة بحسب المجال، مثل الاتفاق بين المقيمين، وموثوقية الملاحظة بين المراقبين، وموثوقية الترميز بين المرمّزين. غير أن المبدأ الأساسي يظل واحدًا.

في الذكاء الاصطناعي للرؤية، تُعد موثوقية الاتفاق بين المقيمين جزءًا أساسيًا من عملية وسم البيانات. وغالبًا ما يتطلب تدريب نماذج الرؤية الحاسوبية وسم مجموعات بيانات ضخمة من الصور أو إطارات الفيديو، لذا يعمل عدة معلّقين على البيانات نفسها.

للحصول على نتائج دقيقة، يتعين عليهم اتباع إرشادات التصنيف نفسها. فعلى سبيل المثال، عند تصنيف الحيوانات، ينبغي أن يتفق الجميع بوضوح على ما يُعد كلبًا، وكيفية رسم مربع الإحاطة حوله، وما إذا كان ينبغي تصنيف الأجسام الضبابية أو تجاهلها.

الشكل 1. فهم موثوقية التقييم بين المقيمين (الصورة من إعداد المؤلف)

الموثوقية بين المقيمين وداخل المقيم الواحد وموثوقية الاختبار وإعادة الاختبار#

عندما يشارك أشخاص في تصنيف البيانات أو تسجيل درجاتها، توجد ثلاثة أنواع رئيسية من الموثوقية ينبغي مراعاتها. ويؤدي كل نوع غرضًا مختلفًا في قياس مدى اتساق النتائج. وفيما يلي نظرة أقرب على كل نوع:

• الموثوقية بين المقيمين: تقيس الموثوقية بين المقيمين مدى الاتفاق بين أشخاص مختلفين يؤدون المهمة نفسها. وتفيد هذه الموثوقية على وجه الخصوص عند مشاركة عدة معلّقين في مشاريع مثل تصنيف الصور، وتحليل المشاعر، والمراجعات الطبية.
• الموثوقية داخل المقيم الواحد: ينصب التركيز هنا على شخص واحد. وتتحقق هذه الموثوقية مما إذا كان المقيم يحافظ على اتساقه عند تكرار المهمة نفسها في أوقات مختلفة. وإذا تغيرت التسميات كثيرًا، فقد يعزى ذلك إلى غموض الإرشادات أو عدم وضوح المهمة.
• موثوقية الاختبار وإعادة الاختبار: لا تركز موثوقية الاختبار وإعادة الاختبار على المعلّق، بل على الأداة أو الأسلوب المستخدم. وهي تقيس ما إذا كانت النتيجة نفسها تظهر عند تكرار الاختبار في ظروف متشابهة. فإذا ظل الناتج متسقًا، عُدّ الأسلوب موثوقًا.

تساعد هذه المقاييس مجتمعةً على التأكد من أن الأشخاص والعمليات ينتجون نتائج ثابتة وجديرة بالثقة.

الشكل 2. نظرة عامة على موثوقية الاتفاق بين المقيمين، وموثوقية المقيم الواحد، وموثوقية الاختبار وإعادة الاختبار (الصورة من إعداد المؤلف)

ما أهمية موثوقية الاتفاق بين المقيمين؟#

في مشاريع الذكاء الاصطناعي للرؤية واسعة النطاق، تؤثر جودة البيانات الموسومة مباشرةً في أداء النموذج. حتى الاختلافات البسيطة في تطبيق المعلّقين للإرشادات قد تؤدي إلى تناقضات تربك النموذج أثناء التدريب. ومع مرور الوقت، قد ينتج عن ذلك تنبؤات غير دقيقة، وهدر للموارد، والحاجة إلى إعادة وسم مكلفة.

يساعد قياس موثوقية الاتفاق بين المقيمين على اكتشاف هذه المشكلات مبكرًا. ويعني ارتفاع مستوى الاتفاق أن المعلّقين متوافقون، ما ينتج مجموعات بيانات أنقى وأكثر موثوقية. أما انخفاض الاتفاق فيشير إلى ضرورة تحسين التعليمات أو الأمثلة أو التدريب قبل المضي قدمًا في المشروع. ومن خلال ضمان تناغم عمل موسمي البيانات، تستطيع الفرق بناء نماذج ذكاء اصطناعي تتعلم بفاعلية أكبر وتحقق نتائج أفضل في التطبيقات الواقعية.

اعتبارات عملية لموثوقية الاتفاق بين المقيمين#

فيما يلي بعض الاعتبارات العملية الأساسية التي ينبغي مراعاتها عند العمل مع عدة مقيمين والسعي إلى الحفاظ على مستوى عالٍ من موثوقية الاتفاق بينهم:

• المهام الملتبسة أو الذاتية: عندما يتطلب الوسم تفسيرًا، مثل تحديد ما إذا كان جسم ضبابي أحد المشاة أو تقييم جودة صورة، يساعد تعدد المقيمين على ضمان اتساق القرارات وعدم تأثرها بإفراط بالتحيز الفردي.
• المهام البسيطة والموضوعية: غالبًا ما تتطلب المهام المباشرة، مثل عدّ عدد السيارات في صورة أو التحقق من وجود كائن، مُقيِّمًا واحدًا مدرّبًا جيدًا فحسب، إذ يكون الاتفاق مرتفعًا عادةً متى حُدِّدت العملية بوضوح.
• إرشادات واضحة للوسم: تقلل التعليمات المفصلة والسهلة الاتباع الغموض في كيفية تطبيق الوسوم، ما يحسن الاتفاق بين المقيمين. وينبغي أن تغطي الإرشادات الحالات الحدّية صراحةً لتجنب التفسيرات المتباينة.
• التدريب والمعايرة الدوريان: قد تتغير أحكام المقيمين ذوي الخبرة بمرور الوقت. ويساعد التدريب المنتظم وفحوصات المعايرة على الحفاظ على الاتساق والحد من تحيز القائمين على التجربة.

مقاييس موثوقية الاتفاق بين المقيمين#

توجد طرق عدة لقياس موثوقية الاتفاق بين المقيمين، ويتوقف الخيار الأفضل على نوع البيانات والمهمة. وتناسب بعض الأساليب مقيمين اثنين يتعاملان مع أسئلة بسيطة بنعم أو لا، بينما صُممت أساليب أخرى لحالات تشمل عدة مقيمين.

تشمل الأساليب الشائعة نسبة الاتفاق، وكابا كوهين، وكابا فليس، ومعامل الارتباط داخل الفئات. ويقيس كل أسلوب مستوى الاتفاق بين المقيمين، كما يأخذ معظمها في الحسبان احتمال وقوع بعض الاتفاق بالمصادفة.

مقياس كابا لكوهين ومقياس كابا لفليس#

يُستخدم مقياس كابا لكوهين على نطاق واسع لقياس موثوقية الاتفاق بين مقيمين اثنين. ويحسب مدى اتفاقهما في المهمة، مع ضبط احتمال حدوث بعض الاتفاق بالمصادفة. وتتراوح الدرجات من -1 إلى 1؛ إذ تشير 1 إلى اتفاق تام، بينما تعني 0 أن الاتفاق لا يتجاوز مستوى التخمين العشوائي.

وبالمثل، يُستخدم معامل كابا لفليس عند إشراك أكثر من مُقيِّمَين. ويقدّم درجة إجمالية توضّح مدى اتساق المجموعة. وتُستخدم الطريقتان للمهام ذات الفئات المحددة، مثل وسم الصور أو تصنيف المشاعر. ويسهل حسابهما.

نسبة الاتفاق ومعامل الارتباط داخل الفئات (ICC)#

ومن طرق قياس موثوقية الاتفاق بين المقيمين أيضًا نسبة الاتفاق، التي تحسب النسبة المئوية للمرات التي يتخذ فيها المقيمون القرار نفسه. ورغم سهولة استخدامها، فإنها لا تراعي الاتفاق الذي قد يحدث بالمصادفة.

أما معامل الارتباط داخل الفئات فهو أسلوب أكثر تقدمًا يُستخدم مع البيانات المستمرة أو القائمة على المقاييس. ويقيس مدى اتساق التقييمات بين عدة مقيمين، ويُستخدم غالبًا في الأبحاث التي تشمل درجات أو قياسات أو أنواعًا أخرى من البيانات غير المحصورة في فئات ثابتة.

أمثلة على موثوقية الاتفاق بين المقيمين وتطبيقاتها#

بعد أن فهمنا على نحو أفضل كيفية قياس موثوقية الاتفاق بين المقيمين، لنستعرض كيفية استخدام هذه الأساليب في التطبيقات الواقعية.

موثوقية الاتفاق بين المقيمين في التعليق التوضيحي للصور الطبية#

في التصوير الطبي، قد تؤدي حتى الاختلافات الطفيفة في التفسير إلى تغييرات كبيرة في النتائج. فعلى سبيل المثال، يُطلب من اختصاصيي الأشعة غالبًا تحديد أنماط دقيقة أو ملتبسة أو يصعب تعريفها. وعندما تصبح هذه الأنماط بيانات تدريب لأنظمة الذكاء الاصطناعي، ترتفع أهمية دقة الوسم. فإذا صنّف الخبراء الصورة المقطعية نفسها بطرق مختلفة، فقد يتعلم النموذج أنماطًا خاطئة أو يعجز عن التعلم تمامًا.

تساعد موثوقية الاتفاق بين المقيمين الفرق التي تتعامل مع هذه البيانات على تقييم مدى اتساق أحكام الخبراء فعليًا. فعلى سبيل المثال، صنّف مقيمان 500 صورة في دراسة حديثة ركزت على فحوصات OCT للشبكية.

كان الاتفاق مرتفعًا بشأن السمات الواضحة مثل الدروزن (ترسبات صفراء تحت الشبكية)، إذ بلغ مقياس كابا 0.87. لكن الدرجة انخفضت إلى 0.33 بالنسبة إلى العناصر الأصعب تحديدًا، مثل البؤر مفرطة الانعكاس (نقاط صغيرة ساطعة تظهر في صور الشبكية). ويوضح ذلك أن السمات الأوضح والأكثر تحديدًا تميل إلى إنتاج أحكام خبراء أكثر اتساقًا، بينما تتيح السمات الملتبسة مجالًا أوسع للتفسير.

الشكل 3. أمثلة على وسوم لسمات مختلفة مرتبطة بأمراض الشبكية (المصدر)

مجموعات بيانات المركبات ذاتية القيادة وموثوقية الاتفاق بين المقيمين#

يعتمد تدريب نماذج الذكاء الاصطناعي لنظام القيادة الذاتية على وسوم دقيقة ومتسقة في مجموعة واسعة من ظروف الطرق. ويُطلب عادةً من المعلّقين العاملين على هذه المشاريع تحديد المشاة والمركبات وإشارات المرور وخطوط المسارات، غالبًا في ظروف إضاءة ضعيفة أو مشاهد مزدحمة.

تؤثر هذه القرارات في كيفية تعلم النموذج للاستجابة في البيئات الواقعية القاسية. وتتيح موثوقية الاتفاق بين المقيمين للفرق التحقق مما إذا كانت الوسوم تُطبّق بالطريقة نفسها لدى جميع المعلّقين.

الشكل 4. نظرة على الاختلافات في التعليق التوضيحي (المصدر)

ما وراء موثوقية الاتفاق بين المقيمين: تدابير أخرى لضمان الجودة#

مع أن قياس موثوقية الاتفاق بين المقيمين خطوة أساسية في بناء حل للذكاء الاصطناعي، فإنه جزء من عملية أوسع لضمان الجودة. وفيما يلي ممارسات أخرى يمكن أن تساعد على تحسين جودة البيانات عبر الفرق والمشاريع:

• إرشادات واضحة للتعليق التوضيحي: ينبغي أن توضّح التعليمات بدقة كيفية تطبيق التسميات كي يعمل الجميع وفق المعيار نفسه.
• التدريب والمعايرة: تساعد الجلسات المنتظمة المعلّقين على الحفاظ على التوافق، وتتيح لهم فرصة طرح الأسئلة والتكيف مع الحالات الحدّية.
• فحوصات الجودة المستمرة: يمكن للفحوصات الموضعية وأمثلة المعيار الذهبي اكتشاف الأخطاء مبكرًا والحفاظ على جودة عالية مع توسع المشروع.
• حل الخلافات: عند اختلاف المعلّقين، ينبغي وجود إجراء واضح لمراجعة هذه الحالات واتخاذ القرارات النهائية.
• مجموعة متنوعة من المعلّقين: يمكن أن تساعد مشاركة أشخاص من خلفيات مختلفة على الحد من التحيز وتحسين تمثيل مجموعة البيانات للتنوع الواقعي.

أبرز النقاط#

تقيس موثوقية الاتفاق بين المقيمين مدى اتساق الأشخاص في تطبيق الوسوم أو اتخاذ القرارات. وتساعد أساليب مثل مقياس كابا لكوهين، ومقياس كابا لفليس، وICC على قياس هذا الاتفاق كميًا. ومع وضوح الإرشادات والتدريب وضبط التحيز، تؤدي التعليقات التوضيحية الموثوقة إلى بيانات أقوى ونتائج أفضل للنماذج.

انضم إلى مجتمعنا واستكشف مستودع GitHub للتعرف على المزيد عن الذكاء الاصطناعي. وإذا كنت تتطلع إلى بدء مشروعك الخاص في الذكاء الاصطناعي للرؤية، فاطّلع على خيارات الترخيص لدينا. ويمكنك أيضًا الاطلاع على أثر الذكاء الاصطناعي في الرعاية الصحية والذكاء الاصطناعي للرؤية في قطاع البيع بالتجزئة عبر صفحات حلولنا.