الدقة مقابل الصحة مقابل الاستدعاء في تعلّم الآلة

التعلم الآلي (ML) فرع من الذكاء الاصطناعي (AI) يركز على إنشاء أنظمة تتعلم من البيانات. ويؤدي دورًا محوريًا في مجالات أخرى كثيرة من الذكاء الاصطناعي، منها الرؤية الحاسوبية، حيث تفسر الآلات الصور، ومعالجة اللغة الطبيعية، حيث تفهم اللغة البشرية وتنتجها.

غالبًا ما تستخدم نماذج الذكاء الاصطناعي هذه تقنيات التعلم العميق لإجراء تنبؤات استنادًا إلى البيانات. ومع أن هذه الأنظمة قد تكون فعالة للغاية، فإنها لا تنتج تنبؤات صحيحة دائمًا. فقد تكون بعض المخرجات دقيقة، بينما تخطئ أخرى الهدف.

يُعد فهم كيفية حدوث هذه الأخطاء جزءًا أساسيًا من تقييم أداء النموذج. ولقياس الأداء، يمكننا استخدام مقاييس تقييم النماذج.

تشمل مقاييس التقييم الشائعة الدقة (الصحة الإجمالية)، والإحكام (موثوقية التنبؤات الإيجابية)، والاستدعاء (مدى نجاح النموذج في تحديد الحالات الإيجابية الفعلية). وقد تبدو هذه المقاييس متشابهة للوهلة الأولى، لكن كلًا منها يركز على جانب مختلف من سلوك النموذج.

في هذه المقالة، سنلقي نظرة فاحصة على كل مقياس من مقاييس أداء نماذج الذكاء الاصطناعي هذه. وسنستكشف أيضًا كيفية ارتباط هذه المقاييس بعضها ببعض وكيفية اختيار المقياس الأنسب لحالة الاستخدام.

أهمية مقاييس تقييم النماذج في التعلم الآلي#

قد يبدو نموذج التعلّم الآلي وكأنه يحقق أداءً جيدًا في البداية. لكن من دون مقاييس التقييم المناسبة، يصعب فهم مدى دقة نتائجه. توفر هذه المقاييس إطارًا لتقييم النموذج وتساعد في الإجابة عن سؤال أساسي: هل تنبؤات النموذج مفيدة وموثوقة لمهمة معينة؟

توفر مقاييس مثل الدقة والإحكام والاستدعاء لمطوري الذكاء الاصطناعي طريقة واضحة لقياس مدى نجاح النموذج. فعلى سبيل المثال، عند مقارنة نماذج مختلفة، تتيح هذه المقاييس معرفة النموذج الأفضل أداءً لمهمة محددة. وهي تساعد على تقييم الأداء وتوجيه اختيار النموذج الأنسب لأهداف مشروع الذكاء الاصطناعي.

الشكل 1. سير عمل تدريب النموذج وتقييمه (المصدر)

تجعل هذه المقاييس أيضًا مقارنات الأداء أكثر موضوعية. فبدلًا من الاعتماد على التخمين أو الملاحظات غير المكتملة، تقدم رؤى قابلة للقياس حول سلوك النموذج في مواقف مختلفة. وبذلك، توضح جوانب الأداء الأهم في كل سياق.

فعلى سبيل المثال، يعتمد اختيار المقياس غالبًا على التطبيق. في تطبيقات الذكاء الاصطناعي في الرعاية الصحية، يكون الاستدعاء مهمًا لأن الهدف هو تحديد أكبر عدد ممكن من الحالات الإيجابية، حتى إذا صُنفت بعض الحالات السلبية خطأً. وعلى النقيض من ذلك، قد يعطي مرشح البريد العشوائي أولوية للإحكام لتجنب تصنيف الرسائل الإلكترونية المشروعة على أنها بريد عشوائي.

مصفوفة الالتباس: أساس مقاييس التصنيف#

في التصنيف الثنائي، تُعد مصفوفة الالتباس جدولًا من صفين وعمودين، وهي أساسية لتقييم نماذج الذكاء الاصطناعي. وتنظم التنبؤات في أربع فئات من خلال مقارنة النتائج الفعلية بالنتائج المتوقعة (الإجابات التي يقدمها النموذج).

توفر هذه المقارنة عرضًا تفصيليًا لأداء النموذج. كما تشكل أساسًا لمقاييس التقييم الرئيسية، مثل الإحكام والاستدعاء، التي تُحسب مباشرةً من قيم المصفوفة.

تمثل صفوف الجدول الفئات الفعلية، وتمثل أعمدته الفئات المتوقعة. وتعرض كل خلية عدد النتائج في تلك الفئة. ببساطة، توضح المصفوفة عدد التنبؤات الصحيحة وأنواع الأخطاء التي ارتكبها النموذج.

تكون مصفوفة الالتباس مفيدة بوجه خاص عندما تكون البيانات غير متوازنة، أي عندما تحتوي بعض الفئات على أمثلة أكثر بكثير من غيرها. كما أنها مفيدة عندما تختلف تكلفة أنواع الأخطاء.

فعلى سبيل المثال، يُعد كشف الاحتيال أمرًا بالغ الأهمية، لكن تصنيف المعاملات الحقيقية خطأً قد يسبب مشكلات أيضًا. وتوضح المصفوفة عدد مرات حدوث كل نوع من الأخطاء.

عناصر مصفوفة الالتباس#

فيما يلي نظرة عامة على العناصر المختلفة في مصفوفة الالتباس:

• إيجابي حقيقي (TP): عندما يتنبأ النموذج على نحو صحيح بحالة إيجابية، تُسجّل على أنها إيجابي حقيقي. فعلى سبيل المثال، يصنّف نموذج رؤية حاسوبية مركبةً في صورة تصنيفًا صحيحًا.
• سلبي حقيقي (TN): يحدث السلبي الحقيقي عندما يحدد النموذج حالة سلبية تحديدًا صحيحًا. فعلى سبيل المثال، يصنّف نموذج لتصفية البريد رسالة عادية على أنها ليست بريدًا عشوائيًا.
• الإيجابي الكاذب (FP): يصدر النموذج إيجابيًا كاذبًا عندما يتنبأ خطأً بنتيجة إيجابية لعينة تكون سلبية في الواقع. ويُعرف ذلك أيضًا بخطأ النوع الأول، وقد يحدث عندما يصنف نظام كشف الاحتيال معاملة سليمة على أنها احتيالية.
• السلبي الكاذب (FN): يُسجَّل السلبي الكاذب عندما يعجز النموذج عن اكتشاف حالة إيجابية ويتنبأ بها خطأً على أنها سلبية. ويُعرف ذلك أيضًا بخطأ النوع الثاني، وقد يحدث عندما تفوت أداة تشخيصية مرضًا لدى مريض مصاب به بالفعل.

الشكل 2. عناصر مصفوفة الالتباس (المصدر)

التمثيل المرئي لمصفوفة الالتباس وتفسيرها#

تُعرض مصفوفة الالتباس على هيئة شبكة. ويُظهر المحور الرأسي الفئات الفعلية، بينما يُظهر المحور الأفقي الفئات المتوقعة. وتظهر التنبؤات الصحيحة على القطر، ممثلةً الإيجابيات الحقيقية والسلبيات الحقيقية.

تقع الأخطاء خارج القطر، وتشمل الإيجابيات الكاذبة والسلبيات الكاذبة. ويسهّل هذا التنظيم اكتشاف نقاط القوة والضعف.

ما الدقة في التعلم الآلي؟#

تُعد الدقة أحد أكثر المقاييس استخدامًا لتقييم أداء نموذج التعلم الآلي. وهي تقيس مدى صحة التنبؤات عبر جميع الفئات. بعبارة أخرى، تجيب عن سؤال بسيط: كم تنبؤًا صحيحًا قدم نموذج الذكاء الاصطناعي من بين جميع تنبؤاته؟

تُحسب الدقة بقسمة عدد التنبؤات الصحيحة (التي تشمل الإيجابيات الحقيقية والسلبيات الحقيقية) على إجمالي عدد التنبؤات. ويسهل حساب الدقة وفهمها، ما يجعلها نقطة بداية شائعة لتقييم النماذج.

تكون الدقة موثوقة عمومًا عند التعامل مع مجموعات البيانات المتوازنة. لكنها قد تكون مضللة في مجموعات البيانات غير المتوازنة، حيث تهيمن فئة واحدة على غيرها. وقد يحقق نموذج يتنبأ دائمًا بالفئة ذات الأغلبية درجة دقة مرتفعة، مع إخفاقه في اكتشاف الفئات الأقلية الأخرى.

فعلى سبيل المثال، في مجموعة بيانات للصور لا تحتوي إلا على عدد قليل من الصور التي يظهر فيها مشاة، قد يحقق نموذج يتنبأ بعبارة «لا يوجد مشاة» لكل صورة دقة مرتفعة، لكنه يعجز تمامًا عن اكتشاف المشاة الموجودين فعلًا.

ويرجع ذلك إلى أن الدقة وحدها لا توضح أنواع الأخطاء التي يرتكبها النموذج أو عدد مرات حدوثها. لذلك من المهم أيضًا النظر إلى مقاييس مثل الإحكام والاستدعاء لفهم مدى نجاح نموذج الذكاء الاصطناعي فهمًا كاملًا.

نظرة معمقة على الإحكام: الحد من الإنذارات الكاذبة#

يُعد الإحكام مقياسًا رئيسيًا للتقييم يقيس دقة التنبؤات الإيجابية للنموذج. ويجيب عن السؤال التالي: من بين جميع الحالات التي تنبأ النموذج بأنها إيجابية، كم حالة كانت صحيحة؟

تُحسب قيمة الإحكام بقسمة عدد الإيجابيات الحقيقية على مجموع الإيجابيات الحقيقية والإيجابيات الكاذبة. ويكتسب الإحكام أهمية خاصة عندما يكون التنبؤ الإيجابي مكلفًا إذا اتضح أنه خاطئ.

الشكل 3. مقارنة الدقة والإحكام. (المصدر)

فعلى سبيل المثال، قد يصنّف نموذج منخفض الإحكام في كشف الاحتيال كثيرًا من المعاملات الصحيحة على أنها احتيالية، ما يسبب مشكلات غير ضرورية للمستخدمين وفرق الدعم. ويحد النموذج ذو الإحكام المرتفع من هذا الخطر، إذ يضمن أن تكون المعاملات التي يشير إليها أكثر احتمالًا لأن تكون احتيالية فعلًا.

مع أن ارتفاع الإحكام أمر جيد، فإن النماذج التي تركز عليه أكثر من اللازم قد تصبح شديدة الانتقائية، فتفوّت حالات إيجابية فعلية. لذلك غالبًا ما يُراجع مقياس الإحكام إلى جانب الاستدعاء للحفاظ على توازن الأداء.

ما الاستدعاء؟#

الاستدعاء مقياس يُستخدم لقياس مدى نجاح النموذج في تحديد الحالات الإيجابية الفعلية. ويُعرف أيضًا بالحساسية أو معدل الإيجابيات الحقيقية، ويجيب عن السؤال التالي: من بين جميع الحالات الإيجابية الفعلية، كم حالة اكتشفها النموذج على نحو صحيح؟

تُحسب قيمة الاستدعاء بقسمة عدد الإيجابيات الحقيقية على مجموع الإيجابيات الحقيقية والسلبيات الكاذبة. وتشير درجة الاستدعاء المرتفعة إلى أن النموذج يلتقط معظم الحالات الإيجابية الحقيقية في البيانات.

يُعد الاستدعاء ضروريًا في قطاعات مثل الرعاية الصحية، حيث قد يؤدي عدم اكتشاف حالة ما إلى تأخير العلاج وتعريض المرضى للخطر. وحتى إذا صُنفت بعض الحالات السلبية خطأً، يظل تحديد جميع الحالات الحقيقية أولوية قصوى.

لكن النماذج التي تركز على الاسترجاع وحده قد تصنف عددًا كبيرًا جدًا من الإيجابيات الكاذبة، ما يخفض الدقة ويضر بالكفاءة الإجمالية للنموذج. ويُعد تحقيق التوازن بين الاسترجاع والدقة أمرًا بالغ الأهمية لضمان موثوقية أداء نموذج الذكاء الاصطناعي.

تحقيق التوازن: المفاضلة بين الإحكام والاستدعاء#

غالبًا ما يتحرك الإحكام والاستدعاء في اتجاهين متعاكسين. فعندما يتحسن أحدهما، قد يتراجع الآخر. وتمثل هذه المفاضلة تحديًا شائعًا في مهام التعلم الآلي.

لا يتنبأ النموذج ذو الإحكام المرتفع بأن شيئًا ما إيجابي إلا عندما يكون واثقًا من ذلك. وهذا يقلل الإنذارات الكاذبة، لكنه قد يفوّت إيجابيات حقيقية، ما يخفض الاستدعاء. أما النموذج الذي يحاول التقاط كل حالة إيجابية فيرفع الاستدعاء، لكنه يخاطر بإطلاق مزيد من الإنذارات الكاذبة، ما يخفض الإحكام.

تتضح هذه المفاضلة أكثر عند ضبط عتبة القرار للنموذج. والعتبة هي الحد الذي يستخدمه النظام لتحويل درجة أو احتمال إلى إجراء أو وسم. ويؤدي خفض العتبة إلى زيادة عدد المرات التي يتخذ فيها النظام قرارًا إيجابيًا، ما قد يرفع الاستدعاء لكنه قد يخفض الإحكام. أما رفع العتبة فيؤدي إلى النتيجة المعاكسة: يتنبأ النموذج بعدد أقل من الحالات الإيجابية، فيتحسن الإحكام، لكن الاستدعاء ينخفض عادةً.

لنفترض أنك تعمل على كشف الرسائل غير المرغوب فيها. على النموذج أن يوازن بين خطر السماح بوصول الرسائل غير المرغوب فيها إلى صندوق الوارد وخطر حظر رسائل البريد الإلكتروني الحقيقية. قد يحظر المرشح الصارم رسائل مشروعة عن طريق الخطأ، بينما قد يسمح المرشح الأكثر تساهلًا بمرور بعض الرسائل غير المرغوب فيها. ويتوقف التوازن المناسب على حالة الاستخدام وتكلفة كل نوع من الأخطاء.

أهمية منحنى الإحكام والاستدعاء#

يوضح منحنى الإحكام والاستدعاء، أو منحنى PR، كيف يتغير الإحكام والاستدعاء مع تغير عتبة القرار للنموذج. وتمثل كل نقطة مفاضلة مختلفة بينهما. ويكون منحنى PR مفيدًا بوجه خاص لمجموعات البيانات غير المتوازنة، التي يقل فيها تكرار إحدى الفئات كثيرًا.

في البيانات غير المتوازنة، غالبًا ما يقدم هذا المقياس دلالة أكثر فائدة من منحنى خاصية تشغيل المستقبل (ROC)، الذي يوضح أيضًا مدى قدرة النموذج على التمييز بين الحالات الإيجابية والسلبية عند عتبات قرار مختلفة. ويكون منحنى الدقة–الاسترجاع للنموذج ذي الدقة والاسترجاع المرتفعين قريبًا من الزاوية العلوية اليمنى، وهو الوضع المثالي عمومًا.

التعريف بمقياس F1: مقياس مركب لتحقيق التوازن#

يقدم مقياس F1 قيمة واحدة تعبّر عن التوازن بين الإحكام والاستدعاء. ويُحسب مقياس F1 بضرب الإحكام في الاستدعاء، ثم ضرب الناتج في اثنين، وقسمة ذلك على مجموع الإحكام والاستدعاء. ويفيد هذا المقياس عندما تكون الإيجابيات الكاذبة والسلبيات الكاذبة مهمة، كما يفيد عند التعامل مع مجموعات بيانات غير متوازنة أو عند الحاجة إلى نظرة متوازنة لأداء النموذج.

الشكل 4. حساب مقياس F1 باستخدام الإحكام والاستدعاء (المصدر)

ما وراء الدقة والإحكام والاستدعاء#

مع أن الدقة والإحكام والاستدعاء مقاييس أساسية، فإن مقاييس أخرى توفر رؤى إضافية تستند إلى نوع النموذج وخصائص مجموعة البيانات.

فيما يلي بعض المقاييس الشائعة الاستخدام التي تساعد على تقييم جوانب مختلفة من الأداء:

• النوعية: تقيس مدى قدرة النموذج على تحديد الحالات السلبية الفعلية. وهي مفيدة عندما يكون تجنب الإيجابيات الكاذبة أمرًا مهمًا.
• AUC: يعطي AUC، أو المساحة تحت المنحنى، درجة واحدة تعكس مدى قدرة النموذج على التمييز بين الفئات.
• الخسارة اللوغاريتمية: تُستخدم الخسارة اللوغاريتمية لقياس مدى ثقة النموذج عند إجراء التنبؤات، وتفرض عقوبة أكبر على التنبؤات الخاطئة التي تصدر بثقة عالية. وهنا تشير الثقة إلى مدى تأكد النموذج من تنبؤه.
• التقييم متعدد التسميات: في المهام متعددة التسميات، تُحسب متوسطات المقاييس عبر التسميات لتعكس الأداء الإجمالي للنموذج.

تطبيق الدقة والإحكام والاستدعاء في الرؤية الحاسوبية#

بعد أن أصبح لدينا فهم أوضح للدقة والإحكام والاسترجاع، فلنستعرض كيفية تطبيق هذه المقاييس في الرؤية الحاسوبية.

تدعم نماذج الرؤية الحاسوبية مثل Ultralytics YOLO11 مهامًا مثل اكتشاف الأجسام، حيث يحدد النموذج الأجسام الموجودة في الصورة ويحدد مواقعها باستخدام مربعات الإحاطة. ويشمل كل تنبؤ تسمية الجسم وموضعه، ما يجعل التقييم أكثر تعقيدًا من مجرد التحقق من صحة التسمية.

الشكل 5. مثال على استخدام Ultralytics YOLO11 لاكتشاف الأجسام. (المصدر)

لنتأمل تطبيقًا في قطاع التجزئة، حيث تُستخدم الكاميرات لتتبع المنتجات على الرفوف تلقائيًا. قد يتعرف نموذج اكتشاف الأجسام على عناصر مثل علب الحبوب وعلب المشروبات الغازية وزجاجات المياه، ويحدد مواقعها.

في هذه الحالة، يخبرنا الإحكام بعدد العناصر المكتشفة الصحيحة فعلًا. ويعني الإحكام العالي أن النظام يتجنب الإيجابيات الكاذبة، مثل تصنيف ظل أو جسم في الخلفية على أنه منتج. أما الاستدعاء فيوضح عدد المنتجات الحقيقية على الرف التي تمكن النموذج من اكتشافها. ويعني الاستدعاء العالي إغفال عدد أقل من العناصر، وهو أمر بالغ الأهمية لإحصاء المخزون بدقة.

لا تزال الدقة توفر مقياسًا عامًا للصحة، لكن في مثل هذا السياق، قد يؤثر إغفال بضعة منتجات أو اكتشاف عناصر غير موجودة تأثيرًا كبيرًا في إدارة المخزون. لذلك ينظر المطورون إلى الإحكام والاستدعاء والدقة معًا لضمان موثوقية النظام وفعاليته في الاستخدام الواقعي.

الدقة والإحكام والاستدعاء: أبرز النقاط#

يعرض كل من الدقة والإحكام والاستدعاء جانبًا مختلفًا من أداء نموذج التعلم الآلي. وقد يكون الاعتماد على مقياس واحد فقط مضللًا.

تساعد أدوات ومقاييس مثل مصفوفة الالتباس ومنحنيات الإحكام والاستدعاء ومقياس F1 على إظهار المفاضلات وتوجيه القرارات المتعلقة بتحسين نموذج التعلم الآلي. ومن خلال اختيار مجموعة المقاييس المناسبة لحل ذكاء اصطناعي محدد، يمكنك ضمان دقة النماذج وموثوقيتها وفعاليتها في التطبيقات الواقعية.

استكشف مجتمعنا المتنامي! تفقّد مستودعنا على GitHub لمعرفة المزيد عن الذكاء الاصطناعي. هل أنت مستعد لبدء مشاريع الرؤية الحاسوبية؟ ألقِ نظرة على خيارات الترخيص. اكتشف الذكاء الاصطناعي في الزراعة والذكاء الاصطناعي البصري في الروبوتات بزيارة صفحات حلولنا!