الدقة مقابل الضبط مقابل الاستدعاء في تعلم الآلة

التعلم الآلي (ML) هو فرع من الذكاء الاصطناعي (AI) يركز على إنشاء أنظمة تتعلم من البيانات. وهو يلعب دوراً مركزياً في العديد من مجالات الذكاء الاصطناعي الأخرى، بما في ذلك رؤية حاسوبية، حيث تفسر الآلات الصور، ومعالجة اللغات الطبيعية، حيث تفهم وتولد اللغة البشرية.

غالباً ما تستخدم نماذج الذكاء الاصطناعي هذه تقنيات التعلم العميق لعمل تنبؤات بناءً على البيانات. ومع أن هذه الأنظمة يمكن أن تكون فعالة للغاية، إلا أنها لا تنتج تنبؤات صحيحة دائماً. قد تكون بعض المخرجات دقيقة، بينما قد تخطئ أخرى الهدف.

معرفة كيفية حدوث هذه الأخطاء هي جزء رئيسي من تقييم مدى جودة أداء النموذج. لقياس الأداء، يمكننا استخدام مقاييس تقييم النموذج.

تشمل مقاييس التقييم الشائعة الدقة (الصحة العامة)، والإحكام (موثوقية التنبؤات الإيجابية)، والاستدعاء (مدى قدرة النموذج على تحديد الحالات الإيجابية الفعلية). قد تبدو هذه المقاييس متشابهة في البداية، لكن كل واحد منها يركز على جزء مختلف من سلوك النموذج.

في هذه المقالة، سنلقي نظرة فاحصة على كل مقياس من مقاييس أداء نماذج الذكاء الاصطناعي هذه. سنستكشف أيضاً كيفية ارتباطها ببعضها البعض وكيفية اختيار المقياس المناسب لحالة الاستخدام الخاصة بك. لنبدأ!

تعد مقاييس تقييم النموذج مهمة في التعلم الآلي#

قد يبدو نموذج التعلم الآلي وكأنه يؤدي بشكل جيد في البداية. ولكن بدون مقاييس التقييم الصحيحة، من الصعب فهم مدى دقة نتائجه. تمنح هذه المقاييس هيكلاً لتقييم النموذج وتساعد في الإجابة على سؤال رئيسي: هل توقعات النموذج مفيدة وموثوقة لمهمة معينة؟

توفر مقاييس مثل الدقة والإحكام والاستدعاء لمطوري الذكاء الاصطناعي طريقة واضحة لقياس مدى جودة عمل النموذج. على سبيل المثال، عند مقارنة نماذج مختلفة، تتيح هذه المقاييس معرفة أيها يؤدي الأفضل لمهمة محددة. فهي تساعد في تقييم الأداء وتوجيه اختيار النموذج الذي يناسب أهداف مشروع الذكاء الاصطناعي بشكل أفضل.

الشكل 1. سير عمل تدريب وتقييم النموذج (المصدر)

تجعل هذه المقاييس مقارنات الأداء أكثر موضوعية أيضاً. فبدلاً من الاعتماد على التخمين أو الملاحظات غير الكاملة، فإنها توفر رؤى قابلة للقياس حول كيفية تصرف النموذج في مواقف مختلفة. وبذلك، فإنها تسلط الضوء على جوانب الأداء الأكثر أهمية في كل سياق.

على سبيل المثال، غالباً ما يعتمد اختيار المقياس على التطبيق. في تطبيقات الرعاية الصحية للذكاء الاصطناعي، يعد الاسترجاع (recall) مهمًا لأن الهدف هو تحديد أكبر عدد ممكن من الحالات الإيجابية، حتى لو تم الإبلاغ عن بعض الحالات السلبية خطأً. في المقابل، قد يعطي مرشح البريد العاملي المزعج (spam) الأولوية للدقة (precision) لتجنب الإشارة بشكل غير صحيح إلى رسائل البريد الإلكتروني المشروعة على أنها بريد مزعج.

مصفوفة الارتباك: أساس مقاييس التصنيف#

مصفوفة الارتباك (confusion matrix) هي جدول ثنائي في ثنائي أساسي لتقييم نماذج الذكاء الاصطناعي. وهي تنظم التوقعات في أربع فئات من خلال مقارنة النتائج الفعلية بالنتائج المتوقعة (الإجابات التي يقدمها النموذج).

توفر هذه المقارنة نظرة مفصلة على أداء النموذج. وهي تشكل الأساس لمقاييس التقييم الرئيسية مثل الإحكام والاستدعاء، والتي يتم حسابها مباشرة من القيم الموجودة في المصفوفة.

تمثل صفوف الجدول الفئات الفعلية، وتمثل الأعمدة الفئات المتوقعة. يُظهر كل خلية عدد النتائج في تلك الفئة. ببساطة، توضح المصفوفة عدد التنبؤات الصحيحة وأنواع الأخطاء التي ارتكبها النموذج.

تكون مصفوفة الارتباك مفيدة بشكل خاص عندما تكون البيانات غير متوازنة، مما يعني أن بعض الفئات تحتوي على أمثلة أكثر بكثير من غيرها. كما أنها مفيدة عندما تنطوي أنواع مختلفة من الأخطاء على تكاليف مختلفة.

على سبيل المثال، في الكشف عن الاحتيال، يعد رصد الأنشطة الاحتيالية أمراً بالغ الأهمية، ولكن تصنيف المعاملات الحقيقية بشكل غير صحيح يمكن أن يسبب مشاكل أيضاً. تجعل المصفوفة من الواضح مدى تكرار حدوث كل نوع من أنواع الأخطاء.

عناصر مصفوفة الارتباك#

إليك نظرة عامة على العناصر المختلفة في مصفوفة الارتباك:

• إيجابي حقيقي (TP): عندما يتوقع النموذج مثيلًا إيجابيًا بشكل صحيح، يتم تسجيله كإيجابي حقيقي. على سبيل المثال، يقوم نموذج الرؤية الحاسوبية بتصنيف مركبة في صورة بشكل صحيح.
• السلبي الحقيقي (TN): يحدث السلبي الحقيقي عندما يحدد النموذج بشكل صحيح حالة سلبية. على سبيل المثال، يقوم مصنف البريد الإلكتروني بتصنيف رسالة عادية على أنها ليست رسالة مزعجة.
• الإيجابي الكاذب (FP): يولد النموذج إيجابياً كاذباً عندما يتنبأ بشكل غير صحيح بنتيجة إيجابية لحالة هي في الواقع سلبية. يُعرف هذا أيضاً بخطأ النوع الأول، ويمكن أن يحدث عندما يحدد نظام كشف الاحتيال معاملة صالحة على أنها احتيالية.
• السلبي الكاذب (FN): يتم تسجيل سلبي كاذب عندما يفشل النموذج في اكتشاف حالة إيجابية ويتنبأ بشكل غير صحيح بأنها سلبية. يُشار إلى هذا أيضاً بخطأ النوع الثاني، وقد يحدث هذا عندما تفوت أداة تشخيصية مرضاً لدى مريض هو في الواقع مريض.

الشكل 2. عناصر مصفوفة الارتباك (المصدر)

التمثيل المرئي وتفسير مصفوفة الارتباك#

يتم عرض مصفوفة الارتباك بتنسيق شبكي. يوضح المحور الرأسي الفئات الفعلية، ويوضح المحور الأفقي الفئات المتوقعة. تظهر التنبؤات الصحيحة على طول القطر، وهو ما يمثل الإيجابيات الحقيقية والسلبيات الحقيقية.

تقع الأخطاء خارج القطر، وتغطي الإيجابيات الكاذبة والسلبيات الكاذبة. هذا الهيكل يجعل من السهل رصد نقاط القوة والضعف.

ما هي الدقة في التعلم الآلي؟#

الدقة (Accuracy) هي واحدة من أكثر المقاييس استخدامًا على نطاق واسع لتقييم مدى جودة أداء نموذج التعلم الآلي. وهي تقيس مدى صحة التوقعات عبر جميع الفئات. بعبارة أخرى، تجيب على سؤال بسيط: من بين جميع التوقعات التي قام بها نموذج الذكاء الاصطناعي، كم عدد التوقعات الصحيحة؟

معادلة الدقة هي عدد التنبؤات الصحيحة (والتي تشمل كلاً من الإيجابيات الحقيقية والسلبيات الحقيقية) مقسوماً على إجمالي عدد التنبؤات. من السهل حساب الدقة وفهمها، مما يجعلها نقطة انطلاق شائعة في تقييم النماذج.

بشكل عام، تكون الدقة موثوقة عند التعامل مع مجموعات البيانات المتوازنة. ومع ذلك، يمكن أن تكون الدقة مضللة في كثير من الأحيان في مجموعات البيانات غير المتوازنة حيث تهيمن فئة واحدة على الفئات الأخرى. قد يحقق النموذج الذي يتنبأ دائماً بالفئة السائدة درجة دقة عالية بينما يفشل في اكتشاف الفئات الأقلية الأخرى.

على سبيل المثال، في مجموعة بيانات صور تحتوي على عدد قليل فقط من صور المشاة، قد يحقق النموذج الذي يتنبأ بـ "لا يوجد مشاة" لكل صورة دقة عالية ولكنه يفشل تماماً في اكتشاف المشاة الفعليين.

ذلك لأن الدقة في حد ذاتها لا تظهر أنواع الأخطاء التي يرتكبها النموذج أو مدى تكرارها. ولهذا السبب من المهم أيضاً النظر إلى مقاييس مثل الإحكام والاستدعاء لفهم مدى جودة عمل نموذج الذكاء الاصطناعي بشكل كامل.

نظرة متعمقة على الإحكام: تقليل الإنذارات الكاذبة#

الدقة التحديدية (Precision) هي مقياس تقييم رئيسي يقيس دقة التوقعات الإيجابية للنموذج. وهي تجيب على السؤال: من بين جميع الحالات المتوقعة على أنها إيجابية، كم عدد الحالات الصحيحة؟

صيغة الإحكام هي عدد الإيجابيات الحقيقية مقسوماً على مجموع الإيجابيات الحقيقية والإيجابيات الكاذبة. وهو مهم بشكل خاص عندما تكون التنبؤات الإيجابية مكلفة إذا تبين أنها خاطئة.

الشكل 3. مقارنة الدقة (Accuracy) والدقة التحديدية (Precision). (المصدر)

على سبيل المثال، في كشف الاحتيال، قد يحدد نموذج ذو إحكام منخفض العديد من المعاملات الصالحة على أنها احتيالية، مما يخلق مشاكل غير ضرورية لكل من المستخدمين وفرق الدعم. يقلل النموذج ذو الإحكام العالي من هذا الخطر من خلال التأكد من أن المعاملات المحددة هي على الأرجح احتيال فعلي.

بينما يعد الإحكام العالي أمراً جيداً، إلا أن النماذج التي تركز عليه أكثر من اللازم يمكن أن تصبح انتقائية للغاية، وتفوت الحالات الإيجابية الفعلية. ولهذا السبب يتم التحقق من مقياس الإحكام غالباً جنباً إلى جنب مع الاستدعاء للحفاظ على توازن الأداء.

ما هو الاستدعاء؟#

الاسترجاع (Recall) هو مقياس يُستخدم لقياس مدى جودة النموذج في تحديد الحالات الإيجابية الفعلية. يُعرف بالحساسية أو معدل الإيجابيات الحقيقية، وهو يجيب على السؤال: من بين جميع الحالات الإيجابية الفعلية، كم عدد الحالات التي اكتشفها النموذج بشكل صحيح؟

صيغة الاستدعاء هي عدد الإيجابيات الحقيقية مقسوماً على مجموع الإيجابيات الحقيقية والسلبيات الكاذبة. تُظهر درجة الاستدعاء العالية أن النموذج يلتقط معظم الحالات الإيجابية الحقيقية في البيانات.

يعد الاستدعاء ضرورياً في صناعات مثل الرعاية الصحية، حيث يمكن أن يؤدي الفشل في اكتشاف حالة مرضية إلى تأخير العلاج وتعريض المرضى للخطر. حتى لو تم تحديد بعض الحالات السلبية بشكل غير صحيح، فإن تحديد جميع الحالات الحقيقية يظل الأولوية القصوى.

مع ذلك، فإن النماذج التي تركز فقط على الاسترجاع يمكنها الإشارة إلى عدد كبير جدًا من الإيجابيات الخاطئة، مما يقلل الدقة ويضر بالكفاءة العامة للنموذج. يعد موازنة الاسترجاع والدقة أمرًا بالغ الأهمية لضمان أداء نموذج الذكاء الاصطناعي بشكل موثوق.

عملية الموازنة: المقايضة بين الإحكام والاستدعاء#

غالباً ما يتحرك الإحكام والاستدعاء في اتجاهين متعاكسين. عندما يتحسن أحدهما، قد ينخفض الآخر. هذه المقايضة هي تحدٍ شائع في مهام التعلم الآلي.

يتنبأ النموذج عالي الإحكام بشيء ما على أنه إيجابي فقط عندما يكون واثقاً. هذا يقلل من الإنذارات الكاذبة ولكنه قد يفوّت إيجابيات حقيقية، مما يخفض الاستدعاء. النموذج الذي يحاول التقاط كل إيجابي يرفع الاستدعاء ولكنه يخاطر بمزيد من الإنذارات الكاذبة، مما يخفض الإحكام.

تصبح هذه المقايضة أوضح عندما تقوم بتعديل عتبة القرار الخاصة بالنموذج. العتبة هي نقطة القطع التي يستخدمها النظام لتحويل النتيجة أو الاحتمالية إلى إجراء أو تصنيف. يؤدي خفض العتبة إلى جعل النظام يتصرف بإيجابية في كثير من الأحيان، مما قد يزيد من الاستدعاء ولكنه قد يقلل من الإحكام. يؤدي رفع العتبة إلى التأثير المعاكس: يتنبأ النموذج بإيجابيات أقل، فيتحسن الإحكام، لكن الاستدعاء عادةً ما ينخفض.

لنفترض أنك تعمل على اكتشاف الرسائل المزعجة (سبام). يجب على النموذج الموازنة بين خطر السماح للرسائل المزعجة بالوصول إلى صندوق الوارد وخطر حظر رسائل البريد الإلكتروني الحقيقية. قد لا يزال مرشح صارم يفوت بعض الرسائل المزعجة، بينما قد يقوم مرشح أكثر تساهلاً بحظر رسائل مشروعة عن طريق الخطأ. يعتمد التوازن الصحيح على حالة الاستخدام وتكلفة كل نوع من أنواع الأخطاء.

أهمية منحنى الإحكام-الاستدعاء#

يوضح منحنى الإحكام-الاستدعاء أو منحنى PR كيف يتغير الإحكام والاستدعاء مع تغير عتبة قرار النموذج. تمثل كل نقطة مقايضة مختلفة بين الاثنين. منحنى PR مفيد بشكل خاص لمجموعات البيانات غير المتوازنة، حيث تكون إحدى الفئات أقل تكراراً بكثير.

كما أنه يوفر رؤية أكثر مغزى من منحنى خصائص تشغيل المستقبل (ROC)، والذي يوضح أيضًا مدى جودة فصل النموذج للحالات الإيجابية عن السلبية عند عتبات القرار المختلفة. سيكون للنموذج الذي يتمتع بكل من الدقة العالية والاسترجاع العالي منحنى دقة-استرجاع يظل قريبًا من الزاوية العلوية اليمنى، وهو أمر مثالي بشكل عام.

تقديم مقياس F1-score: مقياس مدمج للتوازن#

يوفر F1-score قيمة واحدة تلتقط التوازن بين الدقة والاسترجاع. يتم حساب F1-score كضعف حاصل ضرب الدقة والاسترجاع، مقسومًا على مجموع الدقة والاسترجاع. إنه مفيد عندما تكون كل من الإيجابيات الخاطئة والسلبيات الخاطئة مهمة، ومفيد عند العمل مع مجموعات بيانات غير متوازنة أو عندما تكون هناك حاجة إلى نظرة متوازنة لأداء النموذج.

الشكل 4. حساب F1-score باستخدام الدقة والاسترجاع (المصدر)

ما وراء الدقة والإحكام والاستدعاء#

بينما تعد الدقة والإحكام والاستدعاء أموراً أساسية، إلا أن هناك مقاييس أخرى توفر رؤى إضافية بناءً على نوع النموذج وخصائص مجموعة البيانات.

فيما يلي بعض المقاييس شائعة الاستخدام التي تساعد في تقييم جوانب مختلفة من الأداء:

• النوعية (Specificity): تقيس مدى قدرة النموذج على تحديد السلبيات الفعلية. وهي مفيدة عندما يكون تجنب الإيجابيات الكاذبة أمراً مهماً.
• AUC: يمنح AUC، أو المساحة تحت المنحنى، درجة واحدة تعكس مدى قدرة النموذج على التمييز بين الفئات.
• خسارة اللوغاريتم (Log loss): تُستخدم خسارة اللوغاريتم لقياس مدى ثقة النموذج عند إجراء التوقعات وتعطي عقوبة أكبر للتوقعات الخاطئة التي تم إجراؤها بثقة عالية. هنا، تشير الثقة إلى مدى تأكد النموذج من توقعه.
• تقييم التصنيفات المتعددة (Multi-label evaluation): في مهام التصنيفات المتعددة، يتم حساب متوسط المقاييس عبر التصنيفات لتعكس أداء النموذج العام.

تطبيق الدقة والإحكام والاستدعاء في الرؤية الحاسوبية#

الآن بعد أن أصبح لدينا فهم أوضح للدقة والإحكام والاستدعاء، دعنا نمر عبر كيفية تطبيق هذه المقاييس في الرؤية الحاسوبية.

تدعم نماذج الرؤية الحاسوبية مثل Ultralytics YOLO11 المهام مثل اكتشاف الكائنات، حيث يحدد النموذج الكائنات الموجودة في الصورة ويحدد مواقعها باستخدام المربعات المحيطة (bounding boxes). يتضمن كل توقع كلاً من تسمية الكائن وموضعه، مما يجعل التقييم أكثر تعقيدًا من مجرد التحقق مما إذا كانت التسمية صحيحة.

الشكل 5. مثال على استخدام Ultralytics YOLO11 لاكتشاف الكائنات. (المصدر)

تخيل تطبيق التجزئة (retail) حيث تُستخدم الكاميرات لتتبع المنتجات تلقائيًا على الرفوف. قد يحدد نموذج اكتشاف الكائنات عناصر مثل علب الحبوب، أو علب الصودا، أو زجاجات المياه ويميز مواقعها.

في هذه الحالة، يخبرنا الإحكام بعدد العناصر المكتشفة التي هي صحيحة فعلياً. يعني الإحكام العالي أن النظام يتجنب الإيجابيات الكاذبة، مثل تصنيف ظل أو كائن خلفية كمنتج. يوضح الاستدعاء عدد المنتجات الحقيقية على الرف التي تمكن النموذج من اكتشافها. يعني الاستدعاء العالي تفويت عدد أقل من العناصر، وهو أمر بالغ الأهمية لتعداد المخزون الدقيق.

لا تزال الدقة قادرة على توفير مقياس عام للصحة، ولكن في هذا النوع من الإعداد، فإن تفويت حتى بضعة منتجات أو اكتشاف عناصر غير موجودة يمكن أن يكون له تأثير كبير على إدارة المخزون. ولهذا السبب ينظر المطورون إلى الإحكام والاستدعاء والدقة معاً لضمان أن النظام موثوق وعملي للاستخدام في العالم الحقيقي.

الدقة والإحكام والاستدعاء: النقاط الرئيسية#

تعرض الدقة والإحكام والاستدعاء جوانب مختلفة من أداء نموذج التعلم الآلي. قد يكون الاعتماد على مقياس واحد فقط مضللاً.

تساعد الأدوات والمقاييس مثل مصفوفة الارتباك، ومنحنيات الإحكام-الاستدعاء، وF1-score في الكشف عن المقايضات وتوجيه القرارات بشأن إجراء تحسينات على نموذج التعلم الآلي. من خلال اختيار المزيج الصحيح من المقاييس لحل ذكاء اصطناعي محدد، يمكنك ضمان أن تكون النماذج دقيقة وموثوقة وفعالة في تطبيقات العالم الحقيقي.

استكشف مجتمعنا النامي! تحقق من مستودع GitHub الخاص بنا لمعرفة المزيد عن الذكاء الاصطناعي. هل أنت مستعد لبدء مشاريع الرؤية الحاسوبية الخاصة بك؟ ألق نظرة على خيارات الترخيص الخاصة بنا. اكتشف الذكاء الاصطناعي في الزراعة والرؤية الحاسوبية في الروبوتات من خلال زيارة صفحات الحلول الخاصة بنا!