الدقة مقابل الضبط مقابل الاستدعاء في تعلم الآلة

التعلم الآلي (ML) هو فرع من فروع الذكاء الاصطناعي (AI) يركز على إنشاء أنظمة تتعلم من البيانات. ويؤدي دوراً محورياً في العديد من مجالات الذكاء الاصطناعي الأخرى، بما في ذلك الرؤية الحاسوبية، حيث تقوم الآلات بتفسير الصور، ومعالجة اللغات الطبيعية، حيث تقوم بفهم وتوليد اللغة البشرية.

غالباً ما تستخدم نماذج الذكاء الاصطناعي هذه تقنيات التعلم العميق لعمل تنبؤات بناءً على البيانات. ومع أن هذه الأنظمة يمكن أن تكون فعالة للغاية، إلا أنها لا تنتج تنبؤات صحيحة دائماً. قد تكون بعض المخرجات دقيقة، بينما قد تخطئ أخرى الهدف.

يعد فهم كيفية حدوث هذه الأخطاء جزءاً أساسياً من تقييم مدى جودة أداء النموذج. لقياس الأداء، يمكننا استخدام مقاييس تقييم النموذج.

تشمل مقاييس التقييم الشائعة الدقة (الصحة العامة)، والإحكام (موثوقية التنبؤات الإيجابية)، والاستدعاء (مدى قدرة النموذج على تحديد الحالات الإيجابية الفعلية). قد تبدو هذه المقاييس متشابهة في البداية، لكن كل واحد منها يركز على جزء مختلف من سلوك النموذج.

في هذه المقالة، سنلقي نظرة فاحصة على كل مقياس من مقاييس أداء نماذج الذكاء الاصطناعي هذه. سنستكشف أيضاً كيفية ارتباطها ببعضها البعض وكيفية اختيار المقياس المناسب لحالة الاستخدام الخاصة بك. لنبدأ!

Link to this sectionتعد مقاييس تقييم النموذج مهمة في التعلم الآلي#

قد يبدو نموذج التعلم الآلي وكأنه يعمل بشكل جيد في البداية. ولكن بدون مقاييس التقييم المناسبة، يصعب فهم مدى دقة نتائجه. تضفي هذه المقاييس هيكلاً على تقييم النموذج وتساعد في الإجابة على سؤال رئيسي: هل تنبؤات النموذج مفيدة وموثوقة لمهمة معينة؟

توفر مقاييس مثل الدقة والإحكام والاستدعاء لمطوري الذكاء الاصطناعي طريقة واضحة لقياس مدى جودة عمل النموذج. على سبيل المثال، عند مقارنة نماذج مختلفة، تتيح هذه المقاييس معرفة أيها يؤدي الأفضل لمهمة محددة. فهي تساعد في تقييم الأداء وتوجيه اختيار النموذج الذي يناسب أهداف مشروع الذكاء الاصطناعي بشكل أفضل.

الشكل 1. سير عمل تدريب وتقييم النموذج (المصدر)

تجعل هذه المقاييس مقارنات الأداء أكثر موضوعية أيضاً. فبدلاً من الاعتماد على التخمين أو الملاحظات غير الكاملة، فإنها توفر رؤى قابلة للقياس حول كيفية تصرف النموذج في مواقف مختلفة. وبذلك، فإنها تسلط الضوء على جوانب الأداء الأكثر أهمية في كل سياق.

على سبيل المثال، غالباً ما يعتمد اختيار المقياس على التطبيق. في تطبيقات الرعاية الصحية المدعومة بالذكاء الاصطناعي، يعد الاستدعاء مهماً لأن الهدف هو تحديد أكبر عدد ممكن من الحالات الإيجابية، حتى لو تم تحديد بعض الحالات السلبية بالخطأ. في المقابل، قد تعطي أداة تصفية الرسائل غير المرغوب فيها (سبام) الأولوية للإحكام لتجنب تصنيف رسائل البريد الإلكتروني المشروعة كرسائل سبام بشكل غير صحيح.

Link to this sectionمصفوفة الارتباك: أساس مقاييس التصنيف#

تعد مصفوفة الارتباك جدولاً ثنائي الأبعاد يعتبر أساسياً لتقييم نماذج الذكاء الاصطناعي. فهي تنظم التنبؤات في أربع فئات من خلال مقارنة النتائج الفعلية بالنتائج المتوقعة (الإجابات التي يقدمها النموذج).

توفر هذه المقارنة نظرة مفصلة على أداء النموذج. وهي تشكل الأساس لمقاييس التقييم الرئيسية مثل الإحكام والاستدعاء، والتي يتم حسابها مباشرة من القيم الموجودة في المصفوفة.

تمثل صفوف الجدول الفئات الفعلية، وتمثل الأعمدة الفئات المتوقعة. يُظهر كل خلية عدد النتائج في تلك الفئة. ببساطة، توضح المصفوفة عدد التنبؤات الصحيحة وأنواع الأخطاء التي ارتكبها النموذج.

تكون مصفوفة الارتباك مفيدة بشكل خاص عندما تكون البيانات غير متوازنة، مما يعني أن بعض الفئات تحتوي على أمثلة أكثر بكثير من غيرها. كما أنها مفيدة عندما تنطوي أنواع مختلفة من الأخطاء على تكاليف مختلفة.

على سبيل المثال، في الكشف عن الاحتيال، يعد رصد الأنشطة الاحتيالية أمراً بالغ الأهمية، ولكن تصنيف المعاملات الحقيقية بشكل غير صحيح يمكن أن يسبب مشاكل أيضاً. تجعل المصفوفة من الواضح مدى تكرار حدوث كل نوع من أنواع الأخطاء.

Link to this sectionعناصر مصفوفة الارتباك#

إليك نظرة عامة على العناصر المختلفة في مصفوفة الارتباك:

• الإيجابي الحقيقي (TP): عندما يتنبأ النموذج بشكل صحيح بحالة إيجابية، يتم تسجيله كإيجابي حقيقي. على سبيل المثال، يقوم نموذج الرؤية الحاسوبية بتصنيف مركبة في صورة بشكل صحيح.
• السلبي الحقيقي (TN): يحدث السلبي الحقيقي عندما يحدد النموذج بشكل صحيح حالة سلبية. على سبيل المثال، يقوم مصنف البريد الإلكتروني بتصنيف رسالة عادية على أنها ليست رسالة مزعجة.
• الإيجابي الكاذب (FP): يولد النموذج إيجابياً كاذباً عندما يتنبأ بشكل غير صحيح بنتيجة إيجابية لحالة هي في الواقع سلبية. يُعرف هذا أيضاً بخطأ النوع الأول، ويمكن أن يحدث عندما يحدد نظام كشف الاحتيال معاملة صالحة على أنها احتيالية.
• السلبي الكاذب (FN): يتم تسجيل سلبي كاذب عندما يفشل النموذج في اكتشاف حالة إيجابية ويتنبأ بشكل غير صحيح بأنها سلبية. يُشار إلى هذا أيضاً بخطأ النوع الثاني، وقد يحدث هذا عندما تفوت أداة تشخيصية مرضاً لدى مريض هو في الواقع مريض.

الشكل 2. عناصر مصفوفة الارتباك (المصدر)

Link to this sectionالتمثيل المرئي وتفسير مصفوفة الارتباك#

يتم عرض مصفوفة الارتباك بتنسيق شبكي. يوضح المحور الرأسي الفئات الفعلية، ويوضح المحور الأفقي الفئات المتوقعة. تظهر التنبؤات الصحيحة على طول القطر، وهو ما يمثل الإيجابيات الحقيقية والسلبيات الحقيقية.

تقع الأخطاء خارج القطر، وتغطي الإيجابيات الكاذبة والسلبيات الكاذبة. هذا الهيكل يجعل من السهل رصد نقاط القوة والضعف.

Link to this sectionما هي الدقة في التعلم الآلي؟#

تعد الدقة واحدة من أكثر المقاييس استخداماً لتقييم مدى جودة أداء نموذج التعلم الآلي. فهي تقيس عدد المرات التي تكون فيها التنبؤات صحيحة عبر جميع الفئات. بعبارة أخرى، هي تجيب على سؤال بسيط: من بين جميع التنبؤات التي قدمها نموذج الذكاء الاصطناعي، كم عدد التنبؤات الصحيحة؟

معادلة الدقة هي عدد التنبؤات الصحيحة (والتي تشمل كلاً من الإيجابيات الحقيقية والسلبيات الحقيقية) مقسوماً على إجمالي عدد التنبؤات. من السهل حساب الدقة وفهمها، مما يجعلها نقطة انطلاق شائعة في تقييم النماذج.

بشكل عام، تكون الدقة موثوقة عند التعامل مع مجموعات البيانات المتوازنة. ومع ذلك، يمكن أن تكون الدقة مضللة في كثير من الأحيان في مجموعات البيانات غير المتوازنة حيث تهيمن فئة واحدة على الفئات الأخرى. قد يحقق النموذج الذي يتنبأ دائماً بالفئة السائدة درجة دقة عالية بينما يفشل في اكتشاف الفئات الأقلية الأخرى.

على سبيل المثال، في مجموعة بيانات صور تحتوي على عدد قليل فقط من صور المشاة، قد يحقق النموذج الذي يتنبأ بـ "لا يوجد مشاة" لكل صورة دقة عالية ولكنه يفشل تماماً في اكتشاف المشاة الفعليين.

ذلك لأن الدقة في حد ذاتها لا تظهر أنواع الأخطاء التي يرتكبها النموذج أو مدى تكرارها. ولهذا السبب من المهم أيضاً النظر إلى مقاييس مثل الإحكام والاستدعاء لفهم مدى جودة عمل نموذج الذكاء الاصطناعي بشكل كامل.

Link to this sectionنظرة متعمقة على الإحكام: تقليل الإنذارات الكاذبة#

يعد الإحكام مقياس تقييم رئيسياً يقيس دقة التنبؤات الإيجابية للنموذج. وهو يجيب على السؤال: من بين جميع الحالات التي تم التنبؤ بأنها إيجابية، كم منها كان صحيحاً؟

صيغة الإحكام هي عدد الإيجابيات الحقيقية مقسوماً على مجموع الإيجابيات الحقيقية والإيجابيات الكاذبة. وهو مهم بشكل خاص عندما تكون التنبؤات الإيجابية مكلفة إذا تبين أنها خاطئة.

الشكل 3. مقارنة الدقة والإحكام. (المصدر)

على سبيل المثال، في كشف الاحتيال، قد يحدد نموذج ذو إحكام منخفض العديد من المعاملات الصالحة على أنها احتيالية، مما يخلق مشاكل غير ضرورية لكل من المستخدمين وفرق الدعم. يقلل النموذج ذو الإحكام العالي من هذا الخطر من خلال التأكد من أن المعاملات المحددة هي على الأرجح احتيال فعلي.

بينما يعد الإحكام العالي أمراً جيداً، إلا أن النماذج التي تركز عليه أكثر من اللازم يمكن أن تصبح انتقائية للغاية، وتفوت الحالات الإيجابية الفعلية. ولهذا السبب يتم التحقق من مقياس الإحكام غالباً جنباً إلى جنب مع الاستدعاء للحفاظ على توازن الأداء.

Link to this sectionما هو الاستدعاء؟#

الاستدعاء هو مقياس يُستخدم لقياس مدى جودة تحديد النموذج للحالات الإيجابية الفعلية. يُعرف هذا المقياس بالحساسية أو معدل الإيجابيات الحقيقية، ويجيب على السؤال: من بين جميع الحالات الإيجابية الفعلية، كم منها اكتشفها النموذج بشكل صحيح؟

صيغة الاستدعاء هي عدد الإيجابيات الحقيقية مقسوماً على مجموع الإيجابيات الحقيقية والسلبيات الكاذبة. تُظهر درجة الاستدعاء العالية أن النموذج يلتقط معظم الحالات الإيجابية الحقيقية في البيانات.

يعد الاستدعاء ضرورياً في صناعات مثل الرعاية الصحية، حيث يمكن أن يؤدي الفشل في اكتشاف حالة مرضية إلى تأخير العلاج وتعريض المرضى للخطر. حتى لو تم تحديد بعض الحالات السلبية بشكل غير صحيح، فإن تحديد جميع الحالات الحقيقية يظل الأولوية القصوى.

ومع ذلك، فإن النماذج التي تركز فقط على الاستدعاء قد تحدد الكثير من الإيجابيات الكاذبة، مما يخفض الإحكام ويضر بالكفاءة العامة للنموذج. إن موازنة الاستدعاء والإحكام أمر بالغ الأهمية لـ أداء نموذج الذكاء الاصطناعي الموثوق.

Link to this sectionعملية الموازنة: المقايضة بين الإحكام والاستدعاء#

غالباً ما يتحرك الإحكام والاستدعاء في اتجاهين متعاكسين. عندما يتحسن أحدهما، قد ينخفض الآخر. هذه المقايضة هي تحدٍ شائع في مهام التعلم الآلي.

يتنبأ النموذج عالي الإحكام بشيء ما على أنه إيجابي فقط عندما يكون واثقاً. هذا يقلل من الإنذارات الكاذبة ولكنه قد يفوّت إيجابيات حقيقية، مما يخفض الاستدعاء. النموذج الذي يحاول التقاط كل إيجابي يرفع الاستدعاء ولكنه يخاطر بمزيد من الإنذارات الكاذبة، مما يخفض الإحكام.

تصبح هذه المقايضة أوضح عندما تقوم بتعديل عتبة القرار الخاصة بالنموذج. العتبة هي نقطة القطع التي يستخدمها النظام لتحويل النتيجة أو الاحتمالية إلى إجراء أو تصنيف. يؤدي خفض العتبة إلى جعل النظام يتصرف بإيجابية في كثير من الأحيان، مما قد يزيد من الاستدعاء ولكنه قد يقلل من الإحكام. يؤدي رفع العتبة إلى التأثير المعاكس: يتنبأ النموذج بإيجابيات أقل، فيتحسن الإحكام، لكن الاستدعاء عادةً ما ينخفض.

لنفترض أنك تعمل على اكتشاف الرسائل المزعجة (سبام). يجب على النموذج الموازنة بين خطر السماح للرسائل المزعجة بالوصول إلى صندوق الوارد وخطر حظر رسائل البريد الإلكتروني الحقيقية. قد لا يزال مرشح صارم يفوت بعض الرسائل المزعجة، بينما قد يقوم مرشح أكثر تساهلاً بحظر رسائل مشروعة عن طريق الخطأ. يعتمد التوازن الصحيح على حالة الاستخدام وتكلفة كل نوع من أنواع الأخطاء.

Link to this sectionأهمية منحنى الإحكام-الاستدعاء#

يوضح منحنى الإحكام-الاستدعاء أو منحنى PR كيف يتغير الإحكام والاستدعاء مع تغير عتبة قرار النموذج. تمثل كل نقطة مقايضة مختلفة بين الاثنين. منحنى PR مفيد بشكل خاص لمجموعات البيانات غير المتوازنة، حيث تكون إحدى الفئات أقل تكراراً بكثير.

كما أنه يوفر رؤية أكثر جدوى من منحنى خصائص تشغيل المستقبِل (ROC)، والذي يوضح أيضاً مدى جودة فصل النموذج للإيجابيات عن السلبيات عند عتبات قرار مختلفة. سيكون للنموذج الذي يتمتع بإحكام عالٍ واستدعاء عالٍ منحنى إحكام-استدعاء يظل بالقرب من الزاوية العلوية اليمنى، وهو أمر مثالي بشكل عام.

Link to this sectionتقديم مقياس F1-score: مقياس مدمج للتوازن#

يوفر مقياس F1-score قيمة واحدة تلتقط التوازن بين الإحكام والاستدعاء. يتم حساب F1-score كحاصل ضرب ضعفي الإحكام والاستدعاء، مقسوماً على مجموع الإحكام والاستدعاء. إنه مفيد عندما تكون الإيجابيات الكاذبة والسلبيات الكاذبة مهمة، كما أنه مفيد عند العمل مع مجموعات بيانات غير متوازنة أو عندما تكون هناك حاجة إلى رؤية متوازنة لأداء النموذج.

الشكل 4. حساب F1-score باستخدام الإحكام والاستدعاء (المصدر)

Link to this sectionما وراء الدقة والإحكام والاستدعاء#

بينما تعد الدقة والإحكام والاستدعاء أموراً أساسية، إلا أن هناك مقاييس أخرى توفر رؤى إضافية بناءً على نوع النموذج وخصائص مجموعة البيانات.

فيما يلي بعض المقاييس شائعة الاستخدام التي تساعد في تقييم جوانب مختلفة من الأداء:

• النوعية (Specificity): تقيس مدى قدرة النموذج على تحديد السلبيات الفعلية. وهي مفيدة عندما يكون تجنب الإيجابيات الكاذبة أمراً مهماً.
• AUC: تعطي AUC، أو المساحة تحت المنحنى، درجة واحدة تعكس مدى قدرة النموذج على التمييز بين الفئات.
• خسارة السجل (Log loss): تُستخدم خسارة السجل لقياس مدى ثقة النموذج عند عمل تنبؤات، وتعطي عقوبة أكبر للتنبؤات الخاطئة التي تتم بثقة عالية. هنا، تشير الثقة إلى مدى تأكد النموذج من تنبؤه.
• تقييم التصنيفات المتعددة (Multi-label evaluation): في مهام التصنيفات المتعددة، يتم حساب متوسط المقاييس عبر التصنيفات لتعكس أداء النموذج العام.

Link to this sectionتطبيق الدقة والإحكام والاستدعاء في الرؤية الحاسوبية#

الآن بعد أن أصبح لدينا فهم أوضح للدقة والإحكام والاستدعاء، دعنا نمر عبر كيفية تطبيق هذه المقاييس في الرؤية الحاسوبية.

تدعم نماذج الرؤية الحاسوبية مثل Ultralytics YOLO11 مهام مثل اكتشاف الكائنات، حيث يحدد النموذج ماهية الكائنات الموجودة في صورة ما ويحدد موقعها باستخدام مربعات الإحاطة. يتضمن كل تنبؤ كلاً من تصنيف الكائن وموقعه، مما يجعل التقييم أكثر تعقيداً من مجرد التحقق مما إذا كان التصنيف صحيحاً.

الشكل 5. مثال على استخدام Ultralytics YOLO11 لاكتشاف الكائنات. (المصدر)

ضع في اعتبارك تطبيق تجزئة التجزئة (retail) حيث تُستخدم الكاميرات لتتبع المنتجات على الرفوف تلقائياً. قد يحدد نموذج اكتشاف الكائنات عناصر مثل علب الحبوب، أو علب الصودا، أو زجاجات المياه ويحدد مواقعها.

في هذه الحالة، يخبرنا الإحكام بعدد العناصر المكتشفة التي هي صحيحة فعلياً. يعني الإحكام العالي أن النظام يتجنب الإيجابيات الكاذبة، مثل تصنيف ظل أو كائن خلفية كمنتج. يوضح الاستدعاء عدد المنتجات الحقيقية على الرف التي تمكن النموذج من اكتشافها. يعني الاستدعاء العالي تفويت عدد أقل من العناصر، وهو أمر بالغ الأهمية لتعداد المخزون الدقيق.

لا تزال الدقة قادرة على توفير مقياس عام للصحة، ولكن في هذا النوع من الإعداد، فإن تفويت حتى بضعة منتجات أو اكتشاف عناصر غير موجودة يمكن أن يكون له تأثير كبير على إدارة المخزون. ولهذا السبب ينظر المطورون إلى الإحكام والاستدعاء والدقة معاً لضمان أن النظام موثوق وعملي للاستخدام في العالم الحقيقي.

Link to this sectionالدقة والإحكام والاستدعاء: النقاط الرئيسية#

تعرض الدقة والإحكام والاستدعاء جوانب مختلفة من أداء نموذج التعلم الآلي. قد يكون الاعتماد على مقياس واحد فقط مضللاً.

تساعد الأدوات والمقاييس مثل مصفوفة الارتباك، ومنحنيات الإحكام-الاستدعاء، وF1-score في الكشف عن المقايضات وتوجيه القرارات بشأن إجراء تحسينات على نموذج التعلم الآلي. من خلال اختيار المزيج الصحيح من المقاييس لحل ذكاء اصطناعي محدد، يمكنك ضمان أن تكون النماذج دقيقة وموثوقة وفعالة في تطبيقات العالم الحقيقي.

استكشف مجتمعنا المتنامي! تحقق من مستودع GitHub الخاص بنا لمعرفة المزيد حول الذكاء الاصطناعي. هل أنت مستعد لبدء مشاريع الرؤية الحاسوبية الخاصة بك؟ ألقِ نظرة على خيارات الترخيص لدينا. اكتشف الذكاء الاصطناعي في الزراعة والرؤية الحاسوبية للذكاء الاصطناعي في الروبوتات من خلال زيارة صفحات الحلول الخاصة بنا!