Algorithmic Bias

التحيز الخوارزمي هو خطأ منهجي متكرر في نظام حاسوبي يؤدي إلى نتائج غير منصفة، مثل تفضيل فئة من الناس على أخرى في التوظيف أو الإقراض أو أعمال الشرطة أو الرعاية الصحية. يشمل المصطلح أي إجراء آلي لاتخاذ القرار، بدءًا من معادلة مكتوبة يدويًا لتقييم الجدارة الائتمانية ووصولًا إلى شبكة عصبية عميقة، ولأن قاعدة معيبة واحدة تُطبّق على كل حالة، يتكرر الخطأ نفسه عبر آلاف القرارات أو ملايينها. وفي نقاشات التعلّم الآلي (ML)، يُستخدم مصطلحا التحيز الخوارزمي والتحيز في الذكاء الاصطناعي مترادفين. التحيز الخوارزمي مصطلح أقدم وأوسع، ويشير عادةً إلى القرارات التي يتخذها نظام منشور بحق الناس.

ثلاثة مصادر للتحيز الخوارزمي#

صنّفت ورقة Batya Friedman وHelen Nissenbaum المنشورة عام 1996، بعنوان «التحيز في أنظمة الحاسوب»، التحيز إلى ثلاثة أنواع وفقًا لمصدره، وهو إطار لا يزال مستخدمًا حتى اليوم:

• التحيز السابق: يمتص النظام أحكامًا مسبقة كانت موجودة أصلًا في المجتمع أو في السجلات التاريخية.
• التحيز التقني: يؤدي خيار تصميمي، مثل اختيار متغير بديل عن الكمية محل الاهتمام، إلى نشوء عدم الإنصاف.
• التحيز الناشئ: يظهر التحيز بعد النشر، عندما يتغير المجتمع السكاني أو السياق أو تأثير النظام نفسه في بياناته المستقبلية.

تخلّت Amazon عن نموذج تجريبي للتوظيف بعد أن تعلم معاقبة السير الذاتية التي تتضمن كلمة "women's"، في مثال على التحيز السابق؛ إذ دُرّب على عشر سنوات من السير الذاتية التي قدّمها الرجال في معظمها. ويُظهر خوارزم مستخدم على نطاق واسع في الرعاية الصحية الأمريكية تحيزًا تقنيًا. فقد تنبأ بالتكاليف الطبية المستقبلية للمرضى بوصفها بديلًا عن احتياجاتهم الصحية، وبما أن الإنفاق على المرضى السود كان أقل عند المستوى نفسه من المرض، فقد أحالهم للحصول على رعاية إضافية بمعدل أقل؛ ووجدت دراسة عام 2019 في Science أن تصحيح التحيز سيرفع نسبة المرضى السود الذين يُحدَّد أنهم بحاجة إلى مساعدة إضافية من 17.7% إلى 46.5%. ويُعد الاستدلال الشرطي التنبؤي المثال المعتاد على التحيز الناشئ عبر حلقة تغذية راجعة:

أظهر الباحثون عام 2018 أن هذه الحلقة قد تتفاقم بلا ضابط: إذ تعثر الدوريات على مزيد من الحوادث في الأماكن التي تُرسَل إليها، وتؤكد السجلات الجديدة الترتيب، فيعيد النموذج توجيه الدوريات إلى الأحياء نفسها حتى عندما تكون معدلات الجريمة في أماكن أخرى مماثلة.

لماذا تنطوي القرارات المنصفة على مفاضلات#

في عام 2016، حلّلت ProPublica نظام COMPAS، وهو درجة لتقييم المخاطر تُستخدم في المحاكم الأمريكية، ووجدت أن احتمال تصنيف المتهمين السود الذين لم يعودوا إلى الإجرام على أنهم أعلى خطورة يكاد يكون ضعف الاحتمال لدى المتهمين البيض (45% مقابل 23%). وردّ المورّد بأن الدرجة معايرة بالتساوي للمجموعتين، أي إن الدرجة المعينة تقابل معدل العودة إلى الإجرام نفسه بصرف النظر عن العرق. وكان الادعاءان صحيحين. ثم أثبت باحثون، منهم Kleinberg وMullainathan وRaghavan، أنه عندما تختلف المعدلات الأساسية بين مجموعتين، لا يمكن معايرة درجة غير مثالية للمجموعتين، وفي الوقت نفسه تحقيق تساوي معدلات الإيجابيات الكاذبة والسلبيات الكاذبة لديهما. وتوضح المحاكاة التالية هذا التعارض باستخدام درجات معايرة تمامًا وعتبة موحدة:

import numpy as np

rng = np.random.default_rng(0)

# True risk per person; group B has a higher base rate than group A
risks = {"A": rng.beta(2, 5, 100_000), "B": rng.beta(3, 4, 100_000)}

for name, risk in risks.items():
    # Outcomes follow the risk exactly, so the score is perfectly calibrated in both groups
    outcome = rng.random(risk.size) < risk
    flagged = risk > 0.5  # one shared decision threshold

    # False positive rate: share of people without the outcome who were flagged anyway
    fpr = flagged[~outcome].mean()
    print(f"group {name}: base rate {outcome.mean():.2f}, false positive rate {fpr:.2f}")

لدى المجموعة A معدل أساسي قدره 0.29 ومعدل إيجابيات كاذبة قدره 0.06، ولدى المجموعة B معدل أساسي قدره 0.43 ومعدل إيجابيات كاذبة قدره 0.23: فالدرجة المعايرة نفسها والعتبة نفسها تحددان أشخاصًا في المجموعة B لن تحدث لهم النتيجة بمعدل يزيد على أربعة أمثال تقريبًا. تواجه كل الأنظمة التي تحوّل الدرجات إلى قرارات هذا الخيار. يطبّق Ultralytics YOLO26 عتبة ثقة واحدة (conf، والقيمة الافتراضية للتنبؤ هي 0.25) على كل اكتشاف، لذا تفقد أي مجموعة تحصل اكتشافاتها على درجات أقل، مثل المشاة النادرون في بيانات التدريب، مزيدًا من الاكتشافات عند الإعداد نفسه.

التحيز الخوارزمي والمصطلحات ذات الصلة#

• تحيز مجموعة البيانات: عيوب في البيانات ذاتها، مثل أخذ عينات لا تمثل المجتمع. ويُعد تحيز مجموعة البيانات أحد أسباب التحيز الخوارزمي، إلى جانب خيارات التصميم وآثار النشر.
• الإنصاف في الذكاء الاصطناعي: مجال يحدد معايير الإنصاف، مثل التكافؤ الديموغرافي أو تساوي معدلات الخطأ، وأساليب تحقيقها.
• انجراف البيانات: تغير بيانات الإدخال بعد النشر، وقد ينشأ عنه تحيز ناشئ في نموذج اختُبر على أنه منصف عند إطلاقه.

تدقيق التحيز الخوارزمي والحد منه#

تقارن عمليات التدقيق النتائج ومعدلات الأخطاء بين المجموعات باستخدام أدوات مفتوحة المصدر مثل Fairlearn وAI Fairness 360 من IBM. وتُجرى المعالجات في ثلاث مراحل: المعالجة المسبقة التي تعيد ترجيح بيانات التدريب أو أخذ عينات منها، والمعالجة أثناء التدريب التي تضيف قيود الإنصاف إلى هدف التدريب، والمعالجة اللاحقة التي تعدّل حدود القرار لكل مجموعة. وتكشف مراقبة النموذج المستمرة التحيز الناشئ الذي قد تفوّته عمليات التدقيق قبل الإطلاق. وتلزم اللوائح بهذه التدقيقات على نحو متزايد: إذ يحظر القانون المحلي رقم 144 لمدينة نيويورك، الساري منذ 5 يوليو 2023، على أصحاب العمل استخدام أدوات التوظيف الآلية ما لم يفحصها مدقق مستقل للكشف عن التحيز خلال السنة الماضية، وينشر صاحب العمل ملخصًا يتضمن نسب الأثر لمقارنة معدلات الاختيار حسب الجنس والعرق أو الإثنية.