Fairness in AI

L’équité en IA exige que les décisions et les erreurs d’un modèle ne désavantagent pas systématiquement certaines personnes en raison d’attributs sensibles comme l’origine ethnique, le sexe, l’âge ou le handicap. Elle englobe aussi les métriques et les méthodes utilisées pour mesurer et garantir cette exigence. Le biais en IA désigne le problème : une distorsion systématique qui peut provenir de données d’entraînement non représentatives (biais du jeu de données) ou de choix de modélisation et de déploiement (biais algorithmique). L’équité est le critère auquel un système est soumis ; c’est l’un des principes fondamentaux de l’éthique de l’IA, avec la transparence et la responsabilité. Il en existe plusieurs définitions formelles qui ne peuvent pas toutes être satisfaites simultanément.

Mesurer l’équité#

Les métriques d’équité de groupe comparent le comportement d’un modèle entre des groupes définis par un attribut sensible :

• Parité démographique : Chaque groupe reçoit des décisions positives, comme l’approbation d’un prêt ou une invitation à un entretien, au même taux.
• Égalité des chances égalisées : Chaque groupe présente le même taux de vrais positifs et le même taux de faux positifs. Moritz Hardt, Eric Price et Nathan Srebro l’ont définie en 2016, ainsi que l’égalité des chances, plus faible, qui égalise uniquement le taux de vrais positifs.
• Calibration au sein des groupes : Un score prédit de 0,7 correspond au même taux de résultat de 70 % dans chaque groupe.
• Équité individuelle : Des individus similaires reçoivent des prédictions similaires ; Cynthia Dwork et ses collègues en ont formalisé la définition en 2012.

L’extrait ci-dessous évalue un modèle parfaitement précis sur deux groupes dont les taux de base diffèrent :

import numpy as np

# Outcomes and a sensitive attribute for 10 applicants; group A has a higher base rate
y_true = np.array([1, 1, 1, 1, 0, 1, 1, 0, 0, 0])
group = np.array(["A"] * 5 + ["B"] * 5)

# A perfectly accurate model predicts every outcome correctly
y_pred = y_true.copy()

for g in ("A", "B"):
    in_group = group == g
    selection_rate = y_pred[in_group].mean()
    tpr = y_pred[in_group & (y_true == 1)].mean()  # true positive rate
    fpr = y_pred[in_group & (y_true == 0)].mean()  # false positive rate
    print(f"group {g}: selection rate {selection_rate:.0%}, TPR {tpr:.0%}, FPR {fpr:.0%}")

Le modèle satisfait à l’égalité des chances égalisées, avec un taux de vrais positifs de 100 % et un taux de faux positifs de 0 % dans les deux groupes, tout en enfreignant la parité démographique : 80 % du groupe A et 40 % du groupe B obtiennent une approbation. Imposer des taux de sélection identiques nécessiterait de prendre de mauvaises décisions dans au moins un groupe.

Pourquoi les définitions de l’équité sont contradictoires#

En 2016, Jon Kleinberg, Sendhil Mullainathan et Manish Raghavan, puis Alexandra Chouldechova en 2017, ont démontré que lorsque les taux de base diffèrent entre les groupes, un classificateur ne peut pas être calibré dans chaque groupe tout en ayant des taux de faux positifs et de faux négatifs identiques, sauf dans des cas dégénérés, comme une prédiction parfaite. L’outil de prédiction de la récidive COMPAS illustre concrètement ce conflit. En 2016, ProPublica a rapporté que les prévenus noirs qui ne récidivaient pas étaient presque deux fois plus susceptibles que les prévenus blancs d’être considérés comme présentant un risque élevé, tandis que le développeur de l’outil a montré que ses scores étaient calibrés de manière égale pour les deux groupes. Les deux analyses étaient correctes : choisir une métrique d’équité adaptée à une application est donc autant une décision politique que technique.

Équité en vision par ordinateur#

L’étude Gender Shades de Joy Buolamwini et Timnit Gebru (2018) a évalué trois classificateurs commerciaux du genre et constaté des taux d’erreur allant jusqu’à 34,7 % pour les femmes à la peau foncée, contre 0,8 % au maximum pour les hommes à la peau claire. Des écarts similaires apparaissent dès que des groupes sont sous-représentés dans les images d’entraînement, de la reconnaissance faciale aux modèles d’analyse d’images médicales pour les affections cutanées, entraînés sur des jeux de données dermatologiques dominés par les peaux claires. Un audit de vision par ordinateur présente donc séparément la précision et le rappel pour chaque sous-groupe pertinent et les consigne dans une fiche descriptive de modèle, car une seule mesure globale de la précision peut masquer l’échec d’un sous-groupe.

Stratégies d’atténuation#

Les interventions sont regroupées selon l’étape du pipeline d’apprentissage automatique qu’elles modifient. Les méthodes de prétraitement collectent des données représentatives, comblent les lacunes par une augmentation des données ciblée ou des données synthétiques, et repondèrent les exemples afin que les groupes sous-représentés comptent davantage. Ultralytics YOLO propose la même repondération pour les classes : définir l’argument d’entraînement cls_pw au-dessus de sa valeur par défaut de 0 pondère la perte de chaque classe par sa fréquence inverse élevée à cette puissance, de sorte qu’une classe rare pèse davantage pendant l’entraînement.

Les méthodes intégrées au modèle ajoutent des contraintes ou pénalités d’équité à la fonction de perte, ou utilisent l’optimisation robuste par rapport aux distributions pour réduire la perte du groupe le moins performant. Les méthodes de post-traitement ajustent les seuils de décision par groupe après l’entraînement, comme l’ont proposé Hardt et ses collègues pour atteindre l’égalité des chances égalisées.

Des boîtes à outils open source, comme Fairlearn et AI Fairness 360 d’IBM, implémentent ces métriques et mesures d’atténuation. La réglementation impose de plus en plus souvent ces évaluations : la loi européenne sur l’IA exige que les fournisseurs de systèmes à haut risque examinent les données d’entraînement pour y déceler d’éventuels biais, et la loi locale 144 de la ville de New York impose depuis juillet 2023 des audits indépendants annuels des biais des outils de recrutement automatisés.