Algorithmic Bias

Un biais algorithmique est une erreur systématique et reproductible dans un système informatique qui produit des résultats injustes, par exemple en favorisant un groupe de personnes par rapport à un autre dans le recrutement, l’octroi de prêts, les pratiques policières ou les soins de santé. Le terme couvre toute procédure de décision automatisée, d’une formule de calcul du crédit écrite à la main à un réseau neuronal profond ; comme une règle défectueuse s’applique à chaque cas, la même erreur se répète sur des milliers, voire des millions de décisions. Dans les discussions sur l’apprentissage automatique (ML), biais algorithmique et biais dans l’IA sont synonymes. Biais algorithmique est le terme le plus ancien et le plus large ; il désigne généralement les décisions qu’un système déployé prend à propos des personnes.

Trois origines des biais algorithmiques#

Dans leur article de 1996 « Bias in Computer Systems », Batya Friedman et Helen Nissenbaum ont classé les biais en trois catégories selon leur origine, un cadre toujours utilisé aujourd’hui :

• Biais préexistant : le système assimile des préjugés déjà présents dans la société ou dans les archives historiques.
• Biais technique : un choix de conception, par exemple la variable utilisée comme substitut de la grandeur étudiée, engendre l’injustice.
• Biais émergent : le biais apparaît après le déploiement, lorsque la population, le contexte ou l’influence du système sur ses propres données futures évolue.

Amazon a abandonné un modèle expérimental de recrutement après que celui-ci a appris à pénaliser les CV contenant le mot « women's » : un cas de biais préexistant, car le modèle avait été entraîné sur dix ans de CV soumis principalement par des hommes. Un algorithme de santé largement utilisé aux États-Unis illustre le biais technique. Il prédisait les coûts médicaux futurs des patients en guise d’indicateur de leurs besoins de santé ; comme moins d’argent avait été dépensé pour les patients noirs présentant le même niveau de maladie, ceux-ci étaient moins souvent orientés vers des soins supplémentaires. Une étude publiée en 2019 dans Science a montré qu’une correction du biais ferait passer de 17,7 % à 46,5 % la proportion de patients noirs signalés comme ayant besoin d’une aide supplémentaire. La police prédictive est l’exemple classique de biais émergent, dû à une boucle de rétroaction :

Des chercheurs ont montré en 2018 que cette boucle peut s’emballer : les patrouilles constatent davantage d’incidents là où elles sont envoyées, les nouveaux signalements confirment le classement, et le modèle renvoie les patrouilles dans les mêmes quartiers, même lorsque les taux de criminalité sont identiques ailleurs.

Pourquoi les décisions équitables impliquent des compromis#

En 2016, ProPublica a analysé COMPAS, un score de risque utilisé par les tribunaux américains, et a constaté que les prévenus noirs qui ne récidivaient pas étaient près de deux fois plus susceptibles que les prévenus blancs d’être classés à risque élevé (45 % contre 23 %). Le fournisseur a répondu que le score était calibré de façon égale pour les deux groupes, c’est-à-dire qu’un score donné correspondait au même taux de récidive, quelle que soit l’origine raciale. Les deux affirmations étaient vraies. Des chercheurs, dont Kleinberg, Mullainathan et Raghavan, ont alors démontré que lorsque deux groupes ont des taux de base différents, un score imparfait ne peut pas être calibré pour les deux groupes tout en leur attribuant les mêmes taux de faux positifs et de faux négatifs. La simulation suivante illustre ce conflit avec des scores parfaitement calibrés et un seuil commun :

import numpy as np

rng = np.random.default_rng(0)

# True risk per person; group B has a higher base rate than group A
risks = {"A": rng.beta(2, 5, 100_000), "B": rng.beta(3, 4, 100_000)}

for name, risk in risks.items():
    # Outcomes follow the risk exactly, so the score is perfectly calibrated in both groups
    outcome = rng.random(risk.size) < risk
    flagged = risk > 0.5  # one shared decision threshold

    # False positive rate: share of people without the outcome who were flagged anyway
    fpr = flagged[~outcome].mean()
    print(f"group {name}: base rate {outcome.mean():.2f}, false positive rate {fpr:.2f}")

Le taux de base du groupe A est de 0,29 et son taux de faux positifs de 0,06 ; ceux du groupe B sont respectivement de 0,43 et de 0,23 : avec le même score calibré et le même seuil, les personnes du groupe B qui ne connaîtront jamais l’événement sont signalées presque quatre fois plus souvent. Tout système qui transforme des scores en décisions doit faire ce choix. Ultralytics YOLO26 applique un seul seuil de confiance (conf, 0,25 par défaut pour la prédiction) à chaque détection ; tout groupe dont les détections obtiennent des scores plus faibles, comme les piétons rares dans les données d’entraînement, perd donc davantage de détections avec le même réglage.

Biais algorithmiques et notions connexes#

• Biais des jeux de données : défauts des données elles-mêmes, comme un échantillonnage non représentatif. Le biais des jeux de données est l’une des causes des biais algorithmiques, au même titre que les choix de conception et les effets du déploiement.
• Équité en IA : domaine qui définit des critères d’équité, comme la parité démographique ou l’égalité des taux d’erreur, ainsi que les méthodes permettant de les respecter.
• Dérive des données : évolution des données d’entrée après le déploiement, susceptible de créer un biais émergent dans un modèle jugé équitable lors de sa mise en service.

Auditer et réduire les biais algorithmiques#

Les audits comparent les résultats et les taux d’erreur entre groupes, à l’aide de boîtes à outils open source comme Fairlearn et AI Fairness 360 d’IBM. Les corrections interviennent à trois étapes : le prétraitement, qui repondère ou rééchantillonne les données d’entraînement ; le traitement intégré, qui ajoute des contraintes d’équité à l’objectif d’entraînement ; et le post-traitement, qui ajuste les seuils de décision par groupe. La surveillance des modèles continue détecte les biais émergents qui échappent aux audits préalables au lancement. La réglementation exige de plus en plus ces audits : la loi locale 144 de New York, appliquée depuis le 5 juillet 2023, interdit aux employeurs d’utiliser des outils automatisés de recrutement sans qu’un auditeur indépendant les ait vérifiés pour détecter les biais au cours de l’année précédente et que l’employeur publie un résumé avec des ratios d’impact comparant les taux de sélection selon le sexe et la race ou l’origine ethnique.