Bias in AI

Le biais en IA, également appelé biais de l’IA, est une erreur systématique dans un système d’intelligence artificielle (AI) qui produit des résultats moins précis ou moins équitables pour certains groupes de personnes, souvent en fonction de caractéristiques comme la couleur de peau, le genre, l’âge, le dialecte ou le revenu. Il diffère de l’erreur aléatoire, car il est constant : les résultats sont systématiquement moins bons pour un même groupe. Dans la plupart des usages, le biais de l’IA est synonyme de biais algorithmique. Le biais algorithmique est le terme le plus ancien et englobe aussi les décisions automatisées prises à partir de formules fixes et de règles de notation qui ne font appel à aucun apprentissage. Comme le biais peut apparaître à chaque étape de la création d’un système d’apprentissage automatique (ML), les cadres d’éthique de l’IA le considèrent comme une caractéristique de l’ensemble du cycle de vie.

Origines des biais#

Le rapport du NIST intitulé Vers une norme pour identifier et gérer les biais dans l’intelligence artificielle (SP 1270) répartit les biais de l’IA en trois catégories : les biais systémiques issus des institutions et de l’histoire, les biais statistiques et informatiques issus des données et des algorithmes, et les biais humains issus des personnes qui conçoivent et utilisent le système. Dans un pipeline typique d’apprentissage automatique, ces catégories apparaissent à des étapes précises :

• Représentation et biais des jeux de données : les groupes peu représentés dans les données d’entraînement obtiennent des prédictions moins bonnes. Un modèle de vision par ordinateur entraîné principalement sur des photos d’Amérique du Nord et d’Europe reconnaît moins fiablement les objets et les scènes d’autres régions.
• Mesure : une caractéristique ou une étiquette mesure un groupe avec moins de précision. Les oxymètres de pouls surestiment l’oxygène sanguin chez les patients à la peau foncée. Une étude publiée en 2020 dans le New England Journal of Medicine a établi que les cas d’hypoxémie non détectés étaient presque trois fois plus fréquents chez les patients noirs que chez les patients blancs.
• Étiquetage : les annotateurs apportent leurs propres jugements aux étiquettes dont le modèle apprend. Une étude de 2019 sur la détection des discours haineux a révélé que des jeux de données largement utilisés étiquetaient bien plus souvent les tweets rédigés en anglais afro-américain comme offensants. Les modèles entraînés sur ces données signalaient ces tweets jusqu’à deux fois plus souvent que les autres.
• Modélisation et évaluation : minimiser l’erreur moyenne favorise le groupe majoritaire, et un score global unique peut masquer les échecs rencontrés par un groupe. Les modèles peuvent aussi apprendre des caractéristiques de raccourci corrélées par hasard à l’appartenance à un groupe.
• Déploiement : lorsqu’un modèle est utilisé sur une population ou dans un contexte pour lesquels il n’a jamais été testé, ou lorsque ses sorties influencent les données sur lesquelles il apprend ensuite, de nouveaux biais apparaissent progressivement.

Exemples concrets#

• Gender Shades : cet audit de 2018 a révélé que des classificateurs commerciaux de genre se trompaient dans jusqu’à 34,7 % des cas pour les femmes à la peau foncée et dans au maximum 0,8 % des cas pour les hommes à la peau claire.
• Reconnaissance faciale : l’évaluation des algorithmes de reconnaissance faciale menée par le NIST en 2019 a révélé que, pour plusieurs d’entre eux, les taux de faux positifs étaient 10 à 100 fois plus élevés dans certains groupes démographiques.
• Détection des piétons : une étude de 2019, qui a annoté la couleur de peau des piétons dans un jeu de données de conduite, a révélé que les modèles de détection d’objets étaient moins précis pour les piétons à la peau foncée. Ni l’heure de la journée ni l’occultation n’expliquaient cet écart.
• IA en dermatologie : des classificateurs de lésions cutanées entraînés principalement sur des images de peau claire ont obtenu de moins bons résultats sur les peaux foncées lorsqu’ils ont été évalués sur un jeu d’images cliniques diversifié. Un ajustement fin sur des images diversifiées a réduit cet écart.

Mesure des biais#

Les biais deviennent visibles grâce à une évaluation désagrégée, qui calcule séparément la même métrique pour chaque groupe, comme le recommandent les fiches de modèle. Dans l’exemple suivant, un capteur affiche une valeur supérieure de 1.0 unité pour le groupe B, qui représente 5 % des patients, ce qui rappelle le problème des oxymètres de pouls :

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

rng = np.random.default_rng(0)
group_b = rng.random(20000) < 0.05  # 5% of patients belong to group B
oxygen = rng.normal(size=20000)  # true blood oxygen, standardized
y = oxygen < 0  # condition to detect: low oxygen

# The sensor reads 1.0 too high for group B (measurement bias)
reading = (oxygen + 1.0 * group_b).reshape(-1, 1)
x_tr, x_te, y_tr, y_te, _, g_te = train_test_split(reading, y, group_b, random_state=0)

model = LogisticRegression()
model.fit(x_tr, y_tr)
pred = model.predict(x_te)

# Disaggregated evaluation: score each group separately
print(f"overall accuracy: {np.mean(pred == y_te):.3f}")
print(f"group A accuracy: {np.mean(pred[~g_te] == y_te[~g_te]):.3f}")
print(f"group B accuracy: {np.mean(pred[g_te] == y_te[g_te]):.3f}")

Le modèle obtient un score global de 0.967 et un score de 0.981 pour le groupe A, mais seulement de 0.706 pour le groupe B, où les mesures excessives masquent les cas de faible oxygénation. Les métriques d’équité par groupe, comme l’égalité des taux de faux négatifs entre les groupes, formalisent ces vérifications dans le cadre de l’équité en IA.

Atténuation des biais#

L’atténuation commence par les données : collecter davantage d’exemples issus de groupes sous-représentés, corriger les mesures et les étiquettes erronées, et ajouter de l’augmentation de données ou des données synthétiques là où les exemples réels sont rares. Pendant l’entraînement, on peut attribuer un poids plus élevé aux groupes rares, les suréchantillonner ou ajouter des contraintes d’équité ; le post-traitement peut ajuster les seuils de décision. Ultralytics Platform représente graphiquement le nombre d’annotations de chaque classe dans un jeu de données, et l’argument cls_pw pour l’entraînement de YOLO26 pondère la fonction de perte de classification par l’inverse de la fréquence de chaque classe, élevé à cette puissance, afin que les classes rares aient davantage de poids. Le NIST AI Risk Management Framework demande aux organisations de mesurer les biais tout au long du cycle de vie d’un système, et l’article 10 de l’EU AI Act exige des fournisseurs de systèmes d’IA à haut risque qu’ils examinent leurs données d’entraînement, de validation et de test pour détecter d’éventuels biais.

Biais en IA et autres significations du biais#

• Compromis biais-variance : le biais statistique est l’erreur causée par un modèle trop simple pour saisir les régularités des données, ce qui entraîne un sous-apprentissage identique pour tous les groupes.
• Paramètres de biais : dans un réseau de neurones, le biais de chaque neurone est un décalage ajustable ajouté à ses entrées pondérées, c’est-à-dire le terme constant d’une équation linéaire.