Fairness in AI

La equidad en IA exige que las decisiones y los errores de un modelo no perjudiquen sistemáticamente a las personas por atributos sensibles como la raza, el sexo, la edad o la discapacidad, y abarca las métricas y los métodos utilizados para medir y hacer cumplir este requisito. El sesgo en IA da nombre al problema: una desviación sistemática que puede surgir de datos de entrenamiento poco representativos (sesgo del conjunto de datos) o de decisiones de modelado e implementación (sesgo algorítmico). La equidad es el criterio con el que se evalúa un sistema, uno de los principios fundamentales de la ética de la IA, junto con la transparencia y la rendición de cuentas. Tiene varias definiciones formales que no pueden cumplirse todas a la vez.

Medición de la equidad#

Las métricas de equidad de grupo comparan el comportamiento de un modelo entre grupos definidos por un atributo sensible:

• Paridad demográfica: Cada grupo recibe decisiones positivas, como aprobaciones de préstamos o invitaciones a entrevistas, con la misma frecuencia.
• Igualdad de oportunidades y errores: Cada grupo tiene la misma tasa de verdaderos positivos y la misma tasa de falsos positivos. Moritz Hardt, Eric Price y Nathan Srebro la definieron en 2016, junto con la igualdad de oportunidades, más débil, que iguala solo la tasa de verdaderos positivos.
• Calibración dentro de cada grupo: Una puntuación prevista de 0,7 corresponde a la misma tasa de resultados del 70 % en todos los grupos.
• Equidad individual: Las personas similares reciben predicciones similares; Cynthia Dwork y sus colegas formalizaron esta definición en 2012.

El fragmento siguiente evalúa un modelo perfectamente preciso en dos grupos con distintas tasas de referencia:

import numpy as np

# Outcomes and a sensitive attribute for 10 applicants; group A has a higher base rate
y_true = np.array([1, 1, 1, 1, 0, 1, 1, 0, 0, 0])
group = np.array(["A"] * 5 + ["B"] * 5)

# A perfectly accurate model predicts every outcome correctly
y_pred = y_true.copy()

for g in ("A", "B"):
    in_group = group == g
    selection_rate = y_pred[in_group].mean()
    tpr = y_pred[in_group & (y_true == 1)].mean()  # true positive rate
    fpr = y_pred[in_group & (y_true == 0)].mean()  # false positive rate
    print(f"group {g}: selection rate {selection_rate:.0%}, TPR {tpr:.0%}, FPR {fpr:.0%}")

El modelo cumple la igualdad de oportunidades y errores, con una tasa de verdaderos positivos del 100 % y una tasa de falsos positivos del 0 % en ambos grupos, y aun así incumple la paridad demográfica, ya que aprueba al 80 % del grupo A y al 40 % del grupo B. Forzar tasas de selección iguales obligaría a tomar decisiones incorrectas en al menos uno de los grupos.

Por qué entran en conflicto las definiciones de equidad#

En 2016, Jon Kleinberg, Sendhil Mullainathan y Manish Raghavan, y en 2017, Alexandra Chouldechova, demostraron que, cuando las tasas de referencia difieren entre grupos, un clasificador no puede estar calibrado dentro de cada grupo y tener a la vez las mismas tasas de falsos positivos y falsos negativos, salvo en casos degenerados, como una predicción perfecta. La herramienta de evaluación de reincidencia COMPAS muestra el conflicto en la práctica. En 2016, ProPublica informó de que los acusados negros que no reincidían tenían casi el doble de probabilidades que los acusados blancos de ser clasificados como de alto riesgo, mientras que el desarrollador de la herramienta demostró que sus puntuaciones estaban calibradas por igual para ambos grupos. Ambos análisis eran correctos, así que elegir una métrica de equidad para una aplicación concreta es una decisión tanto política como técnica.

Equidad en visión artificial#

El estudio Gender Shades de Joy Buolamwini y Timnit Gebru (2018) auditó tres clasificadores comerciales de género y encontró tasas de error de hasta el 34,7 % para las mujeres de piel más oscura, frente a un máximo del 0,8 % para los hombres de piel más clara. Se observan diferencias similares siempre que algunos grupos estén infrarrepresentados en las imágenes de entrenamiento, desde los modelos de reconocimiento facial hasta los de análisis de imágenes médicas para afecciones de la piel, entrenados con conjuntos de datos dermatológicos dominados por pieles más claras. Por ello, una auditoría de visión artificial informa por separado de la precisión y la exhaustividad de cada subgrupo relevante y las registra en una ficha del modelo, ya que una única cifra de precisión global puede ocultar el fallo de un subgrupo.

Estrategias de mitigación#

Las intervenciones se agrupan según la etapa de la canalización de aprendizaje automático que modifican. Los métodos de preprocesamiento recopilan datos representativos, cubren lagunas con aumento de datos específico o datos sintéticos y reasignan pesos a los ejemplos para dar más importancia a los grupos infrarrepresentados. Ultralytics YOLO ofrece la misma reasignación para las clases: si el argumento de entrenamiento cls_pw se establece por encima de su valor predeterminado, 0, la pérdida de cada clase se pondera según su frecuencia inversa elevada a esa potencia, por lo que una clase poco frecuente tiene más peso durante el entrenamiento.

Los métodos de procesamiento interno añaden restricciones o penalizaciones de equidad a la función de pérdida, o utilizan la optimización robusta desde el punto de vista distribucional para minimizar la pérdida del grupo con peores resultados. Los métodos de posprocesamiento ajustan los umbrales de decisión de cada grupo después del entrenamiento, el enfoque que Hardt y sus colegas propusieron para alcanzar la igualdad de oportunidades y errores.

Los kits de herramientas de código abierto como Fairlearn y AI Fairness 360 de IBM implementan estas métricas y medidas de mitigación. La normativa exige cada vez más estas mediciones: la Ley de IA de la UE exige a los proveedores de sistemas de alto riesgo que examinen los datos de entrenamiento para detectar posibles sesgos, y la Ley Local 144 de la ciudad de Nueva York exige desde julio de 2023 auditorías independientes anuales de sesgo en las herramientas automatizadas de contratación.