Algorithmic Bias

El sesgo algorítmico es un error sistemático y repetible en un sistema informático que produce resultados injustos, como favorecer a un grupo de personas frente a otro en la contratación, los préstamos, la actuación policial o la atención sanitaria. El término abarca cualquier procedimiento automatizado de toma de decisiones, desde una fórmula de puntuación crediticia escrita a mano hasta una red neuronal profunda; como una regla defectuosa se aplica a todos los casos, el mismo error se repite en miles o millones de decisiones. En los debates sobre aprendizaje automático (ML), sesgo algorítmico y sesgo en la IA son sinónimos. Sesgo algorítmico es el término más antiguo y amplio, y suele referirse a las decisiones que un sistema desplegado toma sobre las personas.

Tres orígenes del sesgo algorítmico#

En su artículo de 1996 «Sesgo en los sistemas informáticos», Batya Friedman y Helen Nissenbaum clasificaron el sesgo en tres tipos según su origen; es un marco que todavía se utiliza:

• Sesgo preexistente: El sistema asimila prejuicios que ya existían en la sociedad o en los registros históricos.
• Sesgo técnico: Una decisión de diseño, como la variable que se usa como sustituta de la magnitud de interés, genera la injusticia.
• Sesgo emergente: El sesgo aparece tras el despliegue, cuando cambian la población, el contexto o la influencia del propio sistema en sus datos futuros.

Amazon abandonó un modelo experimental de selección de personal después de que aprendiera a penalizar los currículos que contenían la palabra «mujeres», un caso de sesgo preexistente: se había entrenado con diez años de currículos presentados mayoritariamente por hombres. Un algoritmo sanitario muy utilizado en EE. UU. muestra un caso de sesgo técnico. Predecía los costes médicos futuros de los pacientes como sustituto de sus necesidades sanitarias y, como se había gastado menos dinero en pacientes negros con el mismo nivel de enfermedad, los derivaba con menor frecuencia para recibir atención adicional; un estudio de 2019 publicado en Science concluyó que corregir el sesgo elevaría del 17,7 % al 46,5 % la proporción de pacientes negros señalados para recibir ayuda adicional. La predicción policial es el ejemplo habitual de sesgo emergente, debido a un ciclo de retroalimentación:

En 2018, unos investigadores demostraron que este ciclo puede descontrolarse: las patrullas encuentran más incidentes en los lugares a los que se las envía, los nuevos registros confirman la clasificación y el modelo vuelve a enviar patrullas a los mismos barrios, aunque los índices de delincuencia sean iguales en otros lugares.

Por qué las decisiones justas implican compensaciones#

En 2016, ProPublica analizó COMPAS, una puntuación de riesgo utilizada en los tribunales de EE. UU., y descubrió que los acusados negros que no reincidían tenían casi el doble de probabilidades que los acusados blancos de ser clasificados como de mayor riesgo (45 % frente a 23 %). La empresa respondió que la puntuación estaba calibrada por igual para ambos grupos, es decir, que una puntuación determinada correspondía a la misma tasa de reincidencia, independientemente de la raza. Ambas afirmaciones eran ciertas. A continuación, investigadores como Kleinberg, Mullainathan y Raghavan demostraron que, cuando dos grupos tienen tasas de referencia distintas, una puntuación imperfecta no puede estar calibrada para ambos grupos y, a la vez, darles las mismas tasas de falsos positivos y falsos negativos. La siguiente simulación muestra el conflicto con puntuaciones perfectamente calibradas y un único umbral compartido:

import numpy as np

rng = np.random.default_rng(0)

# True risk per person; group B has a higher base rate than group A
risks = {"A": rng.beta(2, 5, 100_000), "B": rng.beta(3, 4, 100_000)}

for name, risk in risks.items():
    # Outcomes follow the risk exactly, so the score is perfectly calibrated in both groups
    outcome = rng.random(risk.size) < risk
    flagged = risk > 0.5  # one shared decision threshold

    # False positive rate: share of people without the outcome who were flagged anyway
    fpr = flagged[~outcome].mean()
    print(f"group {name}: base rate {outcome.mean():.2f}, false positive rate {fpr:.2f}")

El grupo A tiene una tasa de referencia de 0,29 y una tasa de falsos positivos de 0,06, mientras que el grupo B tiene una tasa de referencia de 0,43 y una tasa de falsos positivos de 0,23: con la misma puntuación calibrada y el mismo umbral, se señala a personas del grupo B que nunca presentan el resultado casi cuatro veces más a menudo. Todo sistema que convierte puntuaciones en decisiones se enfrenta a esta disyuntiva. Ultralytics YOLO26 aplica el mismo umbral de confianza (conf, 0,25 de forma predeterminada para la predicción) a todas las detecciones, por lo que cualquier grupo cuyas detecciones obtengan puntuaciones más bajas, como los peatones poco representados en los datos de entrenamiento, pierde más detecciones con la misma configuración.

Sesgo algorítmico y términos relacionados#

• Sesgo del conjunto de datos: Defectos en los propios datos, como un muestreo poco representativo. El sesgo del conjunto de datos es una de las causas del sesgo algorítmico, junto con las decisiones de diseño y los efectos del despliegue.
• Equidad en IA: Campo que define criterios de equidad, como la paridad demográfica o la igualdad de las tasas de error, y los métodos para alcanzarlos.
• Deriva de datos: Cambio en los datos de entrada después del despliegue que puede generar sesgo emergente en un modelo que se probó como justo antes de su lanzamiento.

Auditoría y reducción del sesgo algorítmico#

Las auditorías comparan resultados y tasas de error entre grupos mediante herramientas de código abierto como Fairlearn y AI Fairness 360 de IBM. Las correcciones se aplican en tres etapas: el preprocesamiento modifica el peso o el muestreo de los datos de entrenamiento; el procesamiento durante el entrenamiento añade restricciones de equidad al objetivo de entrenamiento; y el posprocesamiento ajusta los umbrales de decisión por grupo. La monitorización continua del modelo detecta sesgos nuevos que las auditorías previas al lanzamiento no descubren. La normativa exige cada vez más estas auditorías: la Ley Local 144 de la ciudad de Nueva York, en vigor desde el 5 de julio de 2023, prohíbe a los empleadores utilizar herramientas automatizadas de contratación a menos que un auditor independiente las haya revisado para detectar sesgos durante el último año y el empleador publique un resumen con índices de impacto que comparen las tasas de selección por sexo y raza u origen étnico.