Bias in AI

El sesgo en la IA, también llamado sesgo de IA, es un error sistemático de un sistema de inteligencia artificial (AI) que genera resultados menos precisos o menos justos para algunos grupos de personas, a menudo por motivos como el tono de piel, el género, la edad, el dialecto o los ingresos. Se diferencia del error aleatorio porque es constante: el mismo grupo obtiene peores resultados una y otra vez. En la mayoría de los casos, sesgo de IA es sinónimo de sesgo algorítmico; sesgo algorítmico es el término más antiguo y también incluye decisiones automatizadas tomadas con fórmulas fijas y reglas de puntuación que no implican aprendizaje. Como el sesgo puede introducirse en cada etapa de la creación de un sistema de aprendizaje automático (ML), los marcos de ética de la IA lo consideran una propiedad de todo el ciclo de vida.

De dónde viene el sesgo#

El informe del NIST Hacia un estándar para identificar y gestionar el sesgo en la inteligencia artificial (SP 1270) clasifica el sesgo en IA en tres categorías: el sesgo sistémico, procedente de las instituciones y la historia; el sesgo estadístico y computacional, procedente de los datos y los algoritmos; y el sesgo humano, procedente de quienes crean y utilizan el sistema. En un flujo de trabajo típico de ML, estas categorías aparecen en etapas concretas:

• Representación y sesgo del conjunto de datos: Los grupos poco representados en los datos de entrenamiento reciben predicciones peores. Un modelo de visión artificial entrenado principalmente con fotos de Norteamérica y Europa reconoce de forma menos fiable objetos y escenas de otras regiones.
• Medición: Una característica o etiqueta mide con menos precisión a un grupo. Los pulsioxímetros sobrestiman el oxígeno en sangre de los pacientes con piel más oscura, y un estudio de 2020 publicado en el New England Journal of Medicine concluyó que los niveles bajos de oxígeno ocultos pasaban inadvertidos casi tres veces más a menudo en pacientes negros que en pacientes blancos.
• Etiquetado: Quienes anotan los datos incorporan sus propios juicios a las etiquetas de las que aprende el modelo. Un estudio de 2019 sobre la detección del discurso de odio concluyó que algunos conjuntos de datos muy utilizados etiquetaban como ofensivos muchos más tuits escritos en inglés afroamericano, y que los modelos entrenados con esos datos marcaban dichos tuits hasta el doble de veces que otros.
• Modelado y evaluación: Minimizar el error medio favorece a la mayoría, y una única puntuación global puede ocultar a un grupo para el que el modelo falla. Los modelos también pueden aprender características indirectas que, por casualidad, están correlacionadas con la pertenencia a un grupo.
• Despliegue: Cuando un modelo se utiliza en una población o un contexto que nunca se han evaluado, o sus resultados alteran los datos de los que aprende después, con el tiempo puede desarrollar nuevos sesgos.

Ejemplos reales#

• Gender Shades: Esta auditoría de 2018 concluyó que los clasificadores comerciales de género clasificaban erróneamente hasta el 34,7 % de las mujeres de piel más oscura y, como máximo, el 0,8 % de los hombres de piel más clara.
• Reconocimiento facial: La evaluación de 2019 del NIST sobre algoritmos de reconocimiento facial detectó tasas de falsos positivos entre 10 y 100 veces superiores para algunos grupos demográficos en muchos de ellos.
• Detección de peatones: Un estudio de 2019 que anotó peatones según el tono de piel en un conjunto de datos de conducción descubrió que los modelos de detección de objetos eran menos precisos con los peatones de piel más oscura. La hora del día y las oclusiones no explicaban esta diferencia.
• IA en dermatología: Los clasificadores de lesiones cutáneas entrenados principalmente con imágenes de piel clara rindieron peor con piel oscura al evaluarse con un conjunto diverso de imágenes clínicas. El ajuste fino con imágenes diversas redujo la diferencia.

Medición del sesgo#

El sesgo se hace visible mediante la evaluación desglosada: se calcula la misma métrica por separado para cada grupo, como recomiendan las fichas de modelos. En el siguiente ejemplo, un sensor da lecturas 1,0 unidades demasiado altas para el grupo B, que representa el 5 % de los pacientes, como en el caso de los pulsioxímetros:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

rng = np.random.default_rng(0)
group_b = rng.random(20000) < 0.05  # 5% of patients belong to group B
oxygen = rng.normal(size=20000)  # true blood oxygen, standardized
y = oxygen < 0  # condition to detect: low oxygen

# The sensor reads 1.0 too high for group B (measurement bias)
reading = (oxygen + 1.0 * group_b).reshape(-1, 1)
x_tr, x_te, y_tr, y_te, _, g_te = train_test_split(reading, y, group_b, random_state=0)

model = LogisticRegression()
model.fit(x_tr, y_tr)
pred = model.predict(x_te)

# Disaggregated evaluation: score each group separately
print(f"overall accuracy: {np.mean(pred == y_te):.3f}")
print(f"group A accuracy: {np.mean(pred[~g_te] == y_te[~g_te]):.3f}")
print(f"group B accuracy: {np.mean(pred[g_te] == y_te[g_te]):.3f}")

El modelo obtiene una puntuación global de 0.967 y una de 0.981 para el grupo A, pero solo 0.706 para el grupo B, cuyas lecturas infladas ocultan los casos de bajo nivel de oxígeno. Las métricas de equidad por grupo, como la igualdad de tasas de falsos negativos entre grupos, formalizan estas comprobaciones dentro de la equidad en IA.

Cómo mitigar el sesgo#

La mitigación empieza por los datos: recopilar más ejemplos de grupos infrarrepresentados, corregir mediciones y etiquetas defectuosas y añadir aumento de datos o datos sintéticos cuando escasean los ejemplos reales. Durante el entrenamiento se pueden reasignar pesos o volver a muestrear los grupos poco frecuentes, o añadir restricciones de equidad; después, el posprocesamiento puede ajustar los umbrales de decisión. Ultralytics Platform muestra gráficamente el número de anotaciones de cada clase de un conjunto de datos, y el argumento cls_pw del entrenamiento de YOLO26 pondera la pérdida de clasificación según la frecuencia inversa de cada clase elevada a esa potencia, de modo que las clases poco frecuentes tengan más peso. El Marco de gestión de riesgos de IA del NIST pide a las organizaciones que midan los sesgos durante todo el ciclo de vida de un sistema, y el artículo 10 de la Ley de IA de la UE exige a los proveedores de sistemas de IA de alto riesgo que examinen sus datos de entrenamiento, validación y prueba para detectar posibles sesgos.

El sesgo en la IA y otros significados de «sesgo»#

• Compromiso entre sesgo y varianza: El sesgo estadístico es el error de un modelo demasiado simple para captar el patrón de los datos, lo que provoca un ajuste insuficiente por igual en todos los grupos.
• Parámetros de sesgo: En una red neuronal, el sesgo de cada neurona es un desplazamiento aprendible que se añade a sus entradas ponderadas: el término independiente de una ecuación lineal.