Algorithmic Bias

El sesgo algorítmico hace referencia a errores sistemáticos y repetibles en un sistema informático que generan resultados injustos, como favorecer a un grupo arbitrario de usuarios frente a otros. En el contexto de la Inteligencia Artificial (AI), este fenómeno se produce cuando un modelo de aprendizaje automático (ML) genera resultados constantemente sesgados en contra de determinados grupos demográficos o escenarios. A diferencia de los errores aleatorios, que constituyen un ruido impredecible, el sesgo algorítmico refleja un defecto estructural en la forma en que se diseñó, entrenó o implementó el modelo. Abordar estos sesgos es un aspecto fundamental de la ética de la IA y resulta esencial para generar confianza en los sistemas automatizados de toma de decisiones.

Orígenes y mecanismos#

El sesgo puede infiltrarse en los sistemas de IA por varias vías. La fuente más habitual son unos datos de entrenamiento poco representativos. Si un modelo de visión artificial (CV) se entrena principalmente con imágenes de una región geográfica, puede tener dificultades para reconocer objetos o escenas de otras partes del mundo. Esto suele denominarse sesgo del conjunto de datos. Sin embargo, el propio algoritmo —la lógica matemática que procesa los datos— también puede introducir sesgos. Por ejemplo, un algoritmo de optimización diseñado para maximizar la precisión general podría sacrificar el rendimiento en subgrupos pequeños y poco representados para lograr una puntuación total más alta.

Aplicaciones y consecuencias en el mundo real#

El impacto del sesgo algorítmico es significativo en diversos sectores, especialmente cuando los sistemas automatizados toman decisiones de alto riesgo.

• Diagnóstico sanitario: En la IA en el ámbito sanitario, los modelos se utilizan para detectar enfermedades a partir de imágenes médicas. Los estudios han demostrado que algunos algoritmos eran menos precisos al diagnosticar cáncer de piel en tonos de piel más oscuros porque los conjuntos de datos utilizados para el entrenamiento estaban dominados por pacientes de piel clara. Esta disparidad pone de manifiesto la necesidad de un análisis diverso de imágenes médicas para garantizar la misma calidad asistencial.
• Contratación y selección de personal: Muchas empresas utilizan herramientas automatizadas para filtrar currículos. Un caso histórico destacado fue el de una herramienta de selección que aprendió a penalizar los currículos que contenían la palabra «women's» porque se había entrenado con currículos enviados durante una década, en su mayoría por hombres. Esto ilustra cómo los sesgos históricos pueden quedar codificados mediante el modelado predictivo.
• Análisis facial: Las primeras versiones del software comercial de reconocimiento facial mostraron tasas de error significativamente superiores en mujeres y personas racializadas. Organizaciones como la Algorithmic Justice League han sido fundamentales para poner de relieve estas disparidades y defender una tecnología más equitativa.

Diferenciación de conceptos relacionados#

Para mitigar eficazmente el sesgo, resulta útil distinguir el «sesgo algorítmico» de términos relacionados del ámbito de la IA responsable.

• Frente al sesgo del conjunto de datos: El sesgo del conjunto de datos hace referencia específicamente a defectos en los datos de entrada, como errores de muestreo o incoherencias en el etiquetado. El sesgo algorítmico es el resultado más amplio, que engloba los errores derivados de los datos, de la arquitectura del modelo o de la función objetivo.
• Frente a la equidad en la IA: La equidad en la IA es la disciplina proactiva y el conjunto de estrategias que se utilizan para prevenir y corregir el sesgo algorítmico. El sesgo es el problema; la equidad, el objetivo.
• Frente a la deriva del modelo: En ocasiones, un modelo no presenta sesgos durante el entrenamiento, pero se vuelve sesgado con el tiempo a medida que cambian los datos del mundo real. Esto se conoce como deriva de datos y requiere una supervisión continua del modelo para detectarlo.

Estrategias de mitigación#

Los desarrolladores pueden reducir el sesgo algorítmico mediante pruebas rigurosas y estrategias de entrenamiento diversas. Técnicas como el aumento de datos pueden ayudar a equilibrar los conjuntos de datos al crear variaciones de ejemplos poco representados. Además, seguir marcos como el Marco de gestión de riesgos de IA del NIST garantiza un enfoque estructurado para identificar riesgos.

El siguiente ejemplo muestra cómo aplicar el aumento de datos durante el entrenamiento con Ultralytics YOLO26, que representa el estado del arte. Al aumentar las transformaciones geométricas, como el volteo o el escalado, el modelo aprende a generalizar mejor, lo que puede reducir el sesgo hacia determinadas orientaciones o posiciones de los objetos.

from ultralytics import YOLO

# Load the YOLO26 model, the new standard for speed and accuracy
model = YOLO("yolo26n.pt")

# Train with increased augmentation to improve generalization
# 'fliplr' (flip left-right) and 'scale' help the model see diverse variations
results = model.train(
    data="coco8.yaml",
    epochs=50,
    fliplr=0.5,  # 50% probability of horizontal flip
    scale=0.5,  # +/- 50% image scaling
)

Herramientas como AI Fairness 360 de IBM y What-If Tool de Google permiten a los ingenieros auditar sus modelos para detectar disparidades entre distintos subgrupos. El uso de datos sintéticos también puede ayudar a cubrir las carencias de los conjuntos de entrenamiento cuando los datos del mundo real son escasos. Para simplificar la gestión de conjuntos de datos y el entrenamiento en la nube, la plataforma de Ultralytics ofrece herramientas para visualizar las distribuciones de datos e identificar posibles desequilibrios desde el principio. En última instancia, lograr la transparencia en la IA requiere combinar soluciones técnicas, equipos de desarrollo diversos y una evaluación continua de la precisión y la exhaustividad en todos los grupos demográficos de usuarios.