Algorithmic Bias

El sesgo algorítmico se refiere a errores sistemáticos y repetibles en un sistema informático que generan resultados injustos, como privilegiar a un grupo arbitrario de usuarios sobre otros. En el contexto de la Inteligencia Artificial (IA), este fenómeno ocurre cuando un modelo de Machine Learning (ML) produce resultados que están sesgados de forma consistente en contra de demografías o escenarios específicos. A diferencia de los errores aleatorios, que constituyen un ruido impredecible, el sesgo algorítmico refleja un fallo estructural en cómo se diseñó, entrenó o desplegó el modelo. Abordar estos sesgos es un aspecto fundamental de la Ética de la IA y es esencial para generar confianza en los sistemas de toma de decisiones automatizados.

Link to this sectionOrígenes y mecanismos#

El sesgo puede infiltrarse en los sistemas de IA por varias vías. La fuente más común son los datos de entrenamiento no representativos. Si un modelo de computer vision (CV) se entrena principalmente con imágenes de una región geográfica, puede tener dificultades para reconocer objetos o escenas de otras partes del mundo. Esto se suele denominar sesgo de conjunto de datos. Sin embargo, el propio algoritmo (la lógica matemática que procesa los datos) también puede introducir sesgos. Por ejemplo, un algoritmo de optimización diseñado para maximizar la precisión general podría sacrificar el rendimiento en subgrupos más pequeños e infrarrepresentados para lograr una puntuación total más alta.

Link to this sectionAplicaciones y consecuencias en el mundo real#

El impacto del sesgo algorítmico es significativo en diversas industrias, especialmente donde los sistemas automatizados toman decisiones de gran importancia.

• Diagnósticos sanitarios: En la IA en la atención sanitaria, los modelos se utilizan para detectar enfermedades a partir de imágenes médicas. Los estudios han demostrado que algunos algoritmos eran menos precisos a la hora de diagnosticar el cáncer de piel en tonos de piel más oscuros porque los datasets utilizados para el entrenamiento estaban dominados por pacientes de piel más clara. Esta disparidad destaca la necesidad de un análisis de imágenes médicas diverso para garantizar una calidad de atención equitativa.
• Contratación y selección de personal: Muchas empresas utilizan herramientas automatizadas para filtrar currículums. Un caso histórico notable involucró una herramienta de selección que aprendió a penalizar los currículums que contenían la palabra "mujeres" porque fue entrenada con una década de currículums enviados mayoritariamente por hombres. Esto ilustra cómo los sesgos históricos pueden ser codificados por el modelado predictivo.
• Análisis facial: Las primeras iteraciones del software comercial de reconocimiento facial demostraron tasas de error significativamente más altas en mujeres y personas de color. Organizaciones como la Algorithmic Justice League han sido fundamentales para destacar estas disparidades y abogar por una tecnología más equitativa.

Link to this sectionDistinguir conceptos relacionados#

Para mitigar el sesgo de manera efectiva, es útil distinguir el "sesgo algorítmico" de términos relacionados en el campo de la IA responsable.

• vs. Sesgo de conjunto de datos: El sesgo de conjunto de datos se refiere específicamente a defectos en los datos de entrada, como errores de muestreo o inconsistencias en el etiquetado. El sesgo algorítmico es el resultado más amplio, que abarca errores derivados de los datos, la arquitectura del modelo o la función objetivo.
• vs. Equidad en la IA: La equidad en la IA es la disciplina proactiva y el conjunto de estrategias utilizadas para prevenir y corregir el sesgo algorítmico. Mientras que el sesgo es el problema, la equidad es el objetivo.
• vs. Deriva del modelo: A veces, un modelo no presenta sesgos durante el entrenamiento, pero se vuelve sesgado con el tiempo a medida que los datos del mundo real cambian. Esto se conoce como deriva de datos, lo que requiere una monitorización del modelo continua para su detección.

Link to this sectionEstrategias de mitigación#

Los desarrolladores pueden reducir el sesgo algorítmico empleando pruebas rigurosas y estrategias de entrenamiento diversas. Técnicas como el aumento de datos pueden ayudar a equilibrar los conjuntos de datos creando variaciones de ejemplos infrarrepresentados. Además, cumplir con marcos de trabajo como el NIST AI Risk Management Framework garantiza un enfoque estructurado para identificar riesgos.

El siguiente ejemplo demuestra cómo aplicar el aumento de datos durante el entrenamiento con el estado del arte Ultralytics YOLO26. Al aumentar las transformaciones geométricas como voltear o escalar, el modelo aprende a generalizar mejor, lo que potencialmente reduce el sesgo hacia orientaciones o posiciones de objetos específicas.

from ultralytics import YOLO

# Load the YOLO26 model, the new standard for speed and accuracy
model = YOLO("yolo26n.pt")

# Train with increased augmentation to improve generalization
# 'fliplr' (flip left-right) and 'scale' help the model see diverse variations
results = model.train(
    data="coco8.yaml",
    epochs=50,
    fliplr=0.5,  # 50% probability of horizontal flip
    scale=0.5,  # +/- 50% image scaling
)

Herramientas como AI Fairness 360 de IBM y What-If Tool de Google permiten a los ingenieros auditar sus modelos en busca de disparidades entre diferentes subgrupos. Utilizar datos sintéticos también puede ayudar a llenar los vacíos en los conjuntos de entrenamiento donde los datos del mundo real son escasos. Para una gestión simplificada de los datasets y el entrenamiento en la nube, la plataforma Ultralytics ofrece herramientas para visualizar las distribuciones de datos e identificar desequilibrios potenciales desde el principio. En última instancia, lograr la transparencia en la IA requiere una combinación de soluciones técnicas, equipos de desarrollo diversos y una evaluación continua de la precisión y la exhaustividad en todas las demografías de usuarios.