Distributionally Robust Optimization

La optimización robusta ante distribuciones (DRO) es un enfoque de entrenamiento y toma de decisiones que minimiza la pérdida esperada bajo la peor distribución de un conjunto de distribuciones de datos plausibles, en lugar de hacerlo únicamente bajo la distribución de entrenamiento. El entrenamiento estándar, conocido como minimización del riesgo empírico (ERM), supone que los datos futuros se parecerán a los datos de entrenamiento y minimiza la pérdida media. La DRO presupone que los datos reales diferirán de formas acotables y optimiza para el caso más difícil dentro de esos límites. Los modelos resultantes sacrifican algo de precisión media a cambio de un rendimiento más estable cuando cambian las condiciones, por ejemplo, si durante el entrenamiento una cámara captó muchos más vídeos diurnos que nocturnos.

Conjuntos de ambigüedad#

El conjunto de distribuciones frente al que se protege la DRO se denomina conjunto de ambigüedad o conjunto de incertidumbre, y su forma determina qué tipo de robustez obtiene el modelo:

• Bolas de divergencia: Contienen todas las distribuciones cuya divergencia KL o chi-cuadrado con respecto a los datos de entrenamiento no supera un valor fijo. Al optimizar frente a ellas, se da más peso a los ejemplos de entrenamiento con mayor pérdida, de modo que el modelo no puede ignorar sus muestras más difíciles. Un objetivo muy relacionado, el valor en riesgo condicional, calcula la media únicamente de la fracción de pérdidas por ejemplo más elevada.
• Bolas de Wasserstein: Contienen las distribuciones que se pueden alcanzar desplazando una cantidad limitada de masa de probabilidad en el espacio de entrada. Como la distancia mide cuánta masa se desplaza y cuánto, estos conjuntos abarcan pequeñas perturbaciones de las propias entradas.
• Mezclas de grupos: Contienen cualquier reponderación de subpoblaciones conocidas, como imágenes diurnas y nocturnas o escáneres de distintos hospitales. En ese caso, el peor caso es simplemente el peor grupo.

La DRO de Wasserstein está estrechamente relacionada con el entrenamiento adversarial frente a los ataques adversarios, que también optimiza para las entradas cercanas más desfavorables. El tamaño del conjunto es el hiperparámetro central de la DRO: un conjunto grande prepara al modelo para datos poco realistas y reduce su precisión habitual, mientras que uno pequeño no contempla los cambios importantes en producción.

DRO por grupos#

Group DRO, presentada por Shiori Sagawa, Pang Wei Koh, Tatsunori Hashimoto y Percy Liang en un trabajo publicado en 2020, es la forma más utilizada en el aprendizaje profundo. Minimiza la pérdida del grupo con peores resultados, en vez de la pérdida media de todos los ejemplos. En la práctica, mantiene un peso para cada grupo, que se conserva de un lote al siguiente, aumenta el peso de los grupos que en ese momento presentan la mayor pérdida y retropropaga la pérdida ponderada por grupo:

import torch

# Per-image losses from one training batch and the condition each image came from
losses = torch.tensor([0.20, 0.30, 0.25, 0.90, 1.10, 0.15])
groups = torch.tensor([0, 0, 0, 1, 1, 0])  # 0 = daytime, 1 = nighttime
group_losses = torch.stack([losses[groups == g].mean() for g in (0, 1)])

# Empirical risk minimization optimizes the average loss over all images
print(f"ERM loss: {losses.mean():.2f}, daytime loss: {group_losses[0]:.2f}, nighttime loss: {group_losses[1]:.2f}")

# Group DRO shifts its group weights toward high-loss groups with an exponentiated-gradient step
group_weights = torch.tensor([0.5, 0.5])  # carried over from earlier batches
group_weights = group_weights * torch.exp(1.0 * group_losses)  # step size 1.0
group_weights = group_weights / group_weights.sum()
dro_loss = (group_weights * group_losses).sum()  # the loss that is backpropagated
print(f"Group weights: day {group_weights[0]:.2f}, night {group_weights[1]:.2f}, group DRO loss: {dro_loss:.2f}")

La pérdida media de 0,48 parece buena, pero la pérdida media de las dos imágenes nocturnas es de 1,00, frente a 0,22 durante el día. Una actualización cambia los pesos de los grupos: pasan de 0,50 cada uno a 0,32 para el día y 0,68 para la noche, por lo que la pérdida retropropagada sube a 0,76 y su gradiente procede principalmente de las imágenes nocturnas. A lo largo de muchos lotes, el peso sigue desplazándose al grupo que se queda atrás.

Group DRO es una solución directa al aprendizaje de atajos. En la prueba de referencia Waterbirds, la mayoría de las fotos de aves acuáticas del entrenamiento muestran fondos de agua, por lo que el entrenamiento estándar aprende el fondo y falla con las aves acuáticas fotografiadas en tierra. Con una regularización intensa, los autores aumentaron la precisión de prueba del peor grupo del 21,3 % con ERM al 84,6 % con Group DRO; la precisión media también subió del 95,7 % al 96,6 %. La regularización es importante porque una red grande puede reducir a cero la pérdida de entrenamiento de todos los grupos, sin dejar nada que el objetivo DRO pueda priorizar.

Group DRO necesita conocer el grupo al que pertenece cada ejemplo de entrenamiento. Si se desconocen los grupos, se puede usar en su lugar una bola de divergencia chi-cuadrado: en 2018, Tatsunori Hashimoto y sus colegas demostraron que minimizar la pérdida del peor caso dentro de esa bola protege a cualquier subpoblación lo bastante grande sin necesidad de saber quién forma parte de ella.

Cómo encontrar los peores grupos#

Los grupos importantes suelen descubrirse a partir de los errores. Para los modelos de detección de objetos de YOLO26 entrenados con una versión guardada de un conjunto de datos, Ultralytics Platform añade diagnósticos por imagen que ordenan las imágenes de validación según su puntuación F1, relacionan la F1 con el tamaño de la imagen, la relación de aspecto y el número de instancias, y enumeran las clases que aparecen con más frecuencia en las imágenes con peores resultados. En conjunto, desglosan una única precisión media promedio (mAP) en grupos candidatos que recopilar, sobremuestrear o ponderar.

La DRO también se aplica a muchos ámbitos más allá de la visión:

• Equidad entre subpoblaciones: Cuando los grupos se definen mediante atributos demográficos, minimizar la pérdida del peor grupo reduce directamente las diferencias de rendimiento.
• Cambios de distribución en el mundo real: La prueba de referencia WILDS de Stanford evalúa modelos ante cambios como imágenes de tejidos de distintos hospitales e imágenes por satélite de distintas regiones y años, e incluye Group DRO entre sus líneas base estándar.
• Investigación operativa: La DRO se aplica a la programación de redes eléctricas, la planificación de cadenas de suministro y la selección de carteras, ámbitos en los que las decisiones se toman ante una demanda o unos precios inciertos y un plan ajustado únicamente a la media histórica puede fallar estrepitosamente en un año inusual.

DRO, aumento de datos y seguimiento de la deriva#

El aumento de datos y la DRO abordan el mismo problema desde perspectivas opuestas. El aumento amplía lo que ve el modelo con variaciones sintéticas de las imágenes de entrenamiento, mientras que la DRO modifica el objetivo para dar más importancia a las variaciones reales, aunque sean poco frecuentes. Se combinan bien: el aumento proporciona ejemplos variados y el objetivo DRO evita que los más difíciles queden diluidos en la media. La adaptación de dominio adopta una tercera vía: adaptarse a una distribución objetivo conocida usando datos suyos sin etiquetar. Tras el despliegue, la monitorización de la deriva de datos revela cambios que ningún conjunto de ambigüedad había previsto; esas nuevas condiciones se convierten en los siguientes grupos que hay que recopilar y ponderar.