Distributionally Robust Optimization

L'optimisation robuste par rapport à la distribution (DRO) est une méthode d'entraînement et de prise de décision qui minimise la perte attendue dans le pire cas parmi un ensemble de distributions de données plausibles, plutôt que sous la seule distribution d'entraînement. L'entraînement classique, appelé minimisation du risque empirique (ERM), suppose que les données futures ressembleront aux données d'entraînement et minimise la perte moyenne. La DRO suppose que les données réelles différeront d'une manière qui peut être bornée et optimise le pire cas dans cette limite. Les modèles qui en résultent échangent une petite part de précision moyenne contre des performances plus stables lorsque les conditions changent, par exemple si une caméra a vu beaucoup plus d'images de jour que de nuit pendant l'entraînement.

Ensembles d’ambiguïté#

L’ensemble des distributions contre lesquelles la DRO se prémunit s’appelle l’ensemble d’ambiguïté, ou ensemble d’incertitude. Sa forme détermine le type de robustesse apporté au modèle :

• Boules de divergence : Elles contiennent toutes les distributions dont la divergence KL ou du khi carré par rapport aux données d'entraînement reste dans une limite fixée. L'optimisation à leur encontre augmente le poids des exemples d'entraînement associés aux pertes les plus élevées, empêchant ainsi le modèle d'ignorer ses exemples les plus difficiles. Un objectif étroitement lié, la valeur conditionnelle à risque, ne moyenne que la fraction la plus défavorable des pertes par exemple.
• Boules de Wasserstein : Elles contiennent les distributions accessibles en déplaçant une quantité limitée de masse de probabilité dans l'espace d'entrée. Comme la distance mesure la quantité de masse déplacée et la distance parcourue, ces ensembles couvrent de petites perturbations des entrées elles-mêmes.
• Mélanges de groupes : Ils contiennent toute repondération de sous-populations connues, comme des images de jour et de nuit ou des examens provenant de différents hôpitaux. Le pire cas correspond alors simplement au groupe le plus défavorable.

La DRO de Wasserstein est étroitement liée à l'entraînement adversarial face aux attaques adversariales, qui optimise lui aussi les entrées voisines dans le pire cas. La taille de l'ensemble est l'hyperparamètre central de la DRO : un ensemble trop vaste prépare le modèle à des données irréalistes et réduit sa précision habituelle, tandis qu'un ensemble trop restreint ne tient pas compte des changements importants en production.

Group DRO#

La DRO par groupes, présentée par Shiori Sagawa, Pang Wei Koh, Tatsunori Hashimoto et Percy Liang dans leurs travaux publiés en 2020, est la forme la plus utilisée en apprentissage profond. Elle minimise la perte du groupe le moins performant au lieu de la perte moyenne sur l'ensemble des exemples. En pratique, elle conserve un poids par groupe d'un lot au suivant, augmente le poids des groupes dont la perte est actuellement la plus élevée, puis rétropropage la perte pondérée par groupe :

import torch

# Per-image losses from one training batch and the condition each image came from
losses = torch.tensor([0.20, 0.30, 0.25, 0.90, 1.10, 0.15])
groups = torch.tensor([0, 0, 0, 1, 1, 0])  # 0 = daytime, 1 = nighttime
group_losses = torch.stack([losses[groups == g].mean() for g in (0, 1)])

# Empirical risk minimization optimizes the average loss over all images
print(f"ERM loss: {losses.mean():.2f}, daytime loss: {group_losses[0]:.2f}, nighttime loss: {group_losses[1]:.2f}")

# Group DRO shifts its group weights toward high-loss groups with an exponentiated-gradient step
group_weights = torch.tensor([0.5, 0.5])  # carried over from earlier batches
group_weights = group_weights * torch.exp(1.0 * group_losses)  # step size 1.0
group_weights = group_weights / group_weights.sum()
dro_loss = (group_weights * group_losses).sum()  # the loss that is backpropagated
print(f"Group weights: day {group_weights[0]:.2f}, night {group_weights[1]:.2f}, group DRO loss: {dro_loss:.2f}")

La perte moyenne de 0,48 semble satisfaisante, mais les deux images de nuit ont une perte moyenne de 1,00, contre 0,22 pour les images de jour. Une mise à jour fait passer les poids des groupes de 0,50 chacun à 0,32 pour le jour et 0,68 pour la nuit ; la perte rétropropagée monte donc à 0,76 et son gradient provient principalement des images de nuit. Au fil des lots, le poids continue d'aller au groupe qui prend du retard.

La DRO par groupes est un remède direct à l'apprentissage de raccourcis. Dans le benchmark Waterbirds, la plupart des photos d'oiseaux aquatiques utilisées pour l'entraînement montrent un arrière-plan aquatique ; l'entraînement classique apprend donc à reconnaître l'arrière-plan et échoue sur les oiseaux aquatiques photographiés sur la terre ferme. Grâce à une forte régularisation, les auteurs ont fait passer la précision de test du pire groupe de 21,3 % avec l'ERM à 84,6 % avec la DRO par groupes ; la précision moyenne est également passée de 95,7 % à 96,6 %. La régularisation est importante, car un grand réseau peut réduire à zéro la perte d'entraînement de chaque groupe, ne laissant ainsi aucun élément à prioriser pour l'objectif de la DRO.

La DRO par groupes nécessite de connaître le groupe de chaque exemple d'entraînement. Lorsque les groupes sont inconnus, une boule de divergence du khi carré peut les remplacer : en 2018, Tatsunori Hashimoto et ses collègues ont montré que la minimisation de la perte dans le pire cas au sein d'une telle boule protège toute sous-population suffisamment grande, sans qu'il soit nécessaire de savoir qui en fait partie.

Trouver les groupes les moins performants#

Les groupes importants sont souvent mis en évidence par les erreurs. Pour les modèles de détection d'objets YOLO26 entraînés sur une version enregistrée d'un jeu de données, la plateforme Ultralytics ajoute des diagnostics par image qui classent les images de validation selon leur score F1, établissent une corrélation entre le score F1 et la taille de l'image, son rapport hauteur/largeur et le nombre d'instances, et répertorient les classes qui apparaissent le plus souvent dans les images les moins performantes. Ensemble, ces informations décomposent une seule précision moyenne (mAP) en groupes candidats à collecter, suréchantillonner ou pondérer.

La DRO sert aussi à bien d'autres domaines que la vision :

• Équité entre les sous-populations : lorsque les groupes sont définis par des caractéristiques démographiques, la minimisation de la perte du groupe le moins performant réduit directement les écarts de performance.
• Changement de distribution dans le monde réel : le benchmark WILDS de Stanford évalue les modèles face à des changements, comme des images de tissus provenant de différents hôpitaux et des images satellite de différentes régions et années, et inclut la DRO par groupes parmi ses bases de référence standard.
• Recherche opérationnelle : La DRO est appliquée à la planification des réseaux électriques, à la gestion des chaînes d'approvisionnement et à la sélection de portefeuilles, où les décisions doivent tenir compte d'une demande ou de prix incertains et où un plan réglé uniquement sur la moyenne historique peut échouer de façon spectaculaire lors d'une année inhabituelle.

DRO, augmentation et surveillance de la dérive#

L'augmentation de données et la DRO abordent le même problème par des moyens opposés. L'augmentation élargit les données vues par le modèle avec des variantes synthétiques des images d'entraînement, tandis que la DRO modifie l'objectif pour donner plus d'importance aux variations rares mais réelles. Elles se combinent bien : l'augmentation fournit des exemples variés, et un objectif de DRO empêche que les plus difficiles soient noyés dans la moyenne. L'adaptation de domaine adopte une troisième approche : elle s'adapte à une distribution cible connue à l'aide de données non étiquetées provenant de celle-ci. Après le déploiement, la surveillance de la dérive des données révèle les changements qu'aucun ensemble d'ambiguïté n'avait prévus ; ces nouvelles conditions deviennent alors les prochains groupes à collecter et à pondérer.