Model Collapse

L’effondrement des modèles est un processus dégénératif dans lequel les modèles génératifs entraînés sur des données produites par des modèles antérieurs perdent, génération après génération, des informations sur la distribution des données d’origine. Les cas rares situés dans les extrémités de la distribution disparaissent en premier ; après suffisamment d’itérations, les sorties convergent vers une version étroite et répétitive des motifs les plus courants. Shumailov et al. ont démontré ce phénomène dans un article publié en 2024 dans Nature, pour les modèles de langage de grande taille (LLM), les autoencodeurs variationnels et les modèles de mélange gaussien. Le risque augmente à mesure que le texte généré par l’IA et les images occupent une part croissante des données du Web utilisées pour entraîner les futurs modèles.

Pourquoi l’effondrement se produit#

Chaque génération ajuste un modèle sur un échantillon fini, puis produit les données de la génération suivante en effectuant des échantillonnages à partir de cet ajustement. Shumailov et al. recensent trois erreurs qui s’accumulent au fil des générations : l’erreur d’approximation statistique, car un échantillon fini omet des événements rares ; l’erreur d’expressivité fonctionnelle, car le modèle ne peut pas représenter exactement la véritable distribution ; et l’erreur d’approximation fonctionnelle, car les procédures d’entraînement telles que la descente de gradient stochastique sont imparfaites. Dès qu’un événement rare manque dans les données d’une génération, le modèle suivant lui attribue une probabilité nulle et cet événement ne réapparaît jamais. Les auteurs distinguent l’effondrement précoce, où les extrémités disparaissent, de l’effondrement tardif, où la distribution se resserre autour de quelques sorties courantes présentant peu de variabilité.

La simulation ci-dessous traite un tableau de fréquences de mots comme le modèle. À chaque génération, elle compte 10 000 mots échantillonnés depuis le modèle précédent, soit en remplaçant les données antérieures, soit en les ajoutant :

import torch

torch.manual_seed(0)
vocab = 1000
human = 1 / torch.arange(1, vocab + 1)  # Zipf-like word frequencies: a few common words, a long tail
human = human / human.sum()
real = torch.multinomial(human, 10_000, replacement=True)  # human-written training text
print(f"Human data: {real.unique().numel()} distinct words")

for mode in ("replace", "accumulate"):
    data = real
    for generation in range(20):
        # "Train" a model by counting word frequencies, then sample the next generation's text from it
        model = torch.bincount(data, minlength=vocab) / len(data)
        samples = torch.multinomial(model, 10_000, replacement=True)
        data = samples if mode == "replace" else torch.cat([data, samples])
    print(f"{mode}: {data.unique().numel()} distinct words after 20 generations")

L’échantillon humain contient 916 des 1 000 mots. Après 20 générations qui s’entraînent uniquement sur les sorties de la génération précédente, il ne reste que 302 mots ; les 614 autres, principalement issus de la longue traîne, ont définitivement disparu. Lorsque les échantillons de chaque génération sont ajoutés aux données humaines, les 916 mots subsistent, car les données réelles restent dans chaque jeu d’entraînement.

Éléments probants et limites#

La distinction entre remplacement et accumulation s’applique aux modèles réels. Gerstgrasser et al. (2024) ont préentraîné des séquences de modèles de langage et constaté que le remplacement des données réelles par les données synthétiques de chaque génération menait à l’effondrement, tandis que l’ajout des données synthétiques aux données réelles d’origine l’évitait ; les résultats étaient similaires pour les modèles de diffusion et les autoencodeurs variationnels. Pour les générateurs d’images, Alemohammad et al. ont constaté qu’en l’absence d’une quantité suffisante de nouvelles données réelles à chaque génération d’une boucle autoalimentée, la qualité ou la diversité diminue progressivement ; privilégier les échantillons de qualité, par exemple en sélectionnant les meilleures sorties, préserve la qualité au détriment de la diversité. Les données synthétiques générées et filtrées délibérément restent très utilisées, par exemple pour la distillation des connaissances à partir d’un modèle enseignant plus performant ; l’effondrement résulte de la réutilisation récursive et indiscriminée des sorties non filtrées d’un modèle.

Effondrement des modèles et notions connexes#

• Effondrement de mode : le générateur d’un réseau antagoniste génératif (GAN) apprend à ne produire que quelques types de sorties au cours d’un seul entraînement, par exemple le même visage à répétition. L’effondrement des modèles se produit au fil de modèles successifs entraînés sur les données les uns des autres.
• Oubli catastrophique : un modèle perd une tâche antérieure après avoir été entraîné sur une nouvelle tâche. Dans l’effondrement des modèles, la tâche reste la même et ce sont les données d’entraînement qui se dégradent.
• Surapprentissage : un modèle mémorise son jeu d’entraînement et généralise mal. Un modèle effondré peut bien s’ajuster à ses données d’entraînement, mais celles-ci ne représentent plus la distribution réelle.
• Contenu médiocre généré par l’IA : contenu de faible qualité généré par l’IA et publié en ligne, qui peut alimenter l’effondrement lorsqu’il est récupéré dans des jeux d’entraînement.

Prévenir l’effondrement des modèles#

L’entraînement à l’échelle du Web ferme la boucle entre les modèles et les données utilisées pour les entraîner :

Les principales mesures de protection découlent des résultats observés : conserver les données humaines d’origine dans chaque jeu d’entraînement et y ajouter les données synthétiques plutôt que de les remplacer ; suivre la provenance des données pour identifier les échantillons générés, à l’aide de signaux comme le filigranage de l’IA et les attestations de contenu C2PA ; et filtrer ou vérifier les échantillons synthétiques avant de les utiliser pour l’entraînement. La plateforme Ultralytics applique le principe d’accumulation aux jeux de données de vision : son action Générer des images similaires crée de 1 à 16 variantes générées d’une image existante ; celles que l’utilisateur conserve sont ajoutées comme nouvelles images non annotées à côté des images réelles, prêtes pour l’annotation.