Model Collapse

Modenkollaps ist ein degenerativer Prozess, bei dem generative Modelle, die mit Daten trainiert werden, welche frühere Modelle erzeugt haben, von Generation zu Generation Informationen über die ursprüngliche Datenverteilung verlieren. Seltene Fälle an den Rändern der Verteilung verschwinden zuerst. Nach genügend Durchläufen laufen die Ausgaben auf eine schmale, repetitive Version der häufigsten Muster hinaus. Shumailov et al. wiesen den Effekt 2024 in einer Nature-Studie für große Sprachmodelle (LLMs), Variations-Autoencoder und Gaußsche Mischmodelle nach. Das Risiko wächst, wenn KI-generierte Texte und Bilder einen immer größeren Anteil der Webdaten ausmachen, mit denen künftige Modelle trainiert werden.

Warum Modenkollaps entsteht#

Jede Generation passt ein Modell an eine endliche Stichprobe an und erzeugt anschließend durch Stichproben aus diesem angepassten Modell die Daten für die nächste Generation. Shumailov et al. nennen drei Fehler, die sich über Generationen hinweg summieren: statistischer Näherungsfehler, weil eine endliche Stichprobe seltene Ereignisse nicht erfasst; funktionaler Ausdrucksfehler, weil das Modell die tatsächliche Verteilung nicht exakt darstellen kann; und funktionaler Näherungsfehler, weil Trainingsverfahren wie der stochastische Gradientenabstieg unvollkommen sind. Fehlt ein seltenes Ereignis erst einmal in den Daten einer Generation, weist das nächste Modell ihm eine Wahrscheinlichkeit von null zu, und es kehrt nie zurück. Die Forschenden unterscheiden zwischen frühem Kollaps, bei dem die Verteilungsränder verschwinden, und spätem Kollaps, bei dem sich die Verteilung auf wenige häufige Ausgaben mit geringer Varianz verengt.

Die folgende Simulation behandelt eine Wortfrequenztabelle wie ein Modell. Jede Generation zählt 10.000 Wörter, die aus dem vorherigen Modell gezogen wurden. Dabei werden entweder die früheren Daten ersetzt oder die neuen Daten hinzugefügt:

import torch

torch.manual_seed(0)
vocab = 1000
human = 1 / torch.arange(1, vocab + 1)  # Zipf-like word frequencies: a few common words, a long tail
human = human / human.sum()
real = torch.multinomial(human, 10_000, replacement=True)  # human-written training text
print(f"Human data: {real.unique().numel()} distinct words")

for mode in ("replace", "accumulate"):
    data = real
    for generation in range(20):
        # "Train" a model by counting word frequencies, then sample the next generation's text from it
        model = torch.bincount(data, minlength=vocab) / len(data)
        samples = torch.multinomial(model, 10_000, replacement=True)
        data = samples if mode == "replace" else torch.cat([data, samples])
    print(f"{mode}: {data.unique().numel()} distinct words after 20 generations")

Die menschliche Stichprobe enthält 916 der 1.000 Wörter. Nach 20 Generationen, die jeweils nur mit den Ausgaben der vorherigen Generation trainiert werden, bleiben 302 Wörter übrig. Die übrigen 614, hauptsächlich aus dem langen Verteilungsschwanz, sind endgültig verschwunden. Werden die Stichproben jeder Generation stattdessen zu den menschlichen Daten hinzugefügt, bleiben alle 916 erhalten, weil die echten Daten in jedem Trainingsdatensatz enthalten bleiben.

Belege und Grenzen#

Der Unterschied zwischen Ersetzen und Anreichern zeigt sich auch bei realen Modellen. Gerstgrasser et al. (2024) trainierten Sequenzen von Sprachmodellen vor und stellten fest, dass der Ersatz echter Daten durch die synthetischen Daten jeder Generation zum Kollaps führte, während das Hinzufügen synthetischer Daten zu den ursprünglichen echten Daten ihn verhinderte. Bei Diffusionsmodellen und Variations-Autoencodern ergaben sich entsprechende Resultate. Für Bildgeneratoren stellten Alemohammad et al. fest, dass Qualität oder Vielfalt ohne ausreichend neue echte Daten in jeder Generation einer sich selbst speisenden Schleife schrittweise abnehmen. Eine gezielte Auswahl hochwertiger Stichproben, etwa durch Auswahl der besten Ausgaben, erhält die Qualität auf Kosten der Vielfalt. Bewusst erzeugte und gefilterte synthetische Daten werden weiterhin häufig eingesetzt, beispielsweise bei der Wissensdestillation aus einem leistungsstärkeren Lehrermodell. Kollaps entsteht durch die wahllose, wiederholte Nutzung der eigenen ungefilterten Ausgaben eines Modells.

Modenkollaps und verwandte Konzepte#

• Modenkollaps: Ein Generator eines generativen gegnerischen Netzes (GAN) lernt in einem einzelnen Trainingslauf, nur wenige Arten von Ausgaben zu erzeugen, zum Beispiel immer wieder dasselbe Gesicht. Modenkollaps über mehrere Modelle hinweg entsteht dagegen, wenn aufeinanderfolgende Modelle mit den Daten ihrer Vorgänger trainiert werden.
• Katastrophales Vergessen: Ein Modell verliert eine frühere Aufgabe, nachdem es auf eine neue trainiert wurde. Beim Modenkollaps bleibt die Aufgabe gleich, aber die Trainingsdaten verschlechtern sich.
• Überanpassung: Ein Modell prägt sich seinen Trainingsdatensatz ein und lässt sich schlecht auf neue Daten übertragen. Ein kollabiertes Modell kann gut zu seinen Trainingsdaten passen, doch diese Daten repräsentieren nicht mehr die tatsächliche Verteilung.
• KI-Müll: Minderwertige, KI-generierte Inhalte, die online veröffentlicht werden und zum Kollaps beitragen können, wenn sie in Trainingsdatensätze aufgenommen werden.

Modenkollaps verhindern#

Beim Training mit Webdaten im großen Maßstab schließt sich der Kreislauf zwischen Modellen und den Daten, mit denen sie trainiert werden:

Die wichtigsten Gegenmaßnahmen ergeben sich aus den Belegen: Bewahre die ursprünglichen menschlichen Daten in jedem Trainingsdatensatz und füge synthetische Daten hinzu, statt sie zu ersetzen. Verfolge die Herkunft der Daten, damit sich generierte Stichproben erkennen lassen, etwa mithilfe von KI-Wasserzeichen und C2PA-Inhaltsnachweisen. Filtere synthetische Stichproben oder überprüfe sie, bevor du sie zum Training verwendest. Die Ultralytics Platform wendet dieses Anreicherungsprinzip auf Bildverarbeitungsdatensätze an: Mit der Aktion Ähnliche Bilder generieren werden 1 bis 16 Varianten eines vorhandenen Bildes erzeugt. Die Bilder, die eine Person behält, werden neben den echten Bildern als neue, unbeschriftete Bilder hinzugefügt und können anschließend annotiert werden.