Model Collapse

El colapso de modelos es un proceso degenerativo en el que los modelos generativos entrenados con datos producidos por modelos anteriores pierden información sobre la distribución de los datos originales, generación tras generación. Los casos poco frecuentes en los extremos de la distribución desaparecen primero y, tras suficientes iteraciones, los resultados convergen en una versión limitada y repetitiva de los patrones más comunes. Shumailov et al. demostraron este efecto en un artículo de Nature de 2024 con modelos de lenguaje grandes (LLM), autocodificadores variacionales y modelos de mezclas gaussianas. El riesgo aumenta a medida que el texto generado por IA y las imágenes representan una parte cada vez mayor de los datos web con los que se entrenan los modelos futuros.

Por qué se produce el colapso#

Cada generación ajusta un modelo a una muestra finita y después genera los datos de la siguiente generación mediante muestreo a partir de ese ajuste. Shumailov et al. identifican tres errores que se acumulan entre generaciones: error de aproximación estadística, porque una muestra finita no recoge sucesos poco frecuentes; error de capacidad expresiva funcional, porque el modelo no puede representar exactamente la distribución real; y error de aproximación funcional, porque los procedimientos de entrenamiento, como el descenso de gradiente estocástico, son imperfectos. Cuando un suceso poco frecuente desaparece de los datos de una generación, el siguiente modelo le asigna una probabilidad cero y nunca vuelve a aparecer. Los autores distinguen entre colapso temprano, en el que desaparecen los extremos, y colapso tardío, en el que la distribución se estrecha hasta concentrarse en unos pocos resultados comunes con poca varianza.

La simulación siguiente utiliza una tabla de frecuencias de palabras como modelo. En cada generación, cuenta 10.000 palabras extraídas del modelo anterior y sustituye los datos anteriores o los añade a ellos:

import torch

torch.manual_seed(0)
vocab = 1000
human = 1 / torch.arange(1, vocab + 1)  # Zipf-like word frequencies: a few common words, a long tail
human = human / human.sum()
real = torch.multinomial(human, 10_000, replacement=True)  # human-written training text
print(f"Human data: {real.unique().numel()} distinct words")

for mode in ("replace", "accumulate"):
    data = real
    for generation in range(20):
        # "Train" a model by counting word frequencies, then sample the next generation's text from it
        model = torch.bincount(data, minlength=vocab) / len(data)
        samples = torch.multinomial(model, 10_000, replacement=True)
        data = samples if mode == "replace" else torch.cat([data, samples])
    print(f"{mode}: {data.unique().numel()} distinct words after 20 generations")

La muestra humana contiene 916 de las 1.000 palabras. Tras 20 generaciones entrenadas únicamente con los resultados de la generación anterior, quedan 302 palabras y las otras 614, en su mayoría de la cola larga, desaparecen definitivamente. Cuando las muestras de cada generación se añaden a los datos humanos, sobreviven las 916, porque los datos reales permanecen en cada conjunto de entrenamiento.

Evidencias y límites#

La diferencia entre sustituir y acumular también se da en modelos reales. Gerstgrasser et al. (2024) entrenaron previamente secuencias de modelos de lenguaje y descubrieron que sustituir los datos reales por los datos sintéticos de cada generación llevaba al colapso, mientras que acumular datos sintéticos junto a los datos reales originales lo evitaba; obtuvieron resultados similares con los modelos de difusión y los autocodificadores variacionales. En el caso de los generadores de imágenes, Alemohammad et al. descubrieron que, si cada generación de un ciclo de autoconsumo no incluye suficientes datos reales nuevos, la calidad o la diversidad disminuyen progresivamente; también observaron que sesgar las muestras para favorecer la calidad, por ejemplo seleccionando los mejores resultados, conserva la calidad a costa de la diversidad. Los datos sintéticos generados y filtrados deliberadamente se siguen utilizando ampliamente, por ejemplo, en la destilación de conocimiento a partir de un modelo profesor más potente; el colapso se debe a la reutilización recursiva indiscriminada de los propios resultados sin filtrar de un modelo.

Colapso de modelos y conceptos relacionados#

• Colapso de modos: El generador de una red generativa antagónica (GAN) aprende a producir solo unos pocos tipos de resultados durante un mismo entrenamiento; por ejemplo, repite la misma cara. El colapso de modelos se desarrolla entre modelos sucesivos entrenados con los datos de los anteriores.
• Olvido catastrófico: Un modelo pierde una tarea anterior después de entrenarse en otra nueva. En el colapso de modelos, la tarea se mantiene y son los datos de entrenamiento los que se degradan.
• Sobreajuste: Un modelo memoriza su conjunto de entrenamiento y generaliza mal. Un modelo colapsado puede ajustarse bien a sus datos de entrenamiento, pero esos datos ya no representan la distribución real.
• Basura generada por IA: Contenido de baja calidad generado por IA y publicado en Internet; es una de las fuentes que pueden alimentar el colapso cuando se recopila para los conjuntos de entrenamiento.

Cómo prevenir el colapso de modelos#

El entrenamiento a escala web cierra el ciclo entre los modelos y los datos con los que se entrenan:

Las principales medidas de defensa se desprenden de las evidencias: conserva los datos humanos originales en cada conjunto de entrenamiento y añádele datos sintéticos en lugar de sustituirlos; registra la procedencia de los datos para identificar las muestras generadas mediante señales como la marca de agua de IA y las credenciales de contenido C2PA; y filtra o verifica las muestras sintéticas antes de entrenar con ellas. Ultralytics Platform aplica el patrón de acumulación a los conjuntos de datos de visión: su acción Generar imágenes similares crea de 1 a 16 variaciones generadas de una imagen existente, y las que conserva el usuario se añaden como imágenes nuevas sin etiquetar junto a las reales, listas para su anotación.