Scaling Laws

Las leyes de escalado neuronal son relaciones empíricas de ley potencial que predicen cómo disminuye la pérdida de un modelo a medida que crecen tres recursos: el número de parámetros (N), la cantidad de datos de entrenamiento en tokens (D) y el cómputo de entrenamiento en operaciones de coma flotante (C). Las curvas se mantienen suaves a lo largo de muchos órdenes de magnitud, por lo que los laboratorios las ajustan con ejecuciones pequeñas y económicas y extrapolan para elegir el tamaño y el presupuesto de datos de una ejecución grande antes de invertir en ella. Por ejemplo, el informe de GPT-4 de OpenAI predijo aspectos del rendimiento del modelo final a partir de modelos entrenados con un máximo de 1/1.000 de su cómputo. Las leyes más conocidas describen el modelado del lenguaje, y el mismo método se aplica a modelos de visión, voz y razonamiento.

Leyes de escalado de Kaplan#

En 2020, investigadores de OpenAI dirigidos por Jared Kaplan publicaron Scaling Laws for Neural Language Models. Descubrieron que la pérdida de entropía cruzada de un modelo de lenguaje Transformer sigue una ley potencial en función de N, D y C, y que algunas tendencias abarcan más de siete órdenes de magnitud, mientras que la anchura, la profundidad y otros detalles arquitectónicos tienen efectos mínimos dentro de un amplio intervalo. Los modelos más grandes también aprovechaban mejor las muestras, por lo que el artículo concluyó que el entrenamiento eficiente en cómputo utiliza modelos muy grandes con cantidades de datos relativamente modestas y se detiene mucho antes de la convergencia. GPT-3 siguió esa receta con 175.000 millones de parámetros entrenados con 300.000 millones de tokens.

Chinchilla y el entrenamiento óptimo en cómputo#

El estudio Chinchilla de DeepMind entrenó más de 400 modelos, desde 70 millones hasta más de 16.000 millones de parámetros, con entre 5.000 y 500.000 millones de tokens, y llegó a una conclusión distinta: con un presupuesto de cómputo fijo, el tamaño del modelo y los tokens de entrenamiento deberían crecer en la misma proporción, de modo que duplicar los parámetros exige duplicar los datos. Chinchilla utilizó el mismo cómputo que Gopher, de 280.000 millones de parámetros, pero tenía 70.000 millones de parámetros y aproximadamente cuatro veces más datos; además, superó a Gopher, GPT-3 y Megatron-Turing NLG, de 530.000 millones de parámetros. El estudio ajustó la pérdida con la fórmula L(N, D) = E + A / N^α + B / D^β, donde E es la pérdida irreducible del texto natural y los otros dos términos disminuyen con el tamaño del modelo y la cantidad de datos. El entrenamiento cuesta unos 6 FLOPs por parámetro y token, por lo que C ≈ 6ND; minimizar la pérdida ajustada para un valor dado de C da el modelo óptimo en cómputo:

import numpy as np

# Chinchilla loss fit L(N, D) = E + A / N^alpha + B / D^beta, as re-estimated by Besiroglu et al. (2024)
E, A, B, alpha, beta = 1.8172, 482.01, 2085.43, 0.3478, 0.3658

# Training costs about 6 FLOPs per parameter per token, so a budget C fixes D = C / (6N)
N = np.logspace(8, 13, 10_000)
for C in [1e21, 1e23, 5.76e23, 1e25]:
    D = C / (6 * N)
    loss = E + A / N**alpha + B / D**beta
    best = loss.argmin()
    print(
        f"C={C:.2e} FLOPs: {N[best] / 1e9:6.1f}B params, {D[best] / 1e12:5.2f}T tokens, "
        f"{D[best] / N[best]:.0f} tokens/param, loss {loss[best]:.3f}"
    )

Los coeficientes corresponden a la réplica del ajuste de Chinchilla de Epoch AI, que corrigió la tercera estimación del artículo original. Con el presupuesto de Chinchilla de 5,76 × 10^23 FLOPs, el ajuste elige 72.200 millones de parámetros y 1,33 billones de tokens, valores cercanos a los 70.000 millones y 1,4 billones reales de Chinchilla. Además, para todos los presupuestos de entre 10^21 y 10^25 FLOPs, el resultado es de 17 a 22 tokens por parámetro, en línea con la regla habitual de unos 20.

Más allá del óptimo en cómputo#

La regla de Chinchilla solo minimiza el cómputo de entrenamiento, mientras que el coste de un modelo desplegado se paga con cada consulta. Los modelos más pequeños, entrenados mucho más allá del punto óptimo en cómputo, son más baratos de servir: Meta señaló que los datos óptimos de Chinchilla para un modelo de 8.000 millones de parámetros equivalen a unos 200.000 millones de tokens; sin embargo, Llama 3 8B siguió mejorando de forma log-lineal hasta los 15 billones de tokens, por lo que los modelos de lenguaje pequeños (SLMs) suelen sobreentrenarse. La disponibilidad de datos es el otro límite. Un estudio de 2023 sobre el escalado con datos limitados observó que entrenar con hasta cuatro épocas de datos repetidos apenas alteraba la pérdida frente a usar datos únicos, y los datos sintéticos amplían aún más la disponibilidad de datos de entrenamiento.

Escalado del cómputo en tiempo de prueba#

Un segundo eje consiste en gastar cómputo durante la inferencia. Los modelos de razonamiento, como o1 de OpenAI, generan largas cadenas de pensamiento antes de responder. En 2024, OpenAI informó de que la precisión de o1 aumentaba tanto con más cómputo de aprendizaje por refuerzo como con más tiempo de razonamiento. Un estudio de Google DeepMind y UC Berkeley sobre el escalado del cómputo en tiempo de prueba descubrió que las estrategias óptimas en cómputo, como buscar con un modelo de recompensa del proceso (PRM), eran más de cuatro veces más eficientes que el muestreo best-of-N. También observó que, en problemas que un modelo pequeño puede resolver con una probabilidad no trivial, el cómputo adicional en tiempo de prueba permitía superar a un modelo 14 veces mayor con los mismos FLOPs.

Escalado en visión artificial#

Los modelos de visión siguen el mismo patrón. El estudio Scaling Vision Transformers de Google entrenó un Transformer de visión (ViT) de 2.000 millones de parámetros que alcanzó una precisión top-1 del 90,45 % en ImageNet. Ultralytics YOLO26 crea sus cinco tamaños a partir de un YAML del modelo, cuyas entradas scales definen los multiplicadores de profundidad y anchura y un límite de canales, desde n: [0.50, 0.25, 1024] hasta x: [1.00, 1.50, 512]. En COCO, la precisión media promedio (mAP) aumenta de 40,9 para YOLO26n, con 2,4 millones de parámetros, a 57,5 para YOLO26x, con 55,7 millones: 23 veces más parámetros para ganar 16,6 puntos de mAP50-95.