Neural Scaling Laws

Las leyes de escalado de redes neuronales son relaciones empíricas que describen cómo cambia el rendimiento de las redes neuronales a medida que aumentan el tamaño del modelo, los datos de entrenamiento y el esfuerzo computacional. Suelen seguir leyes de potencia: multiplicar un recurso por un factor fijo produce una reducción proporcional y predecible del error hasta alcanzar un límite mínimo. Esto hace que las leyes de escalado sean útiles para estimar los beneficios de entrenamientos más grandes y decidir cómo asignar un presupuesto de cómputo.

En IA, leyes de escalado suele ser sinónimo de leyes de escalado de redes neuronales. La escalabilidad describe la capacidad de un sistema para gestionar cargas de trabajo crecientes de forma eficiente.

Cómo funcionan las leyes de escalado de redes neuronales#

Tres magnitudes estructuran la mayoría de los análisis de escalado durante el entrenamiento:

• Tamaño del modelo: El número de parámetros aprendidos, incluidos los pesos del modelo, determina la capacidad de la red para representar patrones.
• Datos de entrenamiento: La cantidad de datos de entrenamiento proporciona ejemplos a partir de los cuales se aprenden esos patrones. Los conjuntos de datos de modelos de lenguaje suelen medirse en tokens, las unidades de texto que procesa un modelo.
• Cómputo de entrenamiento: El total de operaciones aritméticas realizadas durante el entrenamiento se mide en operaciones de coma flotante, normalmente abreviadas como FLOPs.

Estos recursos interactúan: aumentar la capacidad del modelo cambia la cantidad de datos y esfuerzo de entrenamiento que se pueden aprovechar de forma productiva. Una relación de escalado ajustada conecta su asignación conjunta con la pérdida esperada, el error numérico medido por una función de pérdida.

Una curva de ley de potencia parece aproximadamente recta cuando ambos ejes usan escalas logarítmicas. Su exponente describe la rapidez con la que disminuye el error al añadir recursos. Los experimentos más pequeños permiten establecer la curva y prever los resultados de entrenamientos más grandes. En 2017, Joel Hestness y sus colaboradores demostraron que el escalado del error seguía leyes de potencia predecibles en tareas de lenguaje, visión, traducción y habla.

Jared Kaplan, Sam McCandlish y sus colaboradores establecieron relaciones ampliamente utilizadas para modelos de lenguaje en el artículo de 2020 Scaling Laws for Neural Language Models. Sus experimentos relacionaron la pérdida de entropía cruzada de Transformer con los parámetros, los datos y el cómputo; algunas tendencias abarcaban más de siete órdenes de magnitud.

Entrenamiento óptimo en cómputo y escalado de Chinchilla#

El entrenamiento óptimo en cómputo selecciona la combinación de tamaño del modelo y duración del entrenamiento que alcanza la menor pérdida con un presupuesto de entrenamiento fijo. Un modelo más grande consume más cómputo por token, por lo que quedan menos tokens disponibles dentro de ese presupuesto.

En 2022, Jordan Hoffmann y sus colaboradores presentaron la influyente regla de asignación de Chinchilla: los parámetros del modelo y los tokens de entrenamiento deberían crecer aproximadamente a la par al aumentar el cómputo. Sus experimentos abarcaron más de 400 modelos de lenguaje. La asignación óptima en cómputo de Chinchilla produjo un modelo de 70.000 millones de parámetros que superó a Gopher, de 280.000 millones de parámetros, con el mismo presupuesto de cómputo de entrenamiento.

La consecuencia práctica es que asignar demasiado cómputo a los parámetros deja el modelo insuficientemente entrenado. Equilibrar la capacidad y los datos mejora el rendimiento que se obtiene con el mismo presupuesto de operaciones aritméticas. La implementación plantea otra consideración: los modelos más pequeños requieren menos cómputo para la inferencia, por lo que la asignación del entrenamiento también afecta al coste de servir predicciones.

Aplicaciones en visión artificial#

En visión artificial, los análisis de escalado relacionan la capacidad del modelo, los conjuntos de datos de imágenes, el esfuerzo de entrenamiento y la calidad de las predicciones. Ayudan a decidir si ampliar un conjunto de datos o aumentar el tamaño de una red.

Los experimentos de escalado de Vision Transformer de Google caracterizaron las relaciones entre error, datos y cómputo. El Vision Transformer resultante, de 2.000 millones de parámetros, alcanzó una precisión top-1 del 90,45 % en ImageNet, lo que demostró el valor práctico del escalado coordinado para la clasificación de imágenes.

Ultralytics YOLO aplica el escalado arquitectónico mediante las variantes de tamaño de modelo de YOLO26, que ofrecen a los usuarios distintas opciones de capacidad y cómputo para la detección de objetos. Con una resolución de entrada de 640 píxeles en COCO, YOLO26n tiene 2,4 millones de parámetros y 40,9 mAP50–95, mientras que YOLO26x tiene 55,7 millones de parámetros y 57,5 mAP50–95: una mejora de 16,6 puntos.

Por qué varían las tasas de escalado#

Los exponentes de escalado dependen de la tarea, la estructura de los datos y el método de aprendizaje. Un modelo de características aleatorias ofrece un ejemplo que se puede resolver matemáticamente: transforma las entradas en características no lineales fijas y aprende sus pesos de salida. En 2022, Alexander Maloney, Daniel Roberts y James Sully utilizaron esta construcción para explicar cómo las estadísticas de los conjuntos de datos producen una pérdida de prueba que sigue una ley de potencia y, finalmente, mesetas de rendimiento.

El aprendizaje de características modifica las propias representaciones internas durante el entrenamiento. Esto difiere de la extracción de características fija, en la que las representaciones no cambian. Blake Bordelon, Alexander Atanasov y Cengiz Pehlevan demostraron cómo el aprendizaje de características mejora el escalado en tareas difíciles: en su modelo resoluble, adaptar las características duplica aproximadamente el exponente de escalado del cómputo para funciones objetivo muy difíciles.