Scaling Laws

Las observaciones empíricas del escalado neuronal en inteligencia artificial demuestran que el rendimiento de un modelo mejora de forma predecible al aumentar determinados recursos, como la capacidad de cómputo, el tamaño del conjunto de datos y el número de parámetros. Popularizadas inicialmente por investigaciones de organizaciones como OpenAI y Google DeepMind, estas relaciones de ley de potencias muestran que escalar los recursos produce reducciones matemáticamente predecibles en la pérdida de entropía cruzada. Comprender estos principios permite a investigadores e ingenieros asignar de forma eficiente presupuestos de varios millones de dólares y proyectar exactamente qué tamaño debe tener una red neuronal para alcanzar una precisión objetivo antes de iniciar un entrenamiento masivo.

La evolución del escalado del preentrenamiento#

La formulación original de estas reglas, conocidas como leyes de escalado de Kaplan e introducidas en 2020, estableció que el rendimiento de los modelos de lenguaje escala de forma gradual al aumentar el cómputo de entrenamiento. Posteriormente, las leyes de escalado de Chinchilla, publicadas en 2022, refinaron este marco al revelar que, para lograr un entrenamiento óptimo, tanto el tamaño del modelo como los datos de entrenamiento deben escalar en la misma proporción. Por ejemplo, si duplicas los parámetros de un modelo, también debes duplicar el número de tokens de entrenamiento. Este paradigma guio con éxito el desarrollo de los modernos modelos de lenguaje de gran tamaño (LLMs) creados con frameworks como PyTorch y TensorFlow, garantizando que los enormes clústeres de GPUs se utilicen eficazmente sin riesgo de sobreajuste ni desperdicio de cómputo.

El cambio de paradigma: escalado del cómputo en tiempo de prueba#

Entre 2024 y 2025, como destacan los informes anuales sobre el progreso de la IA, la industria de la IA experimentó un cambio radical hacia el escalado en tiempo de inferencia. Cuando el preentrenamiento de modelos más grandes empezó a ofrecer rendimientos decrecientes y a enfrentarse a límites de disponibilidad de datos, los investigadores descubrieron cómo escalar directamente el cómputo de los LLM en tiempo de prueba. Al proporcionar a los modelos más capacidad de procesamiento durante la inferencia, pueden mejorar considerablemente sus capacidades de razonamiento complejo.

Técnicas como Chain-of-Thought (CoT) y el muestreo Best-of-N permiten a los modelos explorar múltiples rutas antes de responder. Esta ley de escalado en tiempo de prueba, impulsada por modelos avanzados como o1 de OpenAI y DeepSeek-R1, junto con otros modelos avanzados de razonamiento, demuestra que aumentar el cómputo durante la fase de predicción puede permitir que una arquitectura mucho más pequeña y eficiente supere a un enorme modelo heredado en benchmarks lógicos exigentes.

Aplicaciones en el mundo real#

Los principios de escalado rigen el desarrollo mucho más allá de la generación de texto y determinan en gran medida los pipelines modernos de visión por ordenador y detección de objetos.

• Asignación de recursos para modelos fundacionales: Las empresas que desarrollan sistemas de conducción autónoma dependen de fórmulas de escalado para calcular exactamente cuántas imágenes anotadas se necesitan para reducir las tasas de error de la precisión media promedio (mAP) hasta niveles seguros y listos para producción. Al utilizar la Ultralytics Platform para la anotación de datos colaborativa y el entrenamiento distribuido basado en la nube, los equipos pueden proyectar matemáticamente sus costes antes del despliegue.
• Dimensionamiento de modelos y despliegue en el edge: Las fórmulas de escalado influyen directamente en el diseño arquitectónico de modelos modernos como Ultralytics YOLO26. Al ofrecer una familia unificada de modelos escalados matemáticamente desde Nano (n) hasta Extra Large (x), los desarrolladores pueden intercambiar de forma predecible unos requisitos estrictos de precisión por latencia de inferencia en función de las limitaciones específicas de su hardware edge.

Ejemplo de código: escalado en tiempo de inferencia en visión por ordenador#

En visión por ordenador, puedes aprovechar una forma práctica de escalado en tiempo de prueba denominada aumento en tiempo de prueba (TTA). Al dedicar cómputo adicional durante la fase de predicción a evaluar varias versiones aumentadas de una imagen, el modelo mejora de forma predecible su confianza en la detección, imitando las técnicas de búsqueda de razonamiento observadas en los LLM avanzados.

from ultralytics import YOLO

# Load the recommended YOLO26 model (nano version for high speed)
model = YOLO("yolo26n.pt")

# Perform standard inference (faster, lower test-time compute)
results_standard = model("https://ultralytics.com/images/bus.jpg")

# Perform inference-time scaling via Test-Time Augmentation (TTA)
# Predictably improves accuracy by utilizing more compute during prediction
results_tta = model("https://ultralytics.com/images/bus.jpg", augment=True)

print(f"Standard detections: {len(results_standard[0].boxes)}")
print(f"Scaled TTA detections: {len(results_tta[0].boxes)}")

Leyes de escalado frente a conceptos relacionados#

Aunque están estrechamente relacionadas con las capacidades del hardware, las reglas de escalado de la IA miden específicamente la eficiencia del software y de los algoritmos en relación con dicho hardware.

• Leyes de escalado frente a la ley de Moore: La ley de Moore es una observación de larga tradición sobre el hardware que predice que el número de transistores de un microchip aproximadamente se duplica cada dos años. En cambio, el escalado de la IA realiza un seguimiento matemático de cómo mejora la capacidad real de los modelos al disponer de ese conjunto de hardware cada vez mayor.
• Escalado del entrenamiento frente al escalado de la inferencia: Las fórmulas de entrenamiento calculan la combinación de parámetros y datos con mayor eficiencia de cómputo durante la creación inicial de un modelo. Por el contrario, el escalado de la inferencia mide cómo la inversión dinámica de cómputo adicional en pasos de búsqueda y verificación justo antes de generar una salida mejora el resultado final sin necesidad de volver a entrenar el modelo.