Scaling Laws

Observações empíricas sobre o escalonamento neural na inteligência artificial demonstram que o desempenho de um modelo melhora de forma previsível à medida que recursos específicos — como poder computacional, tamanho do conjunto de dados e número de parâmetros — aumentam. Inicialmente popularizadas por pesquisas de organizações como a OpenAI e a Google DeepMind, essas relações de lei de potência mostram que aumentar os recursos produz reduções matematicamente previsíveis na perda de entropia cruzada. Compreender esses princípios permite que pesquisadores e engenheiros aloquem com eficiência orçamentos de vários milhões de dólares, projetando exatamente qual deve ser o tamanho de uma rede neural para atingir uma precisão desejada antes de iniciar uma execução de treinamento de grande escala.

A Evolução do Escalonamento do Pré-Treinamento#

A formulação original dessas regras, conhecida como leis de escalonamento de Kaplan, introduzida em 2020, estabeleceu que o desempenho dos modelos de linguagem escala suavemente com o aumento do poder computacional de treinamento. Essa estrutura foi posteriormente refinada pelas Leis de Escalonamento de Chinchilla em 2022, que revelaram que, para um treinamento ideal, tanto o tamanho do modelo quanto os dados de treinamento devem ser escalados em proporções iguais. Por exemplo, se você duplicar os parâmetros de um modelo, também deverá duplicar o número de tokens de treinamento. Esse paradigma orientou com sucesso o desenvolvimento dos modernos Modelos de Linguagem de Grande Escala (LLMs) criados com estruturas como PyTorch e TensorFlow, garantindo que grandes clusters de GPUs sejam utilizados de forma eficaz, sem risco de sobreajuste nem desperdício de recursos computacionais.

A Mudança de Paradigma: Escalonamento do Poder Computacional no Momento do Teste#

Entre 2024 e 2025, conforme destacado em relatórios anuais sobre o progresso da IA, o setor de IA passou por uma grande mudança em direção ao escalonamento no momento da inferência. À medida que o pré-treinamento de modelos maiores começou a apresentar retornos decrescentes e a enfrentar limitações na disponibilidade de dados, os pesquisadores descobriram como escalar diretamente o poder computacional dos LLMs no momento do teste. Ao fornecer aos modelos mais poder computacional durante a inferência, é possível melhorar significativamente suas capacidades de raciocínio complexo.

Técnicas como Cadeia de Pensamento (CoT) e amostragem Best-of-N permitem que os modelos explorem vários caminhos antes de responder. Essa lei de escalonamento no momento do teste, desenvolvida pioneiramente por modelos avançados como o o1 da OpenAI e o DeepSeek-R1, juntamente com outros modelos avançados de raciocínio, comprova que aumentar o poder computacional na fase de previsão pode permitir que uma arquitetura muito menor e altamente eficiente supere um modelo legado de grande escala em benchmarks lógicos rigorosos.

Aplicações no mundo real#

Os princípios de escalonamento orientam o desenvolvimento muito além da geração de texto, determinando fortemente os modernos pipelines de visão computacional e detecção de objetos.

• Alocação de Recursos para Modelos Fundamentais: As empresas que desenvolvem sistemas de condução autônoma dependem de fórmulas de escalonamento para calcular exatamente quantas imagens anotadas são necessárias para reduzir as taxas de erro da Precisão Média Média (mAP) a níveis seguros e prontos para produção. Ao utilizar a Plataforma Ultralytics para anotação de dados colaborativa e treinamento distribuído baseado na nuvem, as equipes podem projetar matematicamente seus custos antes da implantação.
• Dimensionamento de Modelos e Implantação na Borda: As fórmulas de escalonamento influenciam diretamente o design arquitetural de modelos modernos como o Ultralytics YOLO26. Ao oferecer uma família unificada de modelos escalada matematicamente de Nano (n) a Extra Large (x), os desenvolvedores podem equilibrar de forma previsível requisitos rigorosos de precisão e a latência de inferência, com base nas limitações específicas do hardware de borda.

Exemplo de Código: Escalonamento no Momento da Inferência em Visão Computacional#

Na visão computacional, você pode utilizar uma forma prática de escalonamento no momento do teste chamada Aumento em Tempo de Teste (TTA). Ao dedicar recursos computacionais adicionais durante a fase de previsão para avaliar várias versões aumentadas de uma imagem, o modelo melhora previsivelmente sua confiança na detecção, reproduzindo as técnicas de busca de raciocínio observadas em LLMs avançados.

from ultralytics import YOLO

# Load the recommended YOLO26 model (nano version for high speed)
model = YOLO("yolo26n.pt")

# Perform standard inference (faster, lower test-time compute)
results_standard = model("https://ultralytics.com/images/bus.jpg")

# Perform inference-time scaling via Test-Time Augmentation (TTA)
# Predictably improves accuracy by utilizing more compute during prediction
results_tta = model("https://ultralytics.com/images/bus.jpg", augment=True)

print(f"Standard detections: {len(results_standard[0].boxes)}")
print(f"Scaled TTA detections: {len(results_tta[0].boxes)}")

Leis de Escalonamento vs. Conceitos Relacionados#

Embora estejam estreitamente relacionadas às capacidades do hardware, as regras de escalonamento de IA medem especificamente a eficiência do software e dos algoritmos em relação a esse hardware.

• Leis de Escalonamento vs. Lei de Moore: A Lei de Moore é uma observação de longa data sobre o hardware que prevê que o número de transistores em um microchip aproximadamente dobra a cada dois anos. Em contraste, o escalonamento de IA acompanha matematicamente como a capacidade real dos modelos melhora com o acesso a esse conjunto cada vez maior de recursos de hardware.
• Escalonamento do Treinamento vs. Escalonamento da Inferência: As fórmulas de treinamento calculam a combinação mais eficiente em termos computacionais de parâmetros e dados durante a criação inicial de um modelo. Já o escalonamento da inferência mede como dedicar dinamicamente recursos computacionais adicionais a etapas de busca e verificação imediatamente antes de gerar uma saída melhora o resultado final sem exigir qualquer novo treinamento.