Neural Scaling Laws

As leis de escala neural são relações empíricas que descrevem como o desempenho das redes neurais muda à medida que aumentam o tamanho do modelo, os dados de treinamento e o esforço computacional. Em geral, elas seguem leis de potência: multiplicar um recurso por um fator fixo produz uma redução proporcional previsível no erro, acima de um limite mínimo. Isso torna as leis de escala úteis para estimar os benefícios de execuções de treinamento maiores e decidir como alocar um orçamento computacional.

Em IA, leis de escala costuma ser sinônimo de leis de escala neural. Escalabilidade descreve a capacidade de um sistema de lidar com cargas de trabalho crescentes de forma eficiente.

Como funcionam as leis de escala neural#

Três grandezas organizam a maioria das análises de escala durante o treinamento:

• Tamanho do modelo: O número de parâmetros aprendidos, incluindo os pesos do modelo, determina a capacidade da rede de representar padrões.
• Dados de treinamento: A quantidade de dados de treinamento fornece exemplos a partir dos quais esses padrões são aprendidos. Os conjuntos de dados de modelos de linguagem são geralmente medidos em tokens, as unidades de texto processadas por um modelo.
• Computação de treinamento: O total de operações aritméticas realizadas durante o treinamento é medido em operações de ponto flutuante, geralmente abreviadas como FLOPs.

Esses recursos interagem: aumentar a capacidade do modelo altera a quantidade de dados e esforço de treinamento que pode ser aproveitada de forma produtiva. Uma relação de escala ajustada conecta a alocação conjunta desses recursos à perda esperada, o erro numérico medido por uma função de perda.

Uma curva de lei de potência parece aproximadamente reta quando os dois eixos usam escalas logarítmicas. Seu expoente descreve a rapidez com que o erro diminui à medida que mais recursos são adicionados. Experimentos menores estabelecem a curva, permitindo que as equipes prevejam execuções maiores. Em 2017, Joel Hestness e colegas demonstraram uma escala previsível do erro segundo leis de potência em tarefas de linguagem, visão, tradução e fala.

Jared Kaplan, Sam McCandlish e colegas estabeleceram relações amplamente usadas para modelos de linguagem no artigo de 2020 Scaling Laws for Neural Language Models. Os experimentos relacionaram a perda de entropia cruzada de Transformers aos parâmetros, aos dados e à computação, com algumas tendências abrangendo mais de sete ordens de grandeza.

Treinamento com computação otimizada e escala Chinchilla#

O treinamento com computação otimizada seleciona a combinação de tamanho do modelo e duração do treinamento que alcança a menor perda para um orçamento de treinamento fixo. Um modelo maior consome mais computação por token, deixando menos tokens disponíveis dentro desse orçamento.

Em 2022, Jordan Hoffmann e colegas apresentaram a influente regra de alocação Chinchilla: os parâmetros do modelo e os tokens de treinamento devem crescer aproximadamente juntos à medida que a computação aumenta. Seus experimentos abrangeram mais de 400 modelos de linguagem. A alocação de computação otimizada de Chinchilla produziu um modelo com 70 bilhões de parâmetros que superou o Gopher, com 280 bilhões de parâmetros, usando o mesmo orçamento computacional de treinamento.

A consequência prática é que alocar computação demais aos parâmetros deixa o modelo subtreinado. Equilibrar a capacidade e os dados melhora o desempenho obtido com o mesmo orçamento de operações aritméticas. A implantação traz outra consideração: modelos menores exigem menos computação para a inferência, então a alocação do treinamento também afeta o custo de servir previsões.

Aplicações em visão computacional#

Na visão computacional, as análises de escala relacionam a capacidade do modelo, os conjuntos de dados de imagens, o esforço de treinamento e a qualidade das previsões. Elas ajudam a decidir se vale a pena ampliar um conjunto de dados ou aumentar o tamanho de uma rede.

Os experimentos do Google sobre escala de Vision Transformers caracterizaram as relações entre erro, dados e computação. O Vision Transformer resultante, com dois bilhões de parâmetros, alcançou 90,45% de acurácia top-1 no ImageNet, demonstrando o valor prático da escala coordenada para a classificação de imagens.

O Ultralytics YOLO aplica escala arquitetural por meio das variantes de tamanho do modelo YOLO26, oferecendo diferentes opções de capacidade e computação para a detecção de objetos. Com resolução de entrada de 640 pixels no COCO, o YOLO26n tem 2,4 milhões de parâmetros e 40,9 mAP50–95, enquanto o YOLO26x tem 55,7 milhões de parâmetros e 57,5 mAP50–95 — um ganho de 16,6 pontos.

Por que as taxas de escala diferem#

Os expoentes de escala dependem da tarefa, da estrutura dos dados e do método de aprendizado. Um modelo de características aleatórias oferece um exemplo que pode ser resolvido matematicamente: ele mapeia entradas para características não lineares fixas e aprende os pesos de saída. Em 2022, Alexander Maloney, Daniel Roberts e James Sully usaram essa construção para explicar como as estatísticas do conjunto de dados produzem uma perda de teste segundo uma lei de potência e, por fim, platôs de desempenho.

O aprendizado de características altera as próprias representações internas durante o treinamento. Isso difere da extração de características fixa, na qual as representações permanecem inalteradas. Blake Bordelon, Alexander Atanasov e Cengiz Pehlevan mostraram como o aprendizado de características melhora a escala em tarefas difíceis: em seu modelo solucionável, a adaptação das características praticamente dobra o expoente de escala computacional para funções-alvo muito difíceis.