Scaling Laws

신경망 스케일링 법칙은 세 가지 자원, 즉 모델 파라미터 수(N), 토큰 단위의 학습 데이터 양(D), 부동소수점 연산 기준 학습 연산량(C)이 증가할 때 모델의 손실이 어떻게 감소하는지 예측하는 경험적 거듭제곱 법칙 관계입니다. 여러 자릿수 범위에서도 곡선이 매끄럽게 유지되므로 연구소들은 규모가 작고 비용이 낮은 실행으로 법칙을 적합한 뒤, 대규모 실행에 비용을 지불하기 전에 모델 크기와 데이터 예산을 정하기 위해 외삽합니다. 예를 들어 OpenAI의 GPT-4 보고서는 최종 모델 연산량의 1/1,000 이하로 학습한 모델을 바탕으로 최종 모델 성능의 일부를 예측했습니다. 가장 잘 알려진 법칙은 언어 모델링을 설명하며, 같은 방법은 비전, 음성, 추론 모델에도 적용됩니다.

Kaplan 스케일링 법칙#

Jared Kaplan이 이끈 OpenAI 연구진은 2020년에 신경망 언어 모델의 스케일링 법칙을 발표했습니다. 연구진은 Transformer 언어 모델의 교차 엔트로피 손실이 N, D, C에 대한 거듭제곱 법칙을 따르며, 일부 추세는 7자릿수를 넘는 범위에서도 성립하는 반면 폭, 깊이 및 기타 아키텍처 세부 사항은 넓은 범위에서 거의 영향을 미치지 않는다는 사실을 발견했습니다. 또한 대형 모델은 샘플 효율이 더 높았기 때문에, 논문은 연산 효율적인 학습을 위해 비교적 적은 데이터로 매우 큰 모델을 학습하고 수렴에 훨씬 앞서 학습을 중단해야 한다고 결론 내렸습니다. GPT-3는 1,750억 개의 파라미터를 3,000억 개의 토큰으로 학습해 이 방식을 따랐습니다.

Chinchilla와 연산 최적 학습#

DeepMind의 Chinchilla 연구는 7,000만 개에서 160억 개가 넘는 파라미터를 가진 400개 이상의 모델을 50억~5,000억 개의 토큰으로 학습했으며, 다른 결론에 도달했습니다. 고정된 연산 예산에서는 모델 크기와 학습 토큰 수를 같은 비율로 늘려야 하므로, 파라미터 수를 두 배로 늘릴 때마다 데이터도 두 배로 늘려야 합니다. Chinchilla는 2,800억 파라미터 Gopher와 같은 연산량을 사용했지만 파라미터는 700억 개였고 데이터는 약 4배 많았습니다. 또한 Gopher, GPT-3, 5,300억 파라미터 Megatron-Turing NLG보다 뛰어난 성능을 보였습니다. 연구에서는 손실을 L(N, D) = E + A / N^α + B / D^β로 적합했으며, 여기서 E는 자연어 텍스트의 줄일 수 없는 손실이고 나머지 두 항은 모델 크기와 데이터가 증가할수록 감소합니다. 학습에는 파라미터당 토큰당 약 6 FLOPs가 필요하므로 C ≈ 6ND이며, 주어진 C에서 적합된 손실을 최소화하면 연산 최적 모델이 산출됩니다.

import numpy as np

# Chinchilla loss fit L(N, D) = E + A / N^alpha + B / D^beta, as re-estimated by Besiroglu et al. (2024)
E, A, B, alpha, beta = 1.8172, 482.01, 2085.43, 0.3478, 0.3658

# Training costs about 6 FLOPs per parameter per token, so a budget C fixes D = C / (6N)
N = np.logspace(8, 13, 10_000)
for C in [1e21, 1e23, 5.76e23, 1e25]:
    D = C / (6 * N)
    loss = E + A / N**alpha + B / D**beta
    best = loss.argmin()
    print(
        f"C={C:.2e} FLOPs: {N[best] / 1e9:6.1f}B params, {D[best] / 1e12:5.2f}T tokens, "
        f"{D[best] / N[best]:.0f} tokens/param, loss {loss[best]:.3f}"
    )

계수는 Epoch AI가 수행한 Chinchilla 적합 결과 재현에서 가져온 것으로, 원 논문의 세 번째 추정치를 수정했습니다. Chinchilla의 예산인 5.76 × 10^23 FLOPs에서 적합 결과는 파라미터 722억 개와 토큰 1조 3,300억 개를 선택합니다. 실제 Chinchilla의 파라미터 700억 개와 토큰 1조 4,000억 개에 가까운 값입니다. 또한 10^21~10^25 FLOPs의 모든 예산에서 파라미터당 17~22개 토큰이 산출되며, 이는 약 20개라는 일반적인 규칙과 일치합니다.

연산 최적화 이후#

Chinchilla 규칙은 학습 연산량만 최소화하지만, 배포된 모델은 쿼리가 들어올 때마다 비용이 발생합니다. 연산 최적점을 훨씬 지나도록 학습한 소형 모델은 서비스 비용이 더 저렴합니다. Meta는 80억 파라미터 모델의 Chinchilla 최적 데이터가 약 2,000억 개 토큰이라고 밝혔지만, Llama 3 8B는 15조 개 토큰까지 로그 선형적으로 계속 개선되었습니다. 이것이 소형 언어 모델(SLM)을 일상적으로 과잉 학습하는 이유입니다. 데이터 공급량도 또 다른 한계입니다. 데이터 제약 스케일링에 관한 2023년 연구에서는 반복 데이터를 최대 4회 에포크까지 학습해도 고유 데이터와 비교해 손실이 거의 달라지지 않는다는 사실을 밝혔으며, 합성 데이터는 학습 데이터의 공급량을 더 늘려 줍니다.

테스트 시점 연산량 스케일링#

두 번째 축은 추론 시점에 연산량을 더 투입합니다. OpenAI의 o1과 같은 추론 모델은 답변하기 전에 긴 사고 연쇄를 생성합니다. OpenAI는 2024년에 o1의 정확도가 강화 학습 연산량을 늘릴 때와 사고 시간을 늘릴 때 모두 향상되었다고 보고했습니다. Google DeepMind와 UC Berkeley의 테스트 시점 연산량 스케일링 연구에서는 과정 보상 모델(PRM)을 활용한 탐색과 같은 연산 최적 전략이 최선 후보 중 선택하는 샘플링보다 4배 이상 효율적이라는 사실을 밝혔습니다. 또한 소형 모델이 의미 있는 성공률을 보이는 문제에서는 테스트 시점 연산량을 추가하면 동일한 FLOPs에서 14배 더 큰 모델보다 뛰어난 성능을 낼 수 있었습니다.

컴퓨터 비전의 스케일링#

비전 모델도 같은 패턴을 따릅니다. Google의 비전 Transformer 스케일링 연구에서는 20억 파라미터 비전 Transformer(ViT)를 학습해 ImageNet에서 90.45%의 top-1 정확도를 달성했습니다. Ultralytics YOLO26은 하나의 모델 YAML로 다섯 가지 크기를 구성합니다. 이 파일의 scales 항목은 깊이 및 폭 배수와 채널 상한을 n: [0.50, 0.25, 1024]부터 x: [1.00, 1.50, 512]까지 설정합니다. COCO에서 평균 정밀도(mAP)는 파라미터 240만 개의 YOLO26n에서 40.9를, 파라미터 5,570만 개의 YOLO26x에서 57.5를 기록합니다. 이는 파라미터를 23배 늘려 mAP50-95가 16.6포인트 향상된 결과입니다.