Neural Scaling Laws

신경망 스케일링 법칙은 모델 크기, 학습 데이터, 컴퓨팅 연산량이 증가함에 따라 신경망 성능이 어떻게 변하는지 설명하는 경험적 관계입니다. 일반적으로 멱법칙을 따르며, 리소스를 일정한 배수만큼 늘리면 한계점 이상의 오류가 예측 가능한 비율로 감소합니다. 따라서 스케일링 법칙은 대규모 학습 실행의 이점을 추정하고 컴퓨팅 예산을 할당하는 데 유용합니다.

AI 분야에서 스케일링 법칙은 신경망 스케일링 법칙을 가리키는 동의어로 자주 사용됩니다. 확장성은 시스템이 증가하는 워크로드를 효율적으로 처리하는 능력을 의미합니다.

신경망 스케일링 법칙의 작동 방식#

학습 과정의 스케일링 분석은 대체로 세 가지 항목을 중심으로 이루어집니다.

• 모델 크기: 모델 가중치를 포함한 학습된 파라미터의 수는 네트워크가 패턴을 표현하는 능력을 결정합니다.
• 학습 데이터: 학습 데이터의 양은 패턴을 학습하는 데 사용하는 예제를 제공합니다. 언어 모델 데이터셋은 일반적으로 모델이 처리하는 텍스트 단위인 토큰으로 측정합니다.
• 학습 컴퓨팅: 학습 과정에서 수행되는 총 연산량은 부동소수점 연산으로 측정하며, 일반적으로 FLOPs로 약칭합니다.

이러한 리소스는 서로 영향을 주고받습니다. 모델 용량을 늘리면 효과적으로 활용할 수 있는 데이터와 학습 연산량이 달라집니다. 적합된 스케일링 관계는 리소스의 공동 할당과 손실 함수로 측정하는 수치적 오류인 예상 손실을 연결합니다.

양 축을 로그 스케일로 표시하면 멱법칙 곡선은 대략 직선으로 나타납니다. 지수는 리소스가 추가될 때 오류가 얼마나 빠르게 감소하는지 보여줍니다. 소규모 실험으로 곡선을 도출하면 팀에서 더 큰 규모의 실행 결과를 예측할 수 있습니다. 2017년 Joel Hestness와 동료 연구진은 언어, 비전, 번역, 음성 작업에서 오류가 예측 가능한 멱법칙에 따라 감소한다는 사실을 입증했습니다.

Jared Kaplan, Sam McCandlish와 동료 연구진은 2020년 논문 신경 언어 모델의 스케일링 법칙에서 널리 사용되는 언어 모델 관계를 정립했습니다. 이들의 실험은 Transformer의 교차 엔트로피 손실을 파라미터, 데이터, 컴퓨팅과 연관 지었으며, 일부 경향은 7자릿수 이상의 범위에 걸쳐 나타났습니다.

컴퓨팅 최적 학습과 Chinchilla 스케일링#

컴퓨팅 최적 학습은 고정된 학습 예산에서 가장 낮은 손실을 달성하는 모델 크기와 학습 기간의 조합을 선택합니다. 더 큰 모델은 토큰당 더 많은 연산을 소모하므로, 동일한 예산 안에서 사용할 수 있는 토큰 수가 줄어듭니다.

Jordan Hoffmann과 동료 연구진은 2022년 영향력 있는 Chinchilla 할당 규칙을 제시했습니다. 컴퓨팅 자원이 늘어날 때 모델 파라미터와 학습 토큰도 대략 같은 비율로 증가해야 한다는 내용입니다. 연구진은 400개가 넘는 언어 모델을 대상으로 실험했습니다. Chinchilla의 컴퓨팅 최적 할당은 700억 개 파라미터 모델로 동일한 학습 컴퓨팅 예산을 사용한 2,800억 개 파라미터의 Gopher보다 우수한 성능을 달성했습니다.

실무적으로는 파라미터에 컴퓨팅 자원을 지나치게 많이 할당하면 모델이 충분히 학습되지 않습니다. 모델 용량과 데이터를 균형 있게 조정하면 동일한 연산 예산으로 더 나은 성능을 얻을 수 있습니다. 배포 시에는 또 다른 요소를 고려해야 합니다. 소형 모델은 추론에 필요한 연산량이 적으므로, 학습 시 리소스 할당은 예측 결과를 제공하는 비용에도 영향을 미칩니다.

컴퓨터 비전 분야의 활용#

컴퓨터 비전 분야의 스케일링 분석은 모델 용량, 이미지 데이터셋, 학습 연산량, 예측 품질 간의 관계를 보여줍니다. 이를 통해 데이터셋을 확장할지 네트워크 크기를 늘릴지 결정할 수 있습니다.

Google의 비전 Transformer 스케일링 실험은 오류, 데이터, 컴퓨팅 간의 관계를 규명했습니다. 그 결과 20억 개 파라미터를 갖춘 비전 Transformer는 ImageNet에서 90.45%의 top-1 정확도를 달성했으며, 이는 이미지 분류에 스케일링을 조율해 적용하는 것이 실용적으로 유용함을 보여줍니다.

Ultralytics YOLO는 YOLO26의 모델 크기별 변형을 통해 아키텍처를 스케일링하여, 사용자에게 객체 탐지에 사용할 수 있는 다양한 용량 및 연산량 선택지를 제공합니다. 입력 해상도 640픽셀의 COCO에서 YOLO26n은 파라미터 240만 개와 40.9 mAP50–95를 기록한 반면, YOLO26x는 파라미터 5,570만 개와 57.5 mAP50–95를 기록해 16.6포인트 향상되었습니다.

스케일링 비율이 달라지는 이유#

스케일링 지수는 작업, 데이터 구조, 학습 방법에 따라 달라집니다. 랜덤 특징 모델은 수학적으로 해석 가능한 사례입니다. 이 모델은 입력을 고정된 비선형 특징으로 변환한 다음, 출력 가중치를 학습합니다. Alexander Maloney, Daniel Roberts, James Sully는 2022년에 이 구성을 활용해 데이터셋 통계가 멱법칙에 따른 테스트 손실과 궁극적인 성능 정체를 어떻게 유발하는지 설명했습니다.

특징 학습은 학습 중 내부 표현 자체를 바꿉니다. 표현이 바뀌지 않는 고정 특징 추출과는 다릅니다. Blake Bordelon, Alexander Atanasov, Cengiz Pehlevan은 특징 학습이 어려운 작업에서 스케일링을 개선하는 방식을 보여주었습니다. 이들이 해석한 모델에서 특징을 조정하면 매우 어려운 목표 함수의 컴퓨팅 스케일링 지수가 대략 두 배가 됩니다.