Scaling Laws

Nöral ölçekleme yasaları, üç kaynak arttıkça bir modelin kaybının nasıl azaldığını öngören ampirik kuvvet yasası ilişkileridir: parametre sayısı (N), token cinsinden eğitim verisi miktarı (D) ve kayan nokta işlemleri (C) cinsinden eğitim hesaplama gücü. Eğriler birçok büyüklük mertebesi boyunca düzgün kaldığından laboratuvarlar, büyük bir çalıştırmanın boyutunu ve veri bütçesini maliyetine katlanmadan önce seçmek için küçük ve ucuz çalıştırmalarda bu yasaları uydurup sonuçları ileriye taşır. Örneğin OpenAI'nin GPT-4 raporu, son modelin performansının bazı yönlerini, hesaplama gücü bunun en fazla 1/1.000'i olan modellerden öngördü. En iyi bilinen yasalar dil modellemeyi tanımlar; aynı yöntem görme, konuşma ve akıl yürütme modellerine de uygulanır.

Kaplan Ölçekleme Yasaları#

Jared Kaplan'ın liderlik ettiği OpenAI araştırmacıları, 2020'de Sinirsel Dil Modelleri için Ölçekleme Yasaları çalışmasını yayımladı. Transformer dil modelinin çapraz entropi kaybının N, D ve C bakımından bir kuvvet yasasını izlediğini, bazı eğilimlerin yedi büyüklük mertebesinden daha geniş bir aralığı kapsadığını ve geniş bir aralıkta genişlik, derinlik ve diğer mimari ayrıntıların etkisinin çok az olduğunu buldular. Daha büyük modeller örnekleri de daha verimli kullandığından çalışma, hesaplama açısından verimli eğitimin görece sınırlı veri üzerinde çok büyük modeller kullandığı ve yakınsamadan çok önce durduğu sonucuna vardı. GPT-3, 300 milyar token üzerinde eğitilmiş 175 milyar parametreyle bu tarifi izledi.

Chinchilla ve Hesaplama Açısından En Uygun Eğitim#

DeepMind'ın Chinchilla çalışması, 5 ila 500 milyar token üzerinde 70 milyon ile 16 milyardan fazla parametre arasında değişen 400'den fazla modeli eğitti ve farklı bir sonuca ulaştı: Sabit bir hesaplama bütçesinde model boyutu ile eğitim token'ları aynı oranda artırılmalıdır; yani parametrelerin her iki katına çıkışı, verinin de iki katına çıkarılmasını gerektirir. Chinchilla, 280 milyar parametreli Gopher ile aynı hesaplama gücünü kullanmasına karşın 70 milyar parametreye ve yaklaşık dört kat fazla veriye sahipti; Gopher, GPT-3 ve 530 milyar parametreli Megatron-Turing NLG'den daha iyi performans gösterdi. Çalışma kaybı L(N, D) = E + A / N^α + B / D^β biçiminde uydurdu; burada E, doğal metnin indirgenemez kaybıdır ve diğer iki terim model boyutu ile veri arttıkça küçülür. Eğitim, parametre başına token başına yaklaşık 6 FLOP'a mal olur; bu nedenle C ≈ 6ND'dir ve belirli bir C için uydurulan kaybı en aza indirmek, hesaplama açısından en uygun modeli verir:

import numpy as np

# Chinchilla loss fit L(N, D) = E + A / N^alpha + B / D^beta, as re-estimated by Besiroglu et al. (2024)
E, A, B, alpha, beta = 1.8172, 482.01, 2085.43, 0.3478, 0.3658

# Training costs about 6 FLOPs per parameter per token, so a budget C fixes D = C / (6N)
N = np.logspace(8, 13, 10_000)
for C in [1e21, 1e23, 5.76e23, 1e25]:
    D = C / (6 * N)
    loss = E + A / N**alpha + B / D**beta
    best = loss.argmin()
    print(
        f"C={C:.2e} FLOPs: {N[best] / 1e9:6.1f}B params, {D[best] / 1e12:5.2f}T tokens, "
        f"{D[best] / N[best]:.0f} tokens/param, loss {loss[best]:.3f}"
    )

Katsayılar, orijinal makalenin üçüncü tahminini düzelten Epoch AI'nin Chinchilla uyumlamasını yinelemesinden alınmıştır. Chinchilla'nın 5.76 × 10^23 FLOP bütçesinde uyumlama, Chinchilla'nın gerçek 70 milyar parametre ve 1,4 trilyon token değerlerine yakın biçimde 72,2 milyar parametre ve 1,33 trilyon token seçer. 10^21 ile 10^25 FLOP arasındaki her bütçe, parametre başına 17 ila 22 token verir; bu da yaklaşık 20 şeklindeki yaygın kuralla uyumludur.

Hesaplama Açısından En Uygun Noktanın Ötesi#

Chinchilla kuralı yalnızca eğitim hesaplama maliyetini en aza indirir; dağıtılan bir modelin maliyeti ise her sorguda ödenir. Hesaplama açısından en uygun noktanın çok ötesinde eğitilen daha küçük modelleri çalıştırmak daha ucuzdur: Meta, 8 milyar parametreli bir model için Chinchilla açısından en uygun veri miktarının yaklaşık 200 milyar token olduğunu belirtmesine karşın Llama 3 8B, 15 trilyon tokene kadar log-doğrusal biçimde gelişmeyi sürdürdü; bu nedenle küçük dil modelleri (SLM'ler) rutin olarak gereğinden fazla eğitilir. Diğer sınır ise veri arzıdır. Veriyle sınırlı ölçeklemeyi inceleyen 2023 tarihli bir çalışma, tekrarlanan veriler üzerinde en fazla dört epoch eğitim yapmanın, benzersiz verilerle karşılaştırıldığında kaybı ihmal edilebilir ölçüde değiştirdiğini buldu; sentetik veri ise eğitim verisi arzını daha da artırır.

Test Zamanında Hesaplama Ölçeklemesi#

İkinci bir eksen, çıkarım sırasında hesaplama gücü harcar. OpenAI'nin o1'i gibi akıl yürütme modelleri, yanıt vermeden önce uzun düşünce zincirleri üretir. OpenAI, 2024'te o1'in doğruluğunun hem daha fazla pekiştirmeli öğrenme hesaplama gücüyle hem de düşünmeye ayrılan sürenin artmasıyla yükseldiğini bildirdi. Google DeepMind ve UC Berkeley'nin test zamanı hesaplama ölçeklemesi üzerine yaptığı bir çalışma, süreç ödül modeliyle (PRM) arama gibi hesaplama açısından en uygun stratejilerin, en iyi N örnekleme yönteminden dört kattan fazla verimli olduğunu buldu. Ayrıca küçük bir modelin kayda değer başarı şansı olduğu problemlerde, test zamanında ek hesaplama kullanmanın, aynı FLOP değerinde modelin kendisinden 14 kat büyük bir modeli geçmesini sağladığını gösterdi.

Bilgisayarlı Görüde Ölçekleme#

Görme modelleri de aynı eğilimi izler. Google'ın Görsel Transformer'ları Ölçekleme çalışmasında, ImageNet üzerinde ilk 1 doğruluk oranı %90,45'e ulaşan 2 milyar parametreli bir görsel transformer (ViT) eğitildi. Ultralytics YOLO26, beş boyutunu, derinlik ve genişlik çarpanlarını ve kanal üst sınırını belirleyen scales girdileri n: [0.50, 0.25, 1024] ile x: [1.00, 1.50, 512] arasında değişen tek bir model YAML dosyasından oluşturur. COCO üzerinde ortalama kesinlik ortalaması (mAP), 2,4 milyon parametreli YOLO26n için 40,9'dan 55,7 milyon parametreli YOLO26x için 57,5'e yükselir; bu, mAP50-95'te 16,6 puanlık artış için parametre sayısının 23 katına çıkması demektir.