Neural Scaling Laws

Nöral ölçekleme yasaları, model boyutu, eğitim verisi ve hesaplama gücü arttıkça nöral ağ performansının nasıl değiştiğini açıklayan deneysel ilişkilerdir. Bu ilişkiler genellikle güç yasalarını izler: Bir kaynağı sabit bir katsayıyla çarpmak, belirli bir alt sınırın üzerinde hatada öngörülebilir ve orantılı bir azalma sağlar. Bu özellik, ölçekleme yasalarını daha büyük eğitim çalışmalarının faydalarını tahmin etmek ve hesaplama bütçesini nasıl dağıtacağına karar vermek için kullanışlı kılar.

Yapay zekâ alanında ölçekleme yasaları ifadesi çoğu zaman nöral ölçekleme yasalarının eş anlamlısı olarak kullanılır. Ölçeklenebilirlik, bir sistemin artan iş yüklerini verimli biçimde karşılama becerisini ifade eder.

Nöral Ölçekleme Yasaları Nasıl Çalışır?#

Eğitim sürecindeki ölçekleme analizlerinin çoğu üç nicelik etrafında şekillenir:

• Model boyutu: Model ağırlıkları da dahil olmak üzere öğrenilmiş parametrelerin sayısı, ağın örüntüleri temsil etme kapasitesini belirler.
• Eğitim verisi: Eğitim verisi miktarı, örüntülerin öğrenildiği örnekleri sağlar. Dil modeli veri kümeleri genellikle, modelin işlediği metin birimleri olan token sayısıyla ölçülür.
• Eğitim hesaplaması: Eğitim sırasında gerçekleştirilen toplam aritmetik işlem, genellikle FLOPs olarak kısaltılan kayan nokta işlemleri ile ölçülür.

Bu kaynaklar birbiriyle etkileşir: Model kapasitesini artırmak, verinin ve eğitim çabasının ne kadarının verimli kullanılabileceğini değiştirir. Uydurulan bir ölçekleme ilişkisi, kaynakların birlikte nasıl dağıtıldığını kayıp fonksiyonuyla ölçülen beklenen kayba, yani sayısal hataya bağlar.

Her iki eksende de logaritmik ölçek kullanıldığında güç yasası eğrisi yaklaşık olarak düz bir çizgi gibi görünür. Eğrinin üssü, ek kaynaklarla hatanın ne kadar hızlı azaldığını açıklar. Daha küçük deneylerle eğri belirlenir ve ekiplerin daha büyük çalışmaları öngörmesi sağlanır. Joel Hestness ve çalışma arkadaşları, 2017'de dil, görme, çeviri ve konuşma görevlerinde hatanın güç yasasına göre öngörülebilir biçimde ölçeklendiğini gösterdi.

Jared Kaplan, Sam McCandlish ve çalışma arkadaşları, 2020 tarihli Nöral Dil Modelleri için Ölçekleme Yasaları makalesinde yaygın olarak kullanılan dil modeli ilişkilerini ortaya koydu. Deneyleri, Transformer çapraz entropi kaybını parametreler, veri ve hesaplama gücüyle ilişkilendirdi; bazı eğilimler yedi büyüklük mertebesinden daha geniş bir aralıkta geçerliliğini korudu.

Hesaplama Açısından Optimal Eğitim ve Chinchilla Ölçeklemesi#

Hesaplama açısından optimal eğitim, sabit bir eğitim bütçesiyle en düşük kaybı sağlayan model boyutu ve eğitim süresi bileşimini seçer. Daha büyük bir model, token başına daha fazla hesaplama gerektirir ve bu bütçeyle işlenebilecek token sayısını azaltır.

Jordan Hoffmann ve çalışma arkadaşları, 2022'de etkili Chinchilla dağıtım kuralını ortaya koydu: Hesaplama gücü arttıkça model parametreleri ve eğitim tokenları yaklaşık olarak birlikte artırılmalıdır. Deneyleri 400'den fazla dil modelini kapsıyordu. Chinchilla'nın hesaplama açısından optimal kaynak dağılımı, aynı eğitim hesaplama bütçesiyle 280 milyar parametreli Gopher'dan daha iyi performans gösteren 70 milyar parametreli bir model ortaya çıkardı.

Bunun pratik sonucu, hesaplama gücünün fazla büyük bölümünü parametrelere ayırmanın modeli yetersiz eğitmesidir. Kapasiteyle veriyi dengelemek, aynı aritmetik bütçeyle elde edilen performansı artırır. Dağıtımda başka bir unsur daha devreye girer: Daha küçük modeller çıkarım için daha az hesaplama gerektirir; dolayısıyla eğitim kaynaklarının dağılımı tahminleri sunma maliyetini de etkiler.

Bilgisayarlı Görü Uygulamaları#

Bilgisayarlı görü alanında ölçekleme analizleri; model kapasitesi, görüntü veri kümeleri, eğitim çabası ve tahmin kalitesi arasındaki ilişkileri ortaya koyar. Veri kümesini genişletme veya ağ boyutunu artırma kararlarına destek olur.

Google'ın görü transformatörü ölçekleme deneyleri, hata, veri ve hesaplama gücü arasındaki ilişkileri tanımladı. Ortaya çıkan iki milyar parametreli görü transformatörü, ImageNet üzerinde %90,45 üst-1 doğruluk elde ederek görüntü sınıflandırmada koordineli ölçeklemenin pratik değerini gösterdi.

Ultralytics YOLO, YOLO26'nın farklı model boyutlarını kullanarak mimari ölçekleme uygular ve kullanıcılara nesne algılama için farklı kapasite ve hesaplama seçenekleri sunar. 640 piksel giriş çözünürlüğünde COCO üzerinde YOLO26n, 2,4 milyon parametreye ve 40,9 mAP50–95 değerine sahipken YOLO26x, 55,7 milyon parametreye ve 57,5 mAP50–95 değerine sahiptir; bu da 16,6 puanlık bir artış anlamına gelir.

Ölçekleme Oranları Neden Farklılık Gösterir?#

Ölçekleme üsleri göreve, veri yapısına ve öğrenme yöntemine bağlıdır. Rastgele özellik modeli, matematiksel olarak çözülebilir bir örnek sunar: Girdileri sabit doğrusal olmayan özelliklere dönüştürür ve çıktı ağırlıklarını öğrenir. Alexander Maloney, Daniel Roberts ve James Sully, 2022'de bu yapıyı kullanarak veri kümesi istatistiklerinin güç yasasına göre test kaybına ve sonunda performans platolarına nasıl yol açtığını açıkladı.

Özellik öğrenimi, eğitim sırasında iç temsillerin kendisini değiştirir. Bu, temsillerin değişmeden kaldığı sabit özellik çıkarımından farklıdır. Blake Bordelon, Alexander Atanasov ve Cengiz Pehlevan, özellik öğreniminin zor görevlerde ölçeklemeyi nasıl iyileştirdiğini gösterdi: Çözülebilir modellerinde özellikleri uyarlamak, çok zor hedef fonksiyonlar için hesaplama ölçekleme üssünü yaklaşık iki katına çıkarıyor.