Scaling Laws

Yapay zekâdaki sinirsel ölçeklemeye ilişkin ampirik gözlemler, hesaplama gücü, veri kümesi boyutu ve parametre sayısı gibi belirli kaynaklar artırıldıkça bir modelin performansının öngörülebilir biçimde iyileştiğini gösterir. Başlangıçta OpenAI ve Google DeepMind gibi kuruluşların araştırmalarıyla popülerleşen bu güç yasası ilişkileri, kaynakların ölçeklendirilmesinin çapraz entropi kaybında matematiksel olarak öngörülebilir düşüşler sağladığını gösterir. Bu ilkeleri anlamak, araştırmacıların ve mühendislerin milyonlarca dolarlık bütçeleri verimli biçimde tahsis etmesine ve büyük bir eğitim çalıştırması başlatmadan önce bir sinir ağının hedeflenen doğruluğa ulaşmak için tam olarak ne kadar büyük olması gerektiğini öngörmesine olanak tanır.

Ön Eğitimin Ölçeklenmesinin Evrimi#

2020'de ortaya konan ve Kaplan ölçekleme yasaları olarak bilinen bu kuralların özgün formülasyonu, dil modeli performansının artan eğitim hesaplamasıyla istikrarlı biçimde ölçeklendiğini ortaya koydu. Bu çerçeve daha sonra 2022'deki Chinchilla Ölçekleme Yasaları ile geliştirildi ve en iyi eğitim için hem model boyutunun hem de eğitim verilerinin eşit oranlarda ölçeklenmesi gerektiğini gösterdi. Örneğin, bir modelin parametrelerini iki katına çıkarırsan eğitim tokenlarının sayısını da iki katına çıkarman gerekir. Bu yaklaşım, PyTorch ve TensorFlow gibi çerçeveler kullanılarak oluşturulan modern Büyük Dil Modellerinin (LLMs) geliştirilmesine başarıyla rehberlik etti ve devasa GPU kümelerinin aşırı öğrenme riski veya hesaplama israfı olmadan etkili biçimde kullanılmasını sağladı.

Paradigma Değişimi: Test Zamanında Hesaplama Ölçekleme#

Yıllık yapay zekâ ilerleme raporlarında vurgulandığı üzere, yapay zekâ sektörü 2024 ile 2025 arasında çıkarım zamanı ölçeklemeye doğru büyük bir dönüşüm yaşadı. Daha büyük modellerin ön eğitiminde azalan getiriler ve veri erişilebilirliğinin sınırlarına ulaşılmaya başlanınca araştırmacılar, LLM test zamanı hesaplamasını doğrudan ölçeklemenin yollarını keşfetti. Modeller, çıkarım sırasında daha fazla işlem gücüyle beslendiğinde karmaşık akıl yürütme yeteneklerini önemli ölçüde geliştirebilir.

Düşünce Zinciri (CoT) ve Best-of-N örnekleme gibi teknikler, modellerin yanıt vermeden önce birden fazla yolu keşfetmesine olanak tanır. OpenAI o1 ve DeepSeek-R1 gibi gelişmiş modellerin öncülük ettiği bu test zamanı ölçekleme yasası, diğer gelişmiş akıl yürütme modelleriyle birlikte, tahmin aşamasındaki hesaplamayı artırmanın çok daha küçük ve yüksek verimli bir mimarinin katı mantıksal kıyaslamalarda devasa, eski nesil bir modelden daha iyi performans göstermesini sağlayabileceğini kanıtlıyor.

Gerçek Dünya Uygulamaları#

Ölçekleme ilkeleri metin üretiminin çok ötesindeki geliştirme süreçlerini yönetir ve modern bilgisayarlı görü ile nesne algılama işlem hatlarını büyük ölçüde belirler.

• Temel Modeller için Kaynak Tahsisi: Otonom sürüş sistemleri geliştiren şirketler, Ortalama Hassasiyet Ortalaması (mAP) hata oranlarını güvenli ve üretime hazır seviyelere düşürmek için tam olarak kaç açıklamalı görüntü gerektiğini hesaplamak üzere ölçekleme formüllerine güvenir. Ekipler, ortaklaşa veri açıklama ve bulut tabanlı dağıtık eğitim için Ultralytics Platform kullanarak dağıtımdan önce maliyetlerini matematiksel olarak öngörebilir.
• Model Boyutlandırma ve Uçta Dağıtım: Ölçekleme formülleri, Ultralytics YOLO26 gibi modern modellerin mimari tasarımını doğrudan etkiler. Geliştiriciler, Nano (n)'dan Ekstra Büyük (x)'e matematiksel olarak ölçeklenmiş birleşik bir model ailesi sunarak, belirli uç donanım kısıtlarına göre katı doğruluk gereksinimleri ile çıkarım gecikmesi arasında öngörülebilir biçimde seçim yapabilir.

Kod Örneği: Bilgisayarlı Görüde Çıkarım Zamanı Ölçekleme#

Bilgisayarlı görüde, Test Zamanı Artırma (TTA) adı verilen pratik bir test zamanı ölçekleme biçiminden yararlanabilirsin. Tahmin aşamasında ek hesaplama harcayarak bir görüntünün birden fazla artırılmış sürümünü değerlendiren model, gelişmiş LLM'lerde görülen akıl yürütme arama tekniklerini yansıtarak algılama güvenini öngörülebilir biçimde artırır.

from ultralytics import YOLO

# Load the recommended YOLO26 model (nano version for high speed)
model = YOLO("yolo26n.pt")

# Perform standard inference (faster, lower test-time compute)
results_standard = model("https://ultralytics.com/images/bus.jpg")

# Perform inference-time scaling via Test-Time Augmentation (TTA)
# Predictably improves accuracy by utilizing more compute during prediction
results_tta = model("https://ultralytics.com/images/bus.jpg", augment=True)

print(f"Standard detections: {len(results_standard[0].boxes)}")
print(f"Scaled TTA detections: {len(results_tta[0].boxes)}")

Ölçekleme Yasaları ve İlgili Kavramlar#

Yapay zekâ ölçekleme kuralları, donanım yetenekleriyle yakından ilişkili olsa da özellikle yazılım ve algoritma verimliliğini bu donanımla ilişkili olarak ölçer.

• Ölçekleme Yasaları ve Moore Yasası: Moore Yasası, bir mikroçipteki transistör sayısının yaklaşık her iki yılda bir iki katına çıkacağını öngören, uzun süredir geçerliliğini koruyan bir donanım gözlemidir. Buna karşılık yapay zekâ ölçeklemesi, genişleyen bu donanım havuzuna erişim sağlandığında gerçek model yeteneğinin nasıl iyileştiğini matematiksel olarak izler.
• Eğitim Ölçeklemesi ve Çıkarım Ölçeklemesi: Eğitim formülleri, bir modelin ilk oluşturulması sırasında parametreler ve veriler arasındaki hesaplama açısından en uygun dengeyi hesaplar. Buna karşılık çıkarım ölçeklemesi, çıktı oluşturulmadan hemen önce arama ve doğrulama adımlarına dinamik olarak ek hesaplama harcamanın, yeniden eğitim gerektirmeden nihai sonucu nasıl iyileştirdiğini ölçer.