Scaling Laws

Yapay zekadaki neural scaling (sinirsel ölçekleme) ile ilgili ampirik gözlemler, bir modelin performansının, bilgi işlem gücü, veri kümesi boyutu ve parametre sayısı gibi belirli kaynaklar artırıldıkça tahmin edilebilir şekilde iyileştiğini göstermektedir. Başlangıçta OpenAI ve Google DeepMind gibi kuruluşların araştırmalarıyla popülerleşen bu güç yasası ilişkileri, kaynakları ölçeklendirmenin cross-entropy loss (çapraz entropi kaybı) değerinde matematiksel olarak tahmin edilebilir azalmalar sağladığını gösterir. Bu ilkeleri anlamak, araştırmacıların ve mühendislerin milyonlarca dolarlık bütçeleri verimli bir şekilde tahsis etmelerine ve devasa bir eğitim sürecini başlatmadan önce bir neural network (sinir ağı) modelinin hedef accuracy (doğruluk) değerine ulaşması için ne kadar büyük olması gerektiğini tam olarak hesaplamalarına olanak tanır.

Link to this sectionÖn Eğitim Ölçeklemenin Evrimi#

The original formulation of these rules, known as the Kaplan scaling laws introduced in 2020, established that language model performance scales smoothly with increased training compute. This framework was later refined by the Chinchilla Scaling Laws in 2022, which revealed that for optimal training, both model size and training data must be scaled in equal proportions. For instance, if you double a model's parameters, you must also double the number of training tokens. This paradigm successfully guided the development of modern Large Language Models (LLMs) built using frameworks like PyTorch and TensorFlow, ensuring that massive clusters of GPUs are utilized effectively without risking overfitting or wasting computation.

Link to this sectionParadigma Değişimi: Çalışma Zamanı (Inference-Time) Hesaplama Ölçekleme#

yıllık YZ ilerleme raporlarında vurgulandığı üzere, YZ sektörü 2024 ile 2025 yılları arasında çıkarım zamanı (inference-time) ölçeklendirmeye doğru büyük bir değişim yaşadı. Daha büyük modellerin ön eğitimi azalan verim ve veri kullanılabilirliği sınırlarına çarpmaya başladığında, araştırmacılar scale LLM test-time compute (LLM test zamanı hesaplamasını ölçeklendirme) yöntemini doğrudan keşfettiler. Modellere çıkarım sırasında daha fazla işlem gücü vererek, karmaşık muhakeme yeteneklerini önemli ölçüde geliştirebilirler.

Düşünce Zinciri (CoT) ve Best-of-N örnekleme gibi teknikler, modellerin cevap vermeden önce birden fazla yolu keşfetmesine olanak tanır. OpenAI's o1 ve DeepSeek-R1 gibi gelişmiş modeller ve diğer advanced reasoning models tarafından öncülük edilen bu test zamanı ölçekleme yasası, tahmin aşamasındaki hesaplamayı artırmanın, çok daha küçük ve yüksek verimli bir mimarinin katı mantıksal kıyaslamalarda devasa bir eski nesil modeli geride bırakmasını sağlayabileceğini kanıtlıyor.

Link to this sectionGerçek Dünya Uygulamaları#

Ölçekleme ilkeleri, metin üretiminin çok ötesinde geliştirmeyi yönetir ve modern computer vision (bilgisayarlı görü) ve object detection (nesne algılama) süreçlerini büyük ölçüde belirler.

• Resource Allocation for Foundation Models: Otonom sürüş sistemleri geliştiren şirketler, Mean Average Precision (mAP) hata oranlarını güvenli, üretime hazır seviyelere düşürmek için tam olarak kaç adet açıklamalı görüntü gerektiğini hesaplamak üzere ölçekleme formüllerine güvenirler. Ultralytics Platform üzerinden iş birliğine dayalı data annotation (veri etiketleme) ve bulut tabanlı distributed training (dağıtık eğitim) kullanarak, ekipler dağıtım yapmadan önce maliyetlerini matematiksel olarak öngörebilirler.
• Model Sizing and Edge Deployment: Ölçekleme formülleri, Ultralytics YOLO26 gibi modern modellerin mimari tasarımını doğrudan etkiler. Nano (n)'den Ekstra Büyük (x)'e kadar matematiksel olarak ölçeklendirilmiş birleşik bir model ailesi sunarak, geliştiriciler katı doğruluk gereksinimlerini kendi özel uç donanım kısıtlamalarına göre inference latency (çıkarım gecikmesi) ile tahmin edilebilir şekilde dengeleyebilirler.

Link to this sectionKod Örneği: Bilgisayarlı Görüde Çalışma Zamanı Ölçekleme#

Bilgisayarlı görüde, Test-Time Augmentation (TTA) (Test Zamanı Artırma) adı verilen pratik bir ölçekleme biçiminden yararlanabilirsin. prediction phase (tahmin aşaması) sırasında bir görüntünün evaluate multiple augmented versions (birden fazla artırılmış sürümünü değerlendirmek) için ek hesaplama harcayarak, model tahmin güvenini öngörülebilir şekilde artırır ve gelişmiş LLM'lerde görülen muhakeme arama tekniklerini yansıtır.

from ultralytics import YOLO

# Load the recommended YOLO26 model (nano version for high speed)
model = YOLO("yolo26n.pt")

# Perform standard inference (faster, lower test-time compute)
results_standard = model("https://ultralytics.com/images/bus.jpg")

# Perform inference-time scaling via Test-Time Augmentation (TTA)
# Predictably improves accuracy by utilizing more compute during prediction
results_tta = model("https://ultralytics.com/images/bus.jpg", augment=True)

print(f"Standard detections: {len(results_standard[0].boxes)}")
print(f"Scaled TTA detections: {len(results_tta[0].boxes)}")

Link to this sectionÖlçekleme Yasaları vs. İlgili Kavramlar#

Donanım yetenekleriyle yakından ilişkili olsa da, YZ ölçekleme kuralları özellikle bu donanımla ilişkili yazılım ve algoritma verimliliğini ölçer.

• Scaling Laws vs. Moore's Law: Moore Yasası, bir mikroçip üzerindeki transistör sayısının kabaca iki yılda bir ikiye katlandığını öngören uzun soluklu bir donanım gözlemidir. Buna karşılık, YZ ölçekleme, o genişleyen donanım havuzuna erişim sağlandığında gerçek model yeteneğinin nasıl geliştiğini matematiksel olarak takip eder.
• Training Scaling vs. Inference Scaling: Eğitim formülleri, bir modelin ilk oluşturulması sırasında parametrelerin ve verilerin en hesaplama açısından optimum karışımını hesaplar. Çıkarım (inference) ölçekleme ise, tam tersine, bir çıktı üretmeden hemen önce arama ve doğrulama adımlarına dinamik olarak ekstra hesaplama harcamanın, herhangi bir yeniden eğitime gerek kalmadan nihai sonucu nasıl iyileştirdiğini ölçer.