Ölçeklendirme yasaları, model boyutu, veri miktarı ve hesaplama bütçesi büyüdükçe kayıp fonksiyonunun öngörülebilir bir eğri çizdiğini gösteren ampirik bulgulardır. Kaplan ve arkadaşlarının 2020 OpenAI raporu ve onu takiben DeepMind'ın Chinchilla Optimal çalışması bu literatürün dönüm noktalarıdır. Pratik etki, frontier laboratuvarların Compute ve veri yatırımlarını önceden hesaplayabilmesidir. Son yıllarda sadece ölçek tartışması yerini Test-time Compute ve veri kalitesi üzerinden yapılan rafine bir tartışmaya bıraktı.
MEVZU N°124ISTANBULYEAR I — VOL. III
Sözlük · İleri · 2020
Ölçeklendirme Yasaları (Scaling Laws)
Model performansının parametre, veri ve hesaplama miktarına göre nasıl değiştiğini tanımlayan ampirik ilişkiler.
- EN — İngilizce karşılığı
- Scaling Laws
- TR — Türkçe karşılığı
- Ölçeklendirme Yasaları