Chinchilla optimum, DeepMind'ın 2022 raporunda öne sürdüğü ve sabit bir hesaplama bütçesinde model boyutu ile veri miktarının yaklaşık dengeli artırılması gerektiğini gösteren bulgudur. Daha önce Scaling Laws çalışmalarında gözlenen daha çok parametre demek daha iyi sonuç eğilimini düzeltti; veri miktarının sıkça yetersiz kaldığını gösterdi. Sonuç, Llama 3 ve Mistral gibi modellerin neden çok daha fazla token üzerinde eğitildiğini açıklar. Bugün frontier model bütçeleri planlanırken Chinchilla optimum referans noktası olarak kullanılıyor.
MEVZU N°124ISTANBULYEAR I — VOL. III
Sözlük · İleri · 2022
Chinchilla Optimum
Sabit hesaplama bütçesinde, model parametreleri ile veri miktarının dengeli artırılması gerektiğini gösteren bulgu.
- EN — İngilizce karşılığı
- Chinchilla Optimal
- TR — Türkçe karşılığı
- Chinchilla Optimum