Bilgi damıtma, Hinton ve ekibinin 2015'te formüle ettiği, büyük bir 'öğretmen' modelin davranışını ve 'yumuşak' olasılık çıktılarını daha küçük bir 'öğrenci' modele aktaran bir sıkıştırma tekniğidir. Öğrenci yalnızca doğru etiketlerden değil, öğretmenin dağılım bilgisinden de öğrendiği için daha az parametreyle çoğu zaman beklenenden çok daha iyi performans çıkarır. DistilBERT, TinyBERT ve modern Phi serisi gibi pek çok küçük model bu yaklaşımdan büyük ölçüde faydalanır. Synthetic Data üretimi ve Post-training pipeline'larında 'öğretmen modelin yardımıyla küçük model eğitmek' pratiği, distilasyonun günümüzdeki en yaygın biçimidir.
MEVZU N°124ISTANBULYEAR I — VOL. III
Sözlük · Orta · 2015
Bilgi Damıtma (Distillation)
Büyük 'öğretmen' modelin davranışını daha küçük bir 'öğrenci' modele kopyalamayı öğreten teknik.
- EN — İngilizce karşılığı
- Knowledge Distillation
- TR — Türkçe karşılığı
- Bilgi Damıtma