Eğitim (Training)

Training, bir sinir ağının ağırlıklarını veri üzerindeki örüntüleri öğrenecek şekilde adım adım güncellediği süreçtir; matematiksel olarak bir kayıp fonksiyonunun gradyan inişiyle minimize edilmesidir. Modern LLM eğitimi devasa bir mühendislik problemidir: trilyon mertebesindeki Token'lar, binlerce GPU'da haftalarca süren çalıştırmalar, dağıtık paralelleştirme stratejileri, MFU takibi ve sürekli arıza yönetimi içerir. Eğitim genelde Pre-training, Post-training ve Fine-tuning olmak üzere birkaç fazdan oluşur; her aşama farklı bir hedef için optimize eder. Inference ile karıştırılmamalıdır — biri modeli yaratır, diğeri onu kullanır.