Ön Eğitim (Pre-training)

Ön eğitim (pre-training), bir LLM'in büyük boyutlu, genel amaçlı veri üzerinde temel dil ve dünya bilgisini kazandığı ilk eğitim fazıdır. Modern modeller terabaytlarca metin, kod ve Multimodal veri üzerinde, çoğunlukla sıradaki tokeni tahmin etme (Autoregressive) ya da Masked Language Modeling göreviyle eğitilir. Bu faz, Compute ve veri açısından çoğu büyük labın en pahalı yatırımıdır; Scaling Laws araştırmaları ne kadar veri ve parametreyle nereye çıkılacağını öngörmek için tam da bu fazı modellemiştir. Pre-training sonunda elde edilen 'ham' model henüz talimatları takip etmez; bu yüzden ardından Post-training ve Fine-tuning gelir.