Örnekleme (Sampling)

Sampling, bir LLM'in her adımda ürettiği olasılık dağılımından somut bir Token seçme sürecinin genel adıdır; 'şu olasılıklara sahip seçenekler arasından hangisini gerçekten yazıyoruz?' sorusunun cevabıdır. En basit hâli olan 'argmax' (greedy) seçimi tek bir doğru cevap üretir ama yaratıcılığı bastırır; bu yüzden gerçek dünyada Temperature, Top-K ve Top-P gibi tekniklerin karışımı kullanılır. Beam Search gibi belirli bir yol araması yapan stratejiler de bu ailenin parçasıdır, çoğunlukla makine çevirisi gibi tekil 'doğru' cevap arandığında. Sampling parametreleri ürünün karakterini doğrudan şekillendirir; aynı modeli aynı promptla farklı sampling ayarlarıyla çalıştırırsan tamamen farklı cevaplar alabilirsin.