Top-K örnekleme, bir LLM'in sıradaki Token'i üretirken yalnızca en yüksek olasılıklı K adayı dikkate alıp diğerlerini eleyen bir Sampling yöntemidir. Fan ve arkadaşlarının 2018'deki açık-uçlu metin üretimi araştırmasıyla popülerleşti; saf rastgele örneklemenin tetiklediği akıcılık kayıplarını ve 'deli' çıktıları azaltır. Ama K'nın sabit olması bir sorun da yaratır: bazı bağlamlarda 50 aday makulken bazılarında 5 yeterlidir; bu yüzden çoğu modern API K yerine ya da K ile birlikte Top-P (nucleus) sunar. Temperature ile birlikte ayarlandığında çıktının 'ne kadar serbest' olacağını ince ayar yapmak mümkün hâle gelir.
MEVZU N°124ISTANBULYEAR I — VOL. III
Sözlük · Orta · 2018
Top-K Örnekleme
Sıradaki tokeni seçerken sadece en olası K aday arasından örnekleme yapma yöntemi.
- EN — İngilizce karşılığı
- Top-K Sampling
- TR — Türkçe karşılığı
- Top-K Örnekleme