Decoder, bir Transformer'ın çıktı üreten yarısıdır: her seferinde bir önceki tokenlerin üzerine yeni bir Token üretir ve bu süreci durana kadar tekrarlar. Tek başına çalışan decoder-only modeller — GPT serisi, Llama 3, Claude — günümüz üretken LLM dünyasının baskın mimarisidir; 'Autoregressive dil modelleme' tam olarak budur. Eğitim sırasında geleceğe bakmamak için maskelenmiş Self-Attention kullanır, böylece her pozisyonda yalnızca solundaki bağlama erişebilir. Sıcaklık, Top-K ve Top-P gibi Sampling parametrelerinin etkisini hissettiğin yer de tam olarak burasıdır.
MEVZU N°124ISTANBULYEAR I — VOL. III
Sözlük · Orta · 2017
Decoder (Çözücü)
Önceki tokenlerin üzerine sıradaki tokeni üreten Transformer bileşeni.
- EN — İngilizce karşılığı
- Decoder
- TR — Türkçe karşılığı
- Çözücü (Decoder)