Autoregressive (özyinelemeli) modeller, bir diziyi önceki adımların çıktısına bakarak adım adım üretirler; üretken LLM'lerin ezici çoğunluğu bu kategoridedir. GPT serisi, Claude, Llama 3, Gemini — hepsi bir Token'den sonra olası bir sonraki tokenin dağılımını öğrenir ve Sampling ile yazıya döker. Bu üretim modeli güçlü dil modellemesi sağlar ama 'her seferinde tek token' mantığı çıkarımı doğal olarak sıralı kılar; Speculative Decoding, KV Cache ve Continuous Batching gibi teknikler tam da bu darboğazı yumuşatmak için icat edilmiştir. Diffusion gibi paralel üretim mimarileriyle kıyaslandığında autoregressive yaklaşım dilin sıralı yapısıyla çok iyi örtüşür.
MEVZU N°124ISTANBULYEAR I — VOL. III
Sözlük · Orta · 2018
Özyinelemeli Model (Autoregressive)
Sıradaki tokeni önceki tokenlere bakarak adım adım üreten model türü.
- EN — İngilizce karşılığı
- Autoregressive Model
- TR — Türkçe karşılığı
- Özyinelemeli Model