TTFT (time to first token), bir kullanıcı isteği atıldıktan sonra modelin ilk Token'i döndürene dek geçen süredir; algılanan sohbet hızının en kritik bileşenidir. Bu süre büyük ölçüde 'prefill' fazında, yani tüm prompt'un KV Cache'e yüklendiği aşamada harcanır; uzun bağlam, soğuk model ve yoğun trafik bu sayıyı büyütür. TPS ne kadar yüksek olursa olsun TTFT yüksekse kullanıcı sistemi 'yavaş' hisseder; bu yüzden vLLM gibi servis yığınları PagedAttention, Prompt Caching ve Continuous Batching gibi teknikleri TTFT'yi düşürmek için kullanır. Streaming UI'lar TTFT'yi gizleyemez ama TPS'in faydasını öne çıkarır.
MEVZU N°124ISTANBULYEAR I — VOL. III
Sözlük · Orta · 2023
TTFT — İlk Token Süresi
İstek atıldıktan sonra modelin ilk tokeni döndürmesine kadar geçen süre.
- EN — İngilizce karşılığı
- Time to First Token (TTFT)
- TR — Türkçe karşılığı
- İlk Token Süresi (TTFT)