Gecikme (Latency)

Latency, bir isteğin gönderilmesi ile sonucun alınması arasında geçen süredir; web ve dağıtık sistem dünyasından miras kalan, ürün deneyiminin en kritik metriklerinden biridir. LLM bağlamında latency tek bir sayı değildir: TTFT ilk tokenin gelmesini, 'tail latency' en yavaş %1'lik isteklerin gecikmesini, toplam tamamlanma süresini ölçer. Aynı Throughput'ta düşük tail latency çok daha pahalıdır; bu yüzden ürün gereksinimleri genellikle 'p95 < 2 saniye' gibi yüzdelik dilimlerle ifade edilir. Streaming UI'lar latency'yi gizleyemez ama kullanıcının bekleme algısını dönüştürür; bu yüzden modern LLM ürünlerinde neredeyse standart hâle geldi.