TPS — Saniyedeki Token

TPS (tokens per second), bir LLM'in saniyede kaç Token ürettiğini ölçen, çıkarım hızının kullanıcıya en görünür yönüdür. 2023-2024'te Groq ve Cerebras gibi özel donanım üreticilerinin 'TPS Wars' diye anılan rekabeti, sektörün ana rakamlarından biri hâline geldi: GPU üzerinde 50-150 TPS standartken, özel hızlandırıcılar tek bir kullanıcı için 500'lerin üzerine çıkmaya başladı. Yine de TPS yalnız anlamlı değil — TTFT ile birlikte değerlendirilmeli, ayrıca tek-kullanıcı TPS'i ile sunucu genelindeki Throughput farklı şeylerdir. Akış Streaming arayüzler kullanıcıya yüksek TPS'in faydasını fiilen hissettirir; klasik blok-yanıt arayüzlerde aynı kazanım kullanıcıya çoğu zaman yansımaz.