MEVZU N°131ISTANBULYEAR I — VOL. III
tag.detailKicker
#performance
tag.detailSubtitle
§03
06tag.wikiSection
§01wiki.types.glossary
TPS Savaşları (TPS Wars)
Inference sağlayıcılarının saniyedeki token (TPS) hızı üzerinden yarıştığı, 2024'te belirginleşen rekabet dönemi.
- EN
- TPS Wars
- TR
- TPS Savaşları
§02wiki.types.glossary
Prompt Önbellekleme
Tekrarlanan büyük promptların önbelleklenerek maliyet ve gecikme tasarrufu sağlandığı özellik.
- EN
- Prompt Caching
- TR
- Prompt Önbellekleme
§03wiki.types.glossary
TPS — Saniyedeki Token
Bir LLM'in saniyede ürettiği token sayısı; çıkarım hızının en görünür metriği.
- EN
- Tokens Per Second (TPS)
- TR
- Saniyedeki Token (TPS)
§04wiki.types.glossary
Spekülatif Çözme (Speculative Decoding)
Küçük taslak modelle birden çok tokeni öngörüp büyük modelle doğrulayarak hızlanma sağlayan teknik.
- EN
- Speculative Decoding
- TR
- Spekülatif Çözme
§05wiki.types.glossary
Verim (Throughput)
Bir sistemin birim zamanda işleyebildiği toplam token, istek veya görev miktarı.
- EN
- Throughput
- TR
- Verim (Throughput)
§06wiki.types.glossary
TTFT — İlk Token Süresi
İstek atıldıktan sonra modelin ilk tokeni döndürmesine kadar geçen süre.
- EN
- Time to First Token (TTFT)
- TR
- İlk Token Süresi (TTFT)