MEVZU N°174ISTANBULYEAR I — VOL. III
MEVZU N° ETIKET / VOL. 001
#performance
0 blog · 0 haber · 6 wiki
§03
06Wiki
§01Sözlük
TPS Savaşları (TPS Wars)
Inference sağlayıcılarının saniyedeki token (TPS) hızı üzerinden yarıştığı, 2024'te belirginleşen rekabet dönemi.
- EN
- TPS Wars
- TR
- TPS Savaşları
§02Sözlük
Prompt Önbellekleme
Tekrarlanan büyük promptların önbelleklenerek maliyet ve gecikme tasarrufu sağlandığı özellik.
- EN
- Prompt Caching
- TR
- Prompt Önbellekleme
§03Sözlük
TPS — Saniyedeki Token
Bir LLM'in saniyede ürettiği token sayısı; çıkarım hızının en görünür metriği.
- EN
- Tokens Per Second (TPS)
- TR
- Saniyedeki Token (TPS)
§04Sözlük
Spekülatif Çözme (Speculative Decoding)
Küçük taslak modelle birden çok tokeni öngörüp büyük modelle doğrulayarak hızlanma sağlayan teknik.
- EN
- Speculative Decoding
- TR
- Spekülatif Çözme
§05Sözlük
Verim (Throughput)
Bir sistemin birim zamanda işleyebildiği toplam token, istek veya görev miktarı.
- EN
- Throughput
- TR
- Verim (Throughput)
§06Sözlük
TTFT — İlk Token Süresi
İstek atıldıktan sonra modelin ilk tokeni döndürmesine kadar geçen süre.
- EN
- Time to First Token (TTFT)
- TR
- İlk Token Süresi (TTFT)