MEVZU N°133ISTANBULYEAR I — VOL. III
tag.detailKicker
#metrics
tag.detailSubtitle
§03
07tag.wikiSection
§01wiki.types.glossary
TPS — Saniyedeki Token
Bir LLM'in saniyede ürettiği token sayısı; çıkarım hızının en görünür metriği.
- EN
- Tokens Per Second (TPS)
- TR
- Saniyedeki Token (TPS)
§02wiki.types.glossary
Soğuk Başlatma (Cold Start)
Bir modelin veya servisin uzun süre boşta kalıp ilk istekte yavaş yanıt vermesi durumu.
- EN
- Cold Start
- TR
- Soğuk Başlatma
§03wiki.types.glossary
Gecikme (Latency)
Bir isteğin gönderilmesi ile sonucun alınması arasında geçen süre.
- EN
- Latency
- TR
- Gecikme (Latency)
§04wiki.types.glossary
Verim (Throughput)
Bir sistemin birim zamanda işleyebildiği toplam token, istek veya görev miktarı.
- EN
- Throughput
- TR
- Verim (Throughput)
§05wiki.types.glossary
TTFT — İlk Token Süresi
İstek atıldıktan sonra modelin ilk tokeni döndürmesine kadar geçen süre.
- EN
- Time to First Token (TTFT)
- TR
- İlk Token Süresi (TTFT)
§06wiki.types.glossary
MFU — Model FLOPs Kullanımı
Modelin teorik tepe FLOPs'unun ne kadarını fiilen kullanabildiğini ölçen verimlilik metriği.
- EN
- Model FLOPs Utilization (MFU)
- TR
- Model FLOPs Kullanımı (MFU)
§07wiki.types.glossary
FLOPs
Saniyedeki kayar nokta işlemi sayısı; donanımın ham hesaplama gücünün klasik metriği.
- EN
- FLOPs
- TR
- FLOPs (Saniyedeki Kayar Nokta İşlemi)