MEVZU N°172ISTANBULYEAR I — VOL. III
MEVZU N° ETIKET / VOL. 095
#metrics
0 blog · 0 haber · 7 wiki
§03
07Wiki
§01Sözlük
TPS — Saniyedeki Token
Bir LLM'in saniyede ürettiği token sayısı; çıkarım hızının en görünür metriği.
- EN
- Tokens Per Second (TPS)
- TR
- Saniyedeki Token (TPS)
§02Sözlük
Soğuk Başlatma (Cold Start)
Bir modelin veya servisin uzun süre boşta kalıp ilk istekte yavaş yanıt vermesi durumu.
- EN
- Cold Start
- TR
- Soğuk Başlatma
§03Sözlük
Gecikme (Latency)
Bir isteğin gönderilmesi ile sonucun alınması arasında geçen süre.
- EN
- Latency
- TR
- Gecikme (Latency)
§04Sözlük
Verim (Throughput)
Bir sistemin birim zamanda işleyebildiği toplam token, istek veya görev miktarı.
- EN
- Throughput
- TR
- Verim (Throughput)
§05Sözlük
TTFT — İlk Token Süresi
İstek atıldıktan sonra modelin ilk tokeni döndürmesine kadar geçen süre.
- EN
- Time to First Token (TTFT)
- TR
- İlk Token Süresi (TTFT)
§06Sözlük
MFU — Model FLOPs Kullanımı
Modelin teorik tepe FLOPs'unun ne kadarını fiilen kullanabildiğini ölçen verimlilik metriği.
- EN
- Model FLOPs Utilization (MFU)
- TR
- Model FLOPs Kullanımı (MFU)
§07Sözlük
FLOPs
Saniyedeki kayar nokta işlemi sayısı; donanımın ham hesaplama gücünün klasik metriği.
- EN
- FLOPs
- TR
- FLOPs (Saniyedeki Kayar Nokta İşlemi)