MFU — Model FLOPs Kullanımı

MFU (Model FLOPs Utilization), bir modelin eğitim sırasında donanımın teorik tepe FLOPs gücünün ne kadarını fiilen kullanabildiğini ölçen bir verimlilik metriğidir. Google'ın 2022'deki PaLM raporuyla yaygın bir kavram hâline geldi; o noktaya kadar büyük ölçekli eğitimlerde %40-50'lik MFU oldukça iyi sayılırdı. Yüksek MFU, bellek yönetimi, dağıtık paralelleştirme stratejisi (TP, PP, DP, FSDP), iletişim çakışması ve veri yükleme pipeline'ının iyi tasarlandığını gösterir; düşük MFU ise milyonlarca dolar gerçek zamanlı olarak boşa gittiği anlamına gelir. Modern frontier eğitimlerde %50-60 MFU yüksek standart kabul edilir, ama bu sayıyı tutturmak ciddi bir altyapı mühendisliği başarısıdır.