On-device LLM, bir dil modelinin telefon, dizüstü ya da tablet gibi son kullanıcı cihazında, bulut çağrısı yapmadan yerelde çalıştırılmasıdır. Quantization, Distillation ve verimli mimari tasarımıyla sıkıştırılmış 1B-8B parametreli modeller bugün artık modern bir telefonda kabul edilebilir hızda çalışabiliyor; Apple Intelligence, Google'ın Gemini Nano'su ve Microsoft Phi serisi bu yaklaşımın bayraklı örnekleri. Avantajları açık: gizlilik, sıfır ağ Latency, offline çalışabilme ve token başı ücretsiz kullanım. Karşılığında bağlam pencereleri daha küçük, modeller daha az 'yetenekli' ve uzun reasoning görevlerinde frontier modellerin çok gerisindedir; pratikte hibrit (yerel + bulut) mimari yaygındır.
MEVZU N°124ISTANBULYEAR I — VOL. III
Sözlük · Orta · 2023
Cihaz-Üzeri LLM (On-Device LLM)
Telefon, dizüstü ya da tabletin yerel donanımında, internet olmadan çalışan dil modeli.
- EN — İngilizce karşılığı
- On-Device LLM
- TR — Türkçe karşılığı
- Cihaz-Üzeri LLM