Bağlam uzunluğu, belirli bir model çağrısında fiilen tüketilen Token sayısıdır; modelin maksimum Context Window'una göre ne kadar alan kullandığını gösterir. Pratikte iki anlamı vardır: bir yandan modelin maksimum uzunluğunu (örneğin '200K context') tarif ederiz, öte yandan tek bir istekteki gerçek toplamı kasteder. API faturası, Latency ve KV Cache büyüklüğü doğrudan bu değere bağlıdır; her uzun bağlam ücretsiz değildir. Mühendislik tarafında 'ne kadar context alabiliyoruz' sorusu kadar 'her tokenın katma değeri var mı' sorusu da kritiktir; gereksiz bağlam, modelin dikkatini sulandırır.
MEVZU N°124ISTANBULYEAR I — VOL. III
Sözlük · Başlangıç · 2018
Bağlam Uzunluğu
Bir model çağrısındaki toplam token sayısı; bağlam penceresi sınırı içinde tüketilen alan.
- EN — İngilizce karşılığı
- Context Length
- TR — Türkçe karşılığı
- Bağlam Uzunluğu