Prompt önbellekleme, aynı uzun prefiksin (sistem promptu, doküman seti, Few-shot örnekleri) birden çok istekte tekrar tekrar gönderilmesi durumunda sunucu tarafında KV Cache'in saklanıp yeniden kullanılmasıdır. Anthropic Ağustos 2024'te "Prompt Caching"i, OpenAI Ekim 2024'te otomatik prompt cache'i ve Google da Gemini için "context caching" sundu. Maliyet düşüşü %50-90, TTFT iyileşmesi %50'ye varan değerlere ulaşabilir. Uzun belgelerle çalışan RAG uygulamaları, çok-mesajlı ajan akışları ve büyük sistem promptu olan ürünler için neredeyse zorunlu bir optimizasyondur.
MEVZU N°124ISTANBULYEAR I — VOL. III
Sözlük · Orta · 2024
Prompt Önbellekleme
Tekrarlanan büyük promptların önbelleklenerek maliyet ve gecikme tasarrufu sağlandığı özellik.
- EN — İngilizce karşılığı
- Prompt Caching
- TR — Türkçe karşılığı
- Prompt Önbellekleme