Bağlam-İçi Öğrenme

Bağlam-içi öğrenme, bir LLM'in eğitim ağırlıkları hiç güncellenmeden, sadece Prompt içindeki örneklere ve talimatlara bakarak yeni bir görevi yapabilmesi yeteneğidir. GPT-3 (2020) bu yeteneğin büyük ölçeklerde belirgin biçimde ortaya çıktığını gösterdi ve LLM ekosistemini bu kapasite üzerine kurdu. Zero-shot ve Few-shot bu paradigmanın iki temel modudur. Mekanizmasının ne olduğu — meta-öğrenme mi, gradient descent benzeri bir yapı mı — hâlâ aktif araştırma konusu ve Mechanistic Interpretability alanında en sık ele alınan sorulardan biri.