Soğuk Başlatma (Cold Start)

Cold start, bir modelin ya da servisin uzun süre boşta kaldıktan sonra ilk istekte gözle görülür biçimde yavaş yanıt vermesi durumudur. Serverless mimaride container'ın başlatılması gerekir; LLM dünyasında ise model ağırlıklarının diskten ya da uzak depolamadan GPU belleğine yüklenmesi tipik olarak saniyelerden onlarca saniyelere kadar sürebilir. Modern servis yığınları 'warm pool', model önbellekleme, pre-loading ve trafiğe yatırım gibi tekniklerle bu darboğazı azaltmaya çalışır; özellikle nadir kullanılan büyük modellerde önemli bir UX engelidir. Üretken AI maliyet-tasarruf stratejilerinde 'soğuk vs sıcak' ayrımı, mimari kararların kalbindedir.