LoRA, Microsoft Research'ün 2021'de yayımladığı, Fine-tuning dünyasını dönüştüren bir parametre-verimli adaptasyon yöntemidir. Modelin orijinal ağırlıklarını dondurur ve onların yanına çok daha küçük, 'düşük-mertebeli' matrisler ekleyip yalnızca bunları eğitir; sonuç olarak öğrenilebilir parametre sayısı ve GPU bellek ihtiyacı dramatik biçimde düşer. Bu sayede 7B-70B mertebesindeki modelleri tüketici sınıfı donanımda bile özelleştirmek mümkün hâle geldi; sonradan gelen QLoRA, 4-bit kuantizasyonla işin maliyetini bir kat daha aşağı çekti. LoRA adaptörleri küçük ve taşınabilir olduğundan, tek bir taban modelin etrafında onlarca özelleştirilmiş varyant yaşatmak operasyonel olarak da pratiktir.
Dış Bağlantılar