Anlamsal parçalama, sabit boyut yerine konu kayma noktalarına göre bölen daha akıllı bir Chunking yaklaşımıdır; cümle/paragraf bazında Embeddingler hesaplanır, ardışık parçalar arasındaki Cosine Similarity aniden düştüğünde yeni bir parça başlatılır. Llamaindex bu yaklaşımı 2024'te yaygınlaştırdı; gürültülü ya da çok temalı belgelerde Recursive Splitter'a kıyasla geri çağırma kalitesini artırabilir. Maliyet artar (her sınır için embedding gerekir) ve fayda her veri setinde aynı olmayabilir — bu yüzden kararı Eval'lerle vermek tavsiye edilir.
MEVZU N°124ISTANBULYEAR I — VOL. III
Sözlük · Orta · 2024
Anlamsal Parçalama (Semantic Chunking)
Embedding benzerliklerini kullanarak konu sınırlarına göre belge parçalayan akıllı chunking yöntemi.
- EN — İngilizce karşılığı
- Semantic Chunking
- TR — Türkçe karşılığı
- Anlamsal Parçalama