İkili Karşılaştırma

İkili karşılaştırma, iki modelin (ya da iki sürümün) aynı soruya verdiği iki cevabı yan yana koyup hangisinin daha iyi olduğunu sorduğumuz değerlendirme yöntemidir. Mutlak puan vermekten daha güvenilirdir çünkü insanlar ve LLM-as-Judge'lar göreceli yargıda daha tutarlı davranır. Chatbot Arena bu fikri ölçeğe taşıdı: rastgele eşleştirilmiş iki kör modelin kullanıcı tercihiyle karşılaştırılması ve sonuçların Elo Rating sistemiyle bir skor tablosuna dönüştürülmesi. Üretim ekiplerinde de A/B testleri ve sürüm yükseltme kararlarının ana mekaniği olarak yaygın kullanılır.