Cross-attention, bir dizinin başka bir dizideki bilgiye dikkat etmesini sağlayan mekanizmadır; klasik Transformer mimarisinde Decoder'ın Encoder çıktısına eriştiği yerdir. Self-Attention'dan farkı, sorguların bir kaynaktan, anahtar ve değerlerin başka bir kaynaktan gelmesidir — örneğin makine çevirisinde decoder Türkçe çıktı üretirken encoder'ın hazırladığı İngilizce temsile bakar. Görü-dil modelleri (VLM), difüzyon görsel modelleri ve metin-koşullu üretim sistemlerinin neredeyse tamamı cross-attention üzerine kuruludur. Çıktı dizisinin 'girdiyi nasıl tüketeceğini' öğrendiği yer burasıdır.
MEVZU N°124ISTANBULYEAR I — VOL. III
Sözlük · Orta · 2017
Çapraz-Dikkat (Cross-Attention)
Bir dizinin başka bir diziye dikkat ettiği, encoder ve decoder'ı birbirine bağlayan mekanizma.
- EN — İngilizce karşılığı
- Cross-Attention
- TR — Türkçe karşılığı
- Çapraz-Dikkat