Attention produit scalaire dans Transformers : pourquoi utilisée et comment fonctionne

Clarification : « Conversion point » → Attention produit scalaire

Vous faites référence au mécanisme d'attention produit scalaire échelonnée au cœur de l'architecture Transformer (Vaswani et al., 2017).

Pourquoi produit scalaire ?

1. Mesure similarité : Produit scalaire Q·Kᵀ quantifie alignement entre vecteurs requête et clé. Valeur haute = pertinence haute.
2. Efficacité computationnelle : Réduit à multiplication matrices batch (GEMM), hautement optimisé GPU/TPU.
3. Parallélisme : Toutes positions traitées simultanément — pas récurrence.
4. Alignement souple : Softmax normalise scores distribution probabilité (poids somment à 1), permettant attention différentiable, compatible gradients.

Pas à pas (simplifié)

1. Jetons entrée → embeddings.
2. Projections linéaires créent matrices Requête (Q), Clé (K), Valeur (V).
3. Scores = Q Kᵀ / √d_k (échelonnage stabilise gradients).
4. Poids attention = softmax(Scores).
5. Contexte = Poids × V → représentation sortie.

Alternatives

• Attention additive (Bahdanau) : tanh(W₁Q + W₂K) — plus paramètres, plus lent.
• Attention multi-têtes : Têtes produit scalaire parallèles projections différentes — capture relations diverses.

Le mélange expressivité, vitesse, convivialité matériel de l'attention produit scalaire a fait des Transformers l'architecture dominante NLP et au-delà.