Visualisation de l'attention : Définition et signification — Wiki IA

Visualiser ce à quoi un modèle Transformer « prête attention » en affichant les poids d'attention sous forme de heatmaps. Pour chaque token de requête, la carte d'attention montre combien de poids il attribue à chaque autre token. Des poids élevés (points lumineux) indiquent une forte attention — le modèle considère ces tokens comme très pertinents pour le calcul en cours.

Pourquoi c'est important

La visualisation de l'attention est la manière la plus intuitive de regarder à l'intérieur d'un Transformer et comprendre son raisonnement. Quand un modèle traduit « le chat noir » en « the black cat », les cartes d'attention montrent que « black » prête fortement attention à « noir » et « cat » à « chat ». Ça aide à débuguer le comportement du modèle, comprendre les échecs, et construire une intuition sur le fonctionnement de l'attention.

En profondeur

La matrice de poids d'attention est (seq_len × seq_len) pour chaque tête et chaque couche. Pour visualiser : choisis une couche et une tête, affiche la matrice comme une heatmap où la ligne i montre à quels tokens le token i prête attention. Les cellules lumineuses signifient une attention élevée. Pour l'attention multi-tête, tu peux visualiser des têtes individuelles (chacune se spécialise dans des patterns différents) ou faire la moyenne sur toutes les têtes (distribution d'attention globale).

Ce que montrent les cartes d'attention (et ce qu'elles ne montrent pas)

Les cartes d'attention montrent quels tokens une tête considère lors du calcul de sa sortie, mais elles ne montrent pas directement ce que le modèle « comprend » ou pourquoi il a pris une décision. Une forte attention ne signifie pas « important » — certaines têtes prêtent attention à la ponctuation ou aux patterns positionnels sans signification sémantique. Les cartes d'attention sont descriptives (ce que le modèle a regardé), pas explicatives (pourquoi il a pris sa décision). C'est un outil de débogage utile, pas une explication complète.

Outils

BertViz fournit des visualisations d'attention interactives pour les modèles Transformer. Ecco et Captum offrent de l'interprétabilité basée sur l'attention pour les modèles PyTorch. Pour les LLM accessibles via API, certains fournisseurs retournent les poids d'attention ou les log-probabilités qui permettent une visualisation partielle. Dans la génération d'images, les cartes d'attention croisée montrent quelles régions de l'image correspondent à quels mots du prompt — utile pour comprendre pourquoi le modèle a placé les objets là où il les a mis.