Visualización de Atención: Definición y significado — Wiki de IA

Visualizar a qué "presta atención" un modelo Transformer mostrando los pesos de atención como heatmaps. Para cada token de consulta, el mapa de atención muestra cuánto peso asigna a cada otro token. Pesos altos (puntos brillantes) indican atención fuerte — el modelo considera esos tokens altamente relevantes para el cálculo actual.

Por qué importa

La visualización de atención es la forma más intuitiva de observar dentro de un Transformer y entender su razonamiento. Cuando un modelo traduce "le chat noir" a "the black cat", los mapas de atención muestran que "black" presta mucha atención a "noir" y "cat" a "chat". Esto ayuda a depurar el comportamiento del modelo, entender fallos y construir intuición sobre cómo funciona la atención.

En profundidad

La matriz de pesos de atención es (seq_len × seq_len) para cada cabeza y capa. Para visualizar: elige una capa y cabeza, muestra la matriz como un heatmap donde la fila i muestra a qué tokens presta atención el token i. Las celdas brillantes significan alta atención. Para atención multi-cabeza, puedes visualizar cabezas individuales (cada una se especializa en diferentes patrones) o promediar entre cabezas (distribución general de atención).

Lo que los mapas de atención muestran (y no muestran)

Los mapas de atención muestran qué tokens una cabeza considera al calcular su salida, pero no muestran directamente qué "entiende" el modelo o por qué tomó una decisión. Alta atención no significa "importante" — algunas cabezas atienden a la puntuación o patrones posicionales sin significado semántico. Los mapas de atención son descriptivos (a qué miró el modelo) no explicativos (por qué tomó su decisión). Son una herramienta útil de depuración, no una explicación completa.

Herramientas

BertViz proporciona visualizaciones interactivas de atención para modelos Transformer. Ecco y Captum ofrecen interpretabilidad basada en atención para modelos PyTorch. Para LLMs accedidos vía API, algunos proveedores devuelven pesos de atención o log-probabilidades que permiten visualización parcial. En generación de imágenes, los mapas de atención cruzada muestran qué regiones de la imagen corresponden a qué palabras del prompt — útil para entender por qué el modelo colocó objetos donde los colocó.