Visualização de Attention: Definição e significado — Wiki de IA

Visualizar o que um modelo Transformer "atende" exibindo os pesos de attention como mapas de calor. Para cada token de query, o mapa de attention mostra quanto peso ele atribui a cada outro token. Pesos altos (pontos brilhantes) indicam attention forte — o modelo considera esses tokens altamente relevantes para a computação atual.

Por que isso importa

A visualização de attention é a forma mais intuitiva de espiar dentro de um Transformer e entender seu raciocínio. Quando um modelo traduz "le chat noir" para "the black cat", mapas de attention mostram que "black" atende fortemente a "noir" e "cat" a "chat". Isso ajuda a debugar comportamento do modelo, entender falhas e construir intuição sobre como attention funciona.

Em profundidade

A matriz de pesos de attention é (seq_len × seq_len) para cada head e camada. Para visualizar: escolha uma camada e head, exiba a matriz como um mapa de calor onde a linha i mostra quais tokens o token i atende. Células brilhantes significam attention alta. Para multi-head attention, você pode visualizar heads individuais (cada um se especializa em padrões diferentes) ou calcular a média entre heads (distribuição geral de attention).

O Que Mapas de Attention Mostram (e Não Mostram)

Mapas de attention mostram quais tokens um head considera ao computar sua saída, mas não mostram diretamente o que o modelo "entende" ou por que tomou uma decisão. Attention alta não significa "importante" — alguns heads atendem a pontuação ou padrões posicionais sem significado semântico. Mapas de attention são descritivos (o que o modelo olhou) não explicativos (por que tomou sua decisão). São uma ferramenta útil de debug, não uma explicação completa.

Ferramentas

BertViz fornece visualizações interativas de attention para modelos Transformer. Ecco e Captum oferecem interpretabilidade baseada em attention para modelos PyTorch. Para LLMs acessados via API, alguns provedores retornam pesos de attention ou log-probabilidades que permitem visualização parcial. Na geração de imagens, mapas de cross-attention mostram quais regiões da imagem correspondem a quais palavras do prompt — útil para entender por que o modelo posicionou objetos onde posicionou.