注意力視覺化：定義與含義 — AI 維基

透過將注意力權重顯示為熱力圖來視覺化 Transformer 模型「關注」了什麼。對於每個查詢 token，注意力圖顯示它對其他每個 token 分配了多少權重。高權重（亮點）表示強關注——模型認為那些 token 與當前計算高度相關。

為什麼重要

注意力視覺化是窺探 Transformer 內部並理解其推理過程最直觀的方式。當模型將「le chat noir」翻譯為「the black cat」時，注意力圖顯示「black」強烈關注「noir」，而「cat」關注「chat」。這有助於除錯模型行為、理解失敗原因，並建立對注意力運作方式的直覺。

深度解析

注意力權重矩陣對每個頭和每層是（seq_len × seq_len）。視覺化方式：選擇一個層和頭，將矩陣顯示為熱力圖，其中第 i 行顯示 token i 關注哪些 token。明亮的儲存格表示高注意力。對於多頭注意力，你可以視覺化個別頭（每個頭專注於不同模式）或跨頭平均（整體注意力分佈）。

注意力圖顯示了什麼（以及沒顯示什麼）

注意力圖顯示一個頭在計算輸出時考慮了哪些 token，但它們不直接顯示模型「理解」了什麼或為什麼做出某個決定。高注意力不等於「重要」——有些頭關注標點符號或位置模式，並沒有語意含義。注意力圖是描述性的（模型看了什麼），而非解釋性的（模型為何做出決定）。它們是有用的除錯工具，而非完整的解釋。

工具

BertViz 為 Transformer 模型提供互動式注意力視覺化。Ecco 和 Captum 為 PyTorch 模型提供基於注意力的可解釋性。對於通過 API 存取的 LLM，有些提供商會回傳注意力權重或對數機率，使得部分視覺化成為可能。在圖像生成中，交叉注意力圖顯示哪些圖像區域對應哪些提示詞——有助於理解模型為何將物體放在那個位置。