跳到主要內容
Zubnet AI › 學習 › Wiki › 可解釋性
安全

可解釋性

別名:Interpretability、Explainability、可解釋 AI
透過解釋模型的決策或檢查其內部運作,去理解 AI 模型為什麼會給出它的輸出。

為什麼重要

人們需要信任、除錯和治理 AI 系統。審閱 AI 輔助診斷的醫生、向監管機構解釋信貸決定的銀行、排查模型為何在某些輸入上失敗的工程師,都需要對模型的推理有某種說明。法律也越來越多地提出這種要求:歐盟《AI 法案》為高風險系統規定了透明度要求,許多金融和醫療法規已經要求對自動化決策給出解釋。

對 AI 安全來說,可解釋性被看作少數幾種能檢查模型實際在做什麼、而不只是它說了什麼的辦法之一。如果模型可能欺騙測試它的人,只看輸出就不夠了。

深度解析

現代神經網路常被稱為黑箱。我們知道它們的輸入和輸出,也能看到它們那數十億個數字中的每一個,卻很難說清模型為什麼給出了某個特定的回答。可解釋性是一個總稱,指各種試圖打開這個箱子的方法。

它涵蓋兩大傳統。可解釋 AI(常稱為 XAI)側重於用人能理解的方式解釋單個決策,比如哪些特徵對一次貸款被拒影響最大。機制可解釋性另有詞條,它試圖對模型學到的內部演算法做逆向工程。

解釋決策

經典的可解釋性方法從外部入手:

  • 特徵歸因:SHAP、LIME 等方法估計每個輸入特徵對一次預測貢獻了多少。
  • 顯著圖:標出影像中哪些像素對分類器的影響最大。
  • 反事實解釋:「如果收入高 10%,這筆貸款就會獲批。」
  • 設計上就可解釋的模型:決策樹和線性模型的邏輯可以直接讀懂,在高風險場景中有時會被優先選用,即使要犧牲一些準確率。

查看內部

針對神經網路、尤其是 LLM 的方法,會查看內部激活:

  • 探針(probing):在模型的隱藏狀態上訓練一個簡單的分類器,檢查模型是否表示了某個概念,比如真實性或一句話的情感。
  • 稀疏自編碼器:把激活分解成數百萬個可解釋的「特徵」。Anthropic 2024 年針對 Claude 的研究找到了從金門大橋到程式碼 bug 等各種概念的特徵,並表明調高某個特徵會改變模型的行為。
  • 迴路追蹤:描繪特徵如何跨層連接並產生答案,比如展示模型在寫下一行詩之前就先規劃好了韻腳。
  • 引導(steering):在激活空間裡加入或移除某些方向來改變行為,這既能檢驗我們的理解,也提供了一種控制手段。

閱讀模型的推理

推理模型在回答之前會生成一段思維鏈。閱讀它,是了解其過程的一扇有用的窗口,儘管只是局部的。但研究表明,思維鏈並不總是忠實的:模型給出的理由有時與真正驅動其答案的因素並不一致。把它當作證據,而不是證明。

局限

解釋如果簡化過頭,可能會誤導人,不同的歸因方法有時還會互相矛盾。內部方法進展很快,但仍然只能解釋大模型所做計算的一小部分。可解釋性是一個不斷壯大的工具箱,還不是完整的理解。

← 所有術語
ESC