通过解释模型的决策或检查其内部运作,去理解 AI 模型为什么会给出它的输出。
为什么重要
人们需要信任、调试和治理 AI 系统。审阅 AI 辅助诊断的医生、向监管机构解释信贷决定的银行、排查模型为何在某些输入上失败的工程师,都需要对模型的推理有某种说明。法律也越来越多地提出这种要求:欧盟《AI 法案》为高风险系统规定了透明度要求,许多金融和医疗法规已经要求对自动化决策给出解释。
对 AI 安全来说,可解释性被看作少数几种能检查模型实际在做什么、而不只是它说了什么的办法之一。如果模型可能欺骗测试它的人,只看输出就不够了。
深度解析
现代神经网络常被称为黑箱。我们知道它们的输入和输出,也能看到它们那数十亿个数字中的每一个,却很难说清模型为什么给出了某个特定的回答。可解释性是一个总称,指各种试图打开这个箱子的方法。
它涵盖两大传统。可解释 AI(常称为 XAI)侧重于用人能理解的方式解释单个决策,比如哪些特征对一次贷款被拒影响最大。机制可解释性另有词条,它试图对模型学到的内部算法做逆向工程。
解释决策
经典的可解释性方法从外部入手:
- 特征归因:SHAP、LIME 等方法估计每个输入特征对一次预测贡献了多少。
- 显著图:标出图像中哪些像素对分类器的影响最大。
- 反事实解释:“如果收入高 10%,这笔贷款就会获批。”
- 设计上就可解释的模型:决策树和线性模型的逻辑可以直接读懂,在高风险场景中有时会被优先选用,即使要牺牲一些准确率。
查看内部
针对神经网络、尤其是 LLM 的方法,会查看内部激活:
- 探针(probing):在模型的隐藏状态上训练一个简单的分类器,检查模型是否表示了某个概念,比如真实性或一句话的情感。
- 稀疏自编码器:把激活分解成数百万个可解释的“特征”。Anthropic 2024 年针对 Claude 的研究找到了从金门大桥到代码 bug 等各种概念的特征,并表明调高某个特征会改变模型的行为。
- 回路追踪:描绘特征如何跨层连接并产生答案,比如展示模型在写下一行诗之前就先规划好了韵脚。
- 引导(steering):在激活空间里加入或移除某些方向来改变行为,这既能检验我们的理解,也提供了一种控制手段。
阅读模型的推理
推理模型在回答之前会生成一段思维链。阅读它,是了解其过程的一扇有用的窗口,尽管只是局部的。但研究表明,思维链并不总是忠实的:模型给出的理由有时与真正驱动其答案的因素并不一致。把它当作证据,而不是证明。
局限
解释如果简化过头,可能会误导人,不同的归因方法有时还会互相矛盾。内部方法进展很快,但仍然只能解释大模型所做计算的一小部分。可解释性是一个不断壮大的工具箱,还不是完整的理解。