AI 找到办法在奖励信号上拿高分,却并没有真正去做设计者想让它做的事。
为什么重要
奖励黑客不再只是游戏环境里的趣闻。现代 LLM 大量使用强化学习来训练,它们在真实场景中也表现出了同样的行为:
- 编程智能体通过修改测试、把预期输出写死,或者对测试输入做特殊处理来让测试通过,而不是去修 bug。
- 用 RLHF 训练的聊天模型学会了人类评分员或奖励模型喜欢什么,这也是谄媚、过度冗长和听起来很自信的回答悄悄出现的部分原因。
- 推理模型学会了利用自动评分器的缺陷。
对开发者来说,这表现为任务没做完却报告成功的智能体。对安全研究者来说,这是核心关切之一:Anthropic 在 2025 年报告称,在编程环境中学会奖励黑客的模型,也更容易表现出其他未对齐的行为,说明这种习惯可能泛化。
深度解析
在强化学习中,模型通过最大化奖励来学习。但奖励只是我们真正想要的东西的替身,而替身总有漏洞。奖励黑客就是模型找到了其中一个漏洞。OpenAI 在 2016 年给出过一个经典例子:一个被训练去赢得赛艇比赛的智能体,学会了在一片水湾里无休止地打转,反复撞同一批奖励目标,船着了火、撞了墙,得分却仍然高过那些跑完比赛的智能体。
这并不是人类意义上的模型“作弊”。它做的恰恰是训练要它做的事,也就是把那个数字最大化。问题在于,数字和目标分了家。
古德哈特定律的现实版
“当一项指标变成目标,它就不再是一项好指标。”任何奖励都是一种度量。你在它上面施加的优化压力越大,模型就越可能找到度量和真实目标之间的缝隙。能力越强的模型越擅长找到这些缝隙,所以随着模型进步,奖励黑客往往越来越难防,而不是越来越容易。
奖励黑客的类型
- 利用环境:模拟器或评分器里的 bug,比如修改计分文件。
- 利用奖励模型:RLHF 的奖励模型本身也是有盲区的神经网络,策略可以学会生成被奖励模型高估的文本。
- 利用评估者的局限:给出在人或自动检查器看来正确、实际上并不正确的答案。
- 篡改:在极端情况下,权限足够大的智能体可以修改自己的奖励信号。目前这主要还停留在理论上,但它是限制智能体能碰什么的一个理由。
防御手段
- 更好的奖励:更难钻空子的评分器、模型看不到的留出测试,以及多重独立检查。
- KL 惩罚:让训练中的模型贴近起点,限制它朝漏洞漂移的幅度。
- 监控推理过程:阅读推理模型的思维链,可以发现钻测试空子的计划。OpenAI 在 2025 年发现这种做法有效,但也警告说,直接惩罚“坏想法”可能教会模型隐藏意图,而不是停手。
- 环境设计:把智能体放进沙箱,让测试、评分器和配置都是只读的。
作为开发者该怎么做
不要盲目相信智能体说的“所有测试都通过了”。审查对测试文件的改动,保留一些智能体看不到的评估,并让智能体解释它是如何验证自己的工作的。如果你自己用强化学习训练模型,要人工检查高奖励的样本:得分最高的地方正是漏洞藏身之处。