为什么重要
步骤级的反馈弥补了只看结果的奖励的两个弱点。第一,信息量大得多:每一步都有一个信号,而不是每道题一个信号。第二,它奖励的是“因为正确的理由而正确”。结果模型可能会奖励一个靠有缺陷的逻辑碰巧得到正确答案的解答,而 PRM 会把这个缺陷标出来。
PRM 也是测试时计算(test-time compute)的关键工具。只要能给部分解答打分,就能做搜索:探索多条推理路线,及早放弃较弱的,把精力花在有希望的路线上。
深度解析
批改学生的数学解答有两种方式。你可以只核对最终答案,也可以逐行阅读解题过程,标出第一个出错的步骤。结果奖励模型(ORM,outcome reward model)做的是前一种:它看到完整的解答,预测结果是否正确。过程奖励模型(PRM,process reward model)做的是后一种:它给每一步单独打分。
这个思路因 OpenAI 2023 年的论文《Let's Verify Step by Step》而广为人知。该论文用约 80 万条针对单个解题步骤的人工标注训练了一个 PRM,并证明它挑出正确数学解答的可靠性高于基于结果的评分器。
在推理时使用 PRM
- Best-of-N 重排序:生成许多完整的解答,给每个解答的步骤打分,返回总分最高的那个。
- 步骤级束搜索:生成若干候选的下一步,按 PRM 的评分保留最好的几个,再从它们继续往下走。
- 树搜索:用 PRM 的分数引导在各种可能的推理路径上搜索,思路类似 AlphaGo 的价值网络。
实验表明,在数学基准上,一个小模型配上好的 PRM 和足够的搜索,可以追平一个大得多、一次性作答的模型。
在训练中使用 PRM
PRM 可以为强化学习提供稠密的奖励,也可以用来过滤合成的推理轨迹,只把站得住脚的轨迹用作训练数据。
标注从哪里来
人工的步骤标注很昂贵,因为需要专家逐行阅读推理过程。自动化的替代方案通过 rollout 来估计某一步的质量:从这一步出发把解答续写很多次,看最终答案有多大比例是正确的。另一条路是让一个强大的 LLM 充当每一步的裁判。
局限
- 什么才算一步? 数学解答可以很干净地拆成步骤。一般的推理和智能体任务则不行。
- 评判一步很难。 某一步单独看可能没问题,却仍然走不通。
- 奖励黑客。 针对一个学习得到的 PRM 训练出来的策略,可能学会产出 PRM 喜欢的步骤,而不是正确的步骤。
- 领域狭窄。 在数学上训练的 PRM 很难迁移到代码或科学领域。
出于这些原因,最知名的推理模型主要依靠可以自动核验的结果奖励(答案对得上、测试能通过),并且规模非常大。比如 DeepSeek 的 R1 论文就明确讨论过 PRM,并选择不依赖它。在最终结果的核验成本很高、推理时搜索又划算的场景里,PRM 仍然很有价值。