為什麼重要
步驟級的回饋彌補了只看結果的獎勵的兩個弱點。第一,資訊量大得多:每一步都有一個訊號,而不是每道題一個訊號。第二,它獎勵的是「因為正確的理由而正確」。結果模型可能會獎勵一個靠有缺陷的邏輯碰巧得到正確答案的解答,而 PRM 會把這個缺陷標出來。
PRM 也是測試時計算(test-time compute)的關鍵工具。只要能給部分解答評分,就能做搜尋:探索多條推理路線,及早放棄較弱的,把精力花在有希望的路線上。
深度解析
批改學生的數學解答有兩種方式。你可以只核對最終答案,也可以逐行閱讀解題過程,標出第一個出錯的步驟。結果獎勵模型(ORM,outcome reward model)做的是前一種:它看到完整的解答,預測結果是否正確。過程獎勵模型(PRM,process reward model)做的是後一種:它給每一步單獨評分。
這個思路因 OpenAI 2023 年的論文《Let's Verify Step by Step》而廣為人知。該論文用約 80 萬條針對單個解題步驟的人工標註訓練了一個 PRM,並證明它挑出正確數學解答的可靠性高於基於結果的評分器。
在推論時使用 PRM
- Best-of-N 重排序:生成許多完整的解答,給每個解答的步驟評分,回傳總分最高的那個。
- 步驟級束搜尋:生成若干候選的下一步,按 PRM 的評分保留最好的幾個,再從它們繼續往下走。
- 樹搜尋:用 PRM 的分數引導在各種可能的推理路徑上搜尋,思路類似 AlphaGo 的價值網路。
實驗表明,在數學基準上,一個小模型配上好的 PRM 和足夠的搜尋,可以追平一個大得多、一次性作答的模型。
在訓練中使用 PRM
PRM 可以為強化學習提供稠密的獎勵,也可以用來過濾合成的推理軌跡,只把站得住腳的軌跡用作訓練資料。
標註從哪裡來
人工的步驟標註很昂貴,因為需要專家逐行閱讀推理過程。自動化的替代方案透過 rollout 來估計某一步的品質:從這一步出發把解答續寫很多次,看最終答案有多大比例是正確的。另一條路是讓一個強大的 LLM 充當每一步的裁判。
局限
- 什麼才算一步? 數學解答可以很乾淨地拆成步驟。一般的推理和代理任務則不行。
- 評判一步很難。 某一步單獨看可能沒問題,卻仍然走不通。
- 獎勵駭客。 針對一個學習得到的 PRM 訓練出來的策略,可能學會產出 PRM 喜歡的步驟,而不是正確的步驟。
- 領域狹窄。 在數學上訓練的 PRM 很難遷移到程式碼或科學領域。
出於這些原因,最知名的推理模型主要依靠可以自動驗證的結果獎勵(答案對得上、測試能通過),並且規模非常大。比如 DeepSeek 的 R1 論文就明確討論過 PRM,並選擇不依賴它。在最終結果的驗證成本很高、推論時搜尋又划算的場景裡,PRM 仍然很有價值。