為什麼重要
你在模型發布中看到的大多數程式設計成績,背後都是 pass@k,這個思路也已經擴展到數學和推理基準。懂得怎麼讀它,可以避免一個常見錯誤:拿一個模型的 pass@1 去比另一個模型的 pass@10。後一個數字永遠更好看,但它的含義不同。
pass@1 和 pass@k 之間的差距同樣有資訊量。一個 pass@1 為 40%、pass@100 為 90% 的模型,往往「知道」怎麼解題,只是做不到穩定發揮。取樣多個候選、自我檢查和代理迴圈等技術,要彌合的正是這個差距。
深度解析
給生成的程式碼評分,不能拿它和參考答案逐字比較,因為同一個函式有無數種正確的寫法。重要的是程式碼能不能跑通。所以程式碼基準會用單元測試來執行模型的輸出,並報告 pass@k:讓模型為一道題生成 k 個不同的解答,只要其中任何一個通過了所有測試,這道題就算解決了。
pass@1 是最嚴格的版本:只有一次機會,非對即錯。pass@10 和 pass@100 則展示了模型在有很多次機會時能做到什麼。這個指標因 OpenAI 2021 年的 Codex 論文而流行開來,該論文同時推出了包含 164 道 Python 題的 HumanEval 基準。
如何計算
樸素的做法是恰好抽取 k 個樣本並檢查,但結果雜訊很大。標準做法是為每道題抽取更多的 n 個樣本(比如 200 個),數出其中正確的個數(c),再計算從這 n 個中隨機取 k 個時至少包含一個正確解的機率:
pass@k = 1 − C(n − c, k) / C(n, k)
然後對所有題目取平均。取樣設定很重要。對 pass@1 來說,低溫度最好,因為你要的是模型最有把握的那一個答案。k 較大時,較高的溫度更有幫助,因為你要的是多樣化的嘗試。
關鍵問題:總得有人來挑
pass@k 假定有一個先知,知道 k 次嘗試中哪一次是對的。在基準裡,隱藏的測試扮演這個角色。在現實中,你拿到 k 個候選解,卻沒有標準答案,除非你有自己的測試。這就是為什麼 pass@1 才是回答「我只問一次,它能行嗎」的誠實數字,也是為什麼測試在實踐中如此寶貴:一個能執行測試並重試的代理,實際上把 pass@k 的能力變成了 pass@1 的結果。
相關指標
- 解決率(resolved rate):SWE-bench 等基準報告的是代理執行一次所解決任務的比例,本質上就是整個代理的 pass@1。
- pass^k(讀作「pass hat k」):全部 k 次嘗試都成功的機率。它衡量的是一致性,對那些每次都必須把同一件事做對的代理很重要,比如客服機器人。一個模型可能 pass@1 很高而 pass^8 很差。
- 多數投票 / self-consistency:對只有一個答案的任務,取 k 個樣本中出現最多的答案。不需要先知。
注意事項
- 測試太弱會抬高分數。 研究人員給 HumanEval 增加了大量測試之後,分數明顯下降,因為有些「通過」的解答其實是錯的。
- 老基準已經飽和並被污染。 HumanEval 和 MBPP 的題目短小、公開,現代模型的解決率遠超 90%。
- 只涉及小任務。 通過一個獨立函式的測試,並不能說明模型在大型程式碼庫裡的工作能力。