跳到主要内容
Zubnet AI › 学习 › Wiki › pass@k
训练

pass@k

别名:pass@1、pass@10、Pass at k
一种代码生成指标,衡量模型的 k 次尝试中至少有一次通过全部测试的概率。

为什么重要

你在模型发布中看到的大多数编程成绩,背后都是 pass@k,这个思路也已经扩展到数学和推理基准。懂得怎么读它,可以避免一个常见错误:拿一个模型的 pass@1 去比另一个模型的 pass@10。后一个数字永远更好看,但它的含义不同。

pass@1 和 pass@k 之间的差距同样有信息量。一个 pass@1 为 40%、pass@100 为 90% 的模型,往往“知道”怎么解题,只是做不到稳定发挥。采样多个候选、自我检查和智能体循环等技术,要弥合的正是这个差距。

深度解析

给生成的代码打分,不能拿它和参考答案逐字比较,因为同一个函数有无数种正确的写法。重要的是代码能不能跑通。所以代码基准会用单元测试来运行模型的输出,并报告 pass@k:让模型为一道题生成 k 个不同的解答,只要其中任何一个通过了所有测试,这道题就算解决了。

pass@1 是最严格的版本:只有一次机会,非对即错。pass@10 和 pass@100 则展示了模型在有很多次机会时能做到什么。这个指标因 OpenAI 2021 年的 Codex 论文而流行开来,该论文同时推出了包含 164 道 Python 题的 HumanEval 基准。

如何计算

朴素的做法是恰好抽取 k 个样本并检查,但结果噪声很大。标准做法是为每道题抽取更多的 n 个样本(比如 200 个),数出其中正确的个数(c),再计算从这 n 个中随机取 k 个时至少包含一个正确解的概率:

pass@k = 1 − C(n − c, k) / C(n, k)

然后对所有题目取平均。采样设置很重要。对 pass@1 来说,低温度最好,因为你要的是模型最有把握的那一个答案。k 较大时,较高的温度更有帮助,因为你要的是多样化的尝试。

关键问题:总得有人来挑

pass@k 假定有一个先知,知道 k 次尝试中哪一次是对的。在基准里,隐藏的测试扮演这个角色。在现实中,你拿到 k 个候选解,却没有标准答案,除非你有自己的测试。这就是为什么 pass@1 才是回答“我只问一次,它能行吗”的诚实数字,也是为什么测试在实践中如此宝贵:一个能运行测试并重试的智能体,实际上把 pass@k 的能力变成了 pass@1 的结果。

相关指标

  • 解决率(resolved rate):SWE-bench 等基准报告的是智能体运行一次所解决任务的比例,本质上就是整个智能体的 pass@1。
  • pass^k(读作“pass hat k”):全部 k 次尝试都成功的概率。它衡量的是一致性,对那些每次都必须把同一件事做对的智能体很重要,比如客服机器人。一个模型可能 pass@1 很高而 pass^8 很差。
  • 多数投票 / self-consistency:对只有一个答案的任务,取 k 个样本中出现最多的答案。不需要先知。

注意事项

  • 测试太弱会抬高分数。 研究人员给 HumanEval 增加了大量测试之后,分数明显下降,因为有些“通过”的解答其实是错的。
  • 老基准已经饱和并被污染。 HumanEval 和 MBPP 的题目短小、公开,现代模型的解决率远超 90%。
  • 只涉及小任务。 通过一个独立函数的测试,并不能说明模型在大型代码库里的工作能力。
← 所有术语
ESC