为什么重要
SWE-bench 成了编程智能体的头号基准,2024–25 年几乎每次重要的模型发布都会引用它。它受欢迎,是因为它贴近真实工作:理解一个陌生的代码库,找到正确的文件,做出符合项目风格的改动,并且不弄坏别的东西。
它的轨迹也记录了智能体的崛起。刚发布时,最好的系统只能解决不到 2% 的任务。到 2025 年,顶尖模型配上好的智能体框架,已经能解决 SWE-bench Verified 中远超 70% 的任务。这一跃升既来自更好的模型,也来自更好的脚手架:搜索、读文件、跑测试和反复迭代的工具。
深度解析
SWE-bench 由普林斯顿大学的研究者在 2023 年发布。它不是让模型从零写一个小函数,而是把某个热门开源 Python 项目里一份真实的 bug 报告或功能请求交给模型,同时附上 issue 提交时的完整代码仓库。模型必须给出一份代码改动。随后用项目的真实开发者在修复该 issue 时写下的测试来检验这份改动。
原始数据集包含来自 12 个仓库的 2,294 个任务,其中有 Django、scikit-learn、sympy 和 matplotlib。它最知名的版本 SWE-bench Verified 是一个 500 个任务的子集,由 OpenAI 和 SWE-bench 的作者在 2024 年发布,此前人类工程师已经筛掉了描述含糊或测试不公平的任务。
一次运行是怎样的
典型的智能体运行过程:智能体阅读 issue,用搜索和文件工具探索仓库,复现 bug,修改代码,运行测试,反复迭代。完成后,它的最终补丁被应用到一份干净的仓库副本上,并运行两类测试:现在应该通过的“fail-to-pass”测试,以及不能被弄坏的“pass-to-pass”测试。两类都通过,任务才算完成。
各种变体
- SWE-bench Lite:300 个任务,挑选时考虑了成本更低、难度略小。
- SWE-bench Verified:500 个经人工验证的任务,后来成了标准的比较基准。2026 年 2 月,OpenAI 以数据污染和测试有缺陷为由停止报告它的成绩,转而推荐 SWE-bench Pro。
- SWE-bench Multimodal:包含截图或视觉 bug 的 issue,大多来自 JavaScript 项目。
- 多语言和“Pro”变体:较新的尝试,覆盖更多编程语言、更长的任务,以及不太可能出现在训练数据里的仓库。
值得了解的注意事项
- 脚手架很重要:同一个模型的得分会因智能体框架、工具和尝试次数的不同而相差很大,所以只有设置一致时才能比较数字。
- 数据污染:这些仓库及其修复都是公开的,模型可能在训练时见过。
- 覆盖面窄:主要是 Python,主要是修 bug,主要是同一批知名项目。高分并不保证在你的私有代码库上也有好结果。
- 饱和:随着最高分不断上升,顶部的差距越来越小、噪声越来越大,所以更难的后继基准不断出现。
该怎么用它
把 SWE-bench 当作智能体编程能力的有力信号,而不是最终答案。最好的测试仍然是从你自己的仓库里挑几个真实任务,用你实际会用的工具来跑。