跳到主要內容
Zubnet AI › 學習 › Wiki › SWE-bench
訓練

SWE-bench

別名:SWE-bench Verified
一項基準測試,檢驗 AI 系統能否透過修改真實程式碼庫來解決真實的 GitHub issue,直到專案的測試通過。

為什麼重要

SWE-bench 成了程式編寫代理的頭號基準,2024–25 年幾乎每次重要的模型發布都會引用它。它受歡迎,是因為它貼近真實工作:理解一個陌生的程式碼庫,找到正確的檔案,做出符合專案風格的改動,並且不弄壞別的東西。

它的軌跡也記錄了代理的崛起。剛發布時,最好的系統只能解決不到 2% 的任務。到 2025 年,頂尖模型配上好的代理框架,已經能解決 SWE-bench Verified 中遠超 70% 的任務。這一躍升既來自更好的模型,也來自更好的鷹架:搜尋、讀檔案、跑測試和反覆迭代的工具。

深度解析

SWE-bench 由普林斯頓大學的研究者在 2023 年發布。它不是讓模型從零寫一個小函式,而是把某個熱門開源 Python 專案裡一份真實的 bug 報告或功能請求交給模型,同時附上 issue 提交時的完整程式碼儲存庫。模型必須給出一份程式碼改動。隨後用專案的真實開發者在修復該 issue 時寫下的測試來檢驗這份改動。

原始資料集包含來自 12 個儲存庫的 2,294 個任務,其中有 Django、scikit-learn、sympy 和 matplotlib。它最知名的版本 SWE-bench Verified 是一個 500 個任務的子集,由 OpenAI 和 SWE-bench 的作者在 2024 年發布,此前人類工程師已經篩掉了描述含糊或測試不公平的任務。

一次執行是怎樣的

典型的代理執行過程:代理閱讀 issue,用搜尋和檔案工具探索儲存庫,重現 bug,修改程式碼,執行測試,反覆迭代。完成後,它的最終修補程式被應用到一份乾淨的儲存庫副本上,並執行兩類測試:現在應該通過的「fail-to-pass」測試,以及不能被弄壞的「pass-to-pass」測試。兩類都通過,任務才算完成。

各種變體

  • SWE-bench Lite:300 個任務,挑選時考慮了成本更低、難度略小。
  • SWE-bench Verified:500 個經人工驗證的任務,後來成了標準的比較基準。2026 年 2 月,OpenAI 以資料污染和測試有缺陷為由停止回報它的成績,轉而推薦 SWE-bench Pro。
  • SWE-bench Multimodal:包含截圖或視覺 bug 的 issue,大多來自 JavaScript 專案。
  • 多語言和「Pro」變體:較新的嘗試,覆蓋更多程式語言、更長的任務,以及不太可能出現在訓練資料裡的儲存庫。

值得了解的注意事項

  • 鷹架很重要:同一個模型的得分會因代理框架、工具和嘗試次數的不同而相差很大,所以只有設定一致時才能比較數字。
  • 資料污染:這些儲存庫及其修復都是公開的,模型可能在訓練時見過。
  • 覆蓋面窄:主要是 Python,主要是修 bug,主要是同一批知名專案。高分並不保證在你的私有程式碼庫上也有好結果。
  • 飽和:隨著最高分不斷上升,頂部的差距越來越小、雜訊越來越大,所以更難的後繼基準不斷出現。

該怎麼用它

把 SWE-bench 當作代理寫程式的能力的有力訊號,而不是最終答案。最好的測試仍然是從你自己的儲存庫裡挑幾個真實任務,用你實際會用的工具來跑。

← 所有術語
ESC