मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › SWE-bench
प्रशिक्षण

SWE-bench

इसे भी कहा जाता है: SWE-bench Verified
एक benchmark जो जाँचता है कि क्या AI systems असली codebases को edit करके असली GitHub issues हल कर सकते हैं, जब तक project के tests पास न हो जाएँ।

यह क्यों मायने रखता है

SWE-bench coding agents का सबसे चर्चित benchmark बन गया, और 2024–25 में लगभग हर बड़े model launch में इसका ज़िक्र होता था। यह इसलिए लोकप्रिय है कि यह असली काम के करीब है: अनजान codebase को समझना, सही files ढूँढना, ऐसा बदलाव करना जो project में fit बैठे, और कुछ और न तोड़ना।

इसका सफ़र agents के उभार को भी दर्शाता है। Launch के समय सबसे अच्छे systems 2% से भी कम tasks हल करते थे। 2025 तक अच्छे agent harness वाले top models SWE-bench Verified के 70% से काफ़ी ज़्यादा tasks हल करने लगे। यह उछाल बेहतर models और बेहतर scaffolding दोनों से आया: search करने, files पढ़ने, tests चलाने और iterate करने के tools।

गहन अध्ययन

SWE-bench को 2023 में Princeton के researchers ने जारी किया। यह model से scratch से कोई छोटा function लिखने को नहीं कहता। यह उसे किसी लोकप्रिय open-source Python project की असली bug report या feature request थमाता है, साथ में वह पूरी repository जैसी वह issue दर्ज होते समय थी। Model को code में बदलाव देना होता है। फिर उस बदलाव को उन tests से जाँचा जाता है जो project के असली developers ने वह issue ठीक करते समय लिखे थे।

मूल set में 12 repositories के 2,294 tasks हैं, जिनमें Django, scikit-learn, sympy और matplotlib शामिल हैं। इसका सबसे मशहूर version SWE-bench Verified 500 tasks का subset है, जिसे OpenAI और SWE-bench के लेखकों ने 2024 में जारी किया। इससे पहले human engineers ने उन tasks को छाँटकर हटा दिया था जो अस्पष्ट थे या जिनके tests अनुचित थे।

एक run कैसे चलता है

एक आम agent run ऐसा होता है: agent issue पढ़ता है, search और file tools से repository को explore करता है, bug को reproduce करता है, code edit करता है, tests चलाता है और iterate करता है। काम पूरा होने पर उसका final patch repository की साफ़ copy पर लगाया जाता है और दो तरह के tests चलते हैं: "fail-to-pass" tests जो अब पास होने चाहिए, और "pass-to-pass" tests जो टूटने नहीं चाहिए। Task तभी गिना जाता है जब दोनों सफल हों।

Variants

  • SWE-bench Lite: 300 tasks, जो सस्ते और कुछ सरल होने के लिए चुने गए।
  • SWE-bench Verified: इंसानों के validate किए हुए 500 tasks, जो तुलना का standard बन गए। फ़रवरी 2026 में OpenAI ने contamination और खराब tests का हवाला देकर इसे report करना बंद कर दिया, और अब वह SWE-bench Pro की ओर इशारा करता है।
  • SWE-bench Multimodal: ऐसे issues जिनमें screenshots या visual bugs हैं, ज़्यादातर JavaScript projects से।
  • Multilingual और "Pro" variants: नई कोशिशें, जो ज़्यादा भाषाओं, लंबे tasks और ऐसी repositories को cover करती हैं जिनके training data में होने की संभावना कम है।

जानने लायक सावधानियाँ

  • Scaffolding मायने रखता है: एक ही model का score उसके agent harness, tools और attempts की संख्या के हिसाब से बहुत बदल सकता है। इसलिए numbers की तुलना तभी कीजिए जब setups एक जैसे हों।
  • Contamination: repositories और उनके fixes public हैं, इसलिए हो सकता है models ने उन्हें training में देखा हो।
  • सीमित दायरा: यह ज़्यादातर Python है, ज़्यादातर bug fixes हैं और ज़्यादातर जाने-माने projects का एक ही set है। शानदार score आपके private codebase पर शानदार नतीजों की गारंटी नहीं देता।
  • Saturation: जैसे-जैसे top scores चढ़ते हैं, ऊपर के अंतर छोटे और noisy होते जाते हैं। इसीलिए कठिन उत्तराधिकारी आते रहते हैं।

इसे कैसे इस्तेमाल करें

SWE-bench को agentic coding क्षमता का मज़बूत संकेत मानिए, अंतिम जवाब नहीं। सबसे अच्छा test अब भी आपकी अपनी repositories के कुछ असली tasks हैं, उन्हीं tools के साथ चलाए हुए जो आप असल में इस्तेमाल करेंगे।

← सभी शब्द
ESC