Aller au contenu principal
Zubnet AI › Apprendre › Wiki › SWE-bench
Entraînement

SWE-bench

Aussi appelé : SWE-bench Verified
Un benchmark qui teste si des systèmes d'IA peuvent résoudre de vrais tickets GitHub en modifiant de vraies bases de code jusqu'à ce que les tests du projet passent.

Pourquoi c'est important

SWE-bench est devenu le benchmark de référence des agents de codage, cité dans presque tous les grands lancements de modèles en 2024–25. Il plaît parce qu'il est proche du vrai travail : comprendre une base de code inconnue, trouver les bons fichiers, faire un changement qui s'intègre au projet et ne rien casser d'autre.

Sa trajectoire suit aussi la montée des agents. À son lancement, les meilleurs systèmes résolvaient moins de 2 % des tâches. En 2025, les meilleurs modèles dotés de bons harnais d'agent résolvaient bien plus de 70 % de SWE-bench Verified. Ce bond vient à la fois de meilleurs modèles et d'un meilleur outillage : des outils pour chercher, lire des fichiers, lancer des tests et itérer.

En profondeur

SWE-bench a été publié en 2023 par des chercheurs de Princeton. Au lieu de demander à un modèle d'écrire une petite fonction à partir de rien, il lui confie un vrai rapport de bug ou une vraie demande de fonctionnalité issue d'un projet Python open source populaire, avec le dépôt complet tel qu'il était quand le ticket a été ouvert. Le modèle doit produire une modification du code. Celle-ci est ensuite vérifiée en lançant les tests que les vrais développeurs du projet ont écrits quand ils ont corrigé ce ticket.

Le jeu d'origine compte 2 294 tâches tirées de 12 dépôts, dont Django, scikit-learn, sympy et matplotlib. Sa version la plus connue, SWE-bench Verified, est un sous-ensemble de 500 tâches qu'OpenAI et les auteurs de SWE-bench ont publié en 2024, après que des ingénieurs humains ont écarté les tâches ambiguës ou aux tests injustes.

Comment se déroule une exécution

Une exécution typique : l'agent lit le ticket, explore le dépôt avec des outils de recherche et de lecture de fichiers, reproduit le bug, modifie le code, lance les tests et itère. Quand il a terminé, son correctif final est appliqué à une copie propre du dépôt, et deux types de tests sont lancés : les tests « fail-to-pass », qui doivent maintenant réussir, et les tests « pass-to-pass », qui ne doivent pas casser. Les deux doivent réussir pour que la tâche compte.

Variantes

  • SWE-bench Lite : 300 tâches, choisies pour être moins coûteuses et un peu plus simples.
  • SWE-bench Verified : les 500 tâches validées par des humains, devenues la comparaison standard. En février 2026, OpenAI a cessé d'en publier les scores, invoquant la contamination et des tests défectueux, et renvoie désormais à SWE-bench Pro.
  • SWE-bench Multimodal : des tickets qui incluent des captures d'écran ou des bugs visuels, surtout issus de projets JavaScript.
  • Variantes multilingues et « Pro » : des efforts plus récents pour couvrir plus de langages, des tâches plus longues et des dépôts moins susceptibles de figurer dans les données d'entraînement.

Limites à connaître

  • L'outillage compte : un même modèle peut obtenir des scores très différents selon son harnais d'agent, ses outils et son nombre de tentatives. Ne comparez les chiffres que si les configurations correspondent.
  • La contamination : les dépôts et leurs correctifs sont publics, donc les modèles ont pu les voir à l'entraînement.
  • Une tranche étroite : c'est surtout du Python, surtout des corrections de bugs, surtout un même ensemble de projets connus. Un excellent score ne garantit pas d'excellents résultats sur votre base de code privée.
  • La saturation : à mesure que les meilleurs scores montent, les écarts en tête se réduisent et deviennent bruités, d'où l'apparition régulière de successeurs plus difficiles.

Comment s'en servir

Voyez SWE-bench comme un signal fort de la capacité à programmer en mode agent, pas comme un verdict final. Le meilleur test reste une poignée de vraies tâches de vos propres dépôts, exécutées avec les outils que vous utiliserez vraiment.

← Tous les termes
ESC