SWE-bench
Por qué importa
SWE-bench se convirtió en el benchmark de referencia para los agentes de codificación, y se citó en casi todos los grandes lanzamientos de modelos de 2024–25. Es popular porque se parece al trabajo real: entender una base de código desconocida, encontrar los archivos correctos, hacer un cambio que encaje con el proyecto y no romper nada más.
Su trayectoria también refleja el ascenso de los agentes. Cuando se lanzó, los mejores sistemas resolvían menos del 2 % de las tareas. En 2025, los mejores modelos con buenos harnesses de agente resolvían bastante más del 70 % de SWE-bench Verified. Ese salto vino tanto de mejores modelos como de mejor andamiaje: herramientas para buscar, leer archivos, ejecutar tests e iterar.
En profundidad
SWE-bench lo publicaron en 2023 investigadores de Princeton. En lugar de pedirle a un modelo que escriba una función pequeña desde cero, le entrega un informe de bug o una solicitud de funcionalidad reales de un proyecto popular de código abierto en Python, junto con el repositorio completo tal como estaba cuando se abrió el issue. El modelo debe producir un cambio de código. Ese cambio se comprueba ejecutando los tests que los desarrolladores reales del proyecto escribieron cuando arreglaron ese issue.
El conjunto original tiene 2.294 tareas de 12 repositorios, entre ellos Django, scikit-learn, sympy y matplotlib. Su versión más conocida, SWE-bench Verified, es un subconjunto de 500 tareas que OpenAI y los autores de SWE-bench publicaron en 2024, después de que ingenieros humanos descartaran las tareas ambiguas o con tests injustos.
Cómo es una ejecución
Una ejecución típica de un agente: lee el issue, explora el repositorio con herramientas de búsqueda y de archivos, reproduce el bug, edita el código, ejecuta tests e itera. Cuando termina, su parche final se aplica a una copia limpia del repositorio y se ejecutan dos tipos de tests: los «fail-to-pass», que ahora deberían pasar, y los «pass-to-pass», que no deben romperse. Ambos tienen que salir bien para que la tarea cuente.
Variantes
- SWE-bench Lite: 300 tareas, elegidas para ser más baratas y algo más sencillas.
- SWE-bench Verified: las 500 tareas validadas por humanos, que se convirtieron en la comparación estándar. En febrero de 2026, OpenAI dejó de reportar sus resultados, citando contaminación y tests defectuosos, y ahora remite a SWE-bench Pro.
- SWE-bench Multimodal: issues que incluyen capturas de pantalla o bugs visuales, sobre todo de proyectos JavaScript.
- Variantes multilingües y «Pro»: esfuerzos más recientes para cubrir más lenguajes, tareas más largas y repositorios con menos probabilidad de estar en los datos de entrenamiento.
Advertencias que conviene conocer
- El andamiaje importa: el mismo modelo puede puntuar muy distinto según su harness de agente, sus herramientas y su número de intentos, así que compara cifras solo cuando las configuraciones coincidan.
- Contaminación: los repositorios y sus arreglos son públicos, así que los modelos pueden haberlos visto durante el entrenamiento.
- Una porción estrecha: es sobre todo Python, sobre todo corrección de bugs y sobre todo un mismo conjunto de proyectos conocidos. Una gran puntuación no garantiza grandes resultados en tu base de código privada.
- Saturación: a medida que suben las mejores puntuaciones, las diferencias en la cima se encogen y se vuelven ruidosas, y por eso siguen apareciendo sucesores más difíciles.
Cómo usarlo
Trata SWE-bench como una señal fuerte de la capacidad para programar en modo agente, no como una respuesta definitiva. La mejor prueba sigue siendo un puñado de tareas reales de tus propios repositorios, ejecutadas con las herramientas que vas a usar de verdad.