Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › SWE-bench
Treinamento

SWE-bench

Também conhecido como: SWE-bench Verified
Um benchmark que testa se sistemas de IA conseguem resolver issues reais do GitHub editando bases de código reais até os testes do projeto passarem.

Por que isso importa

O SWE-bench virou o benchmark de referência para agentes de codificação, e foi citado em quase todo grande lançamento de modelo em 2024–25. Ele é popular porque se parece com trabalho de verdade: entender uma base de código desconhecida, achar os arquivos certos, fazer uma mudança que combine com o projeto e não quebrar mais nada.

A trajetória dele também acompanha a ascensão dos agentes. No lançamento, os melhores sistemas resolviam menos de 2% das tarefas. Em 2025, os melhores modelos com bons harnesses de agente resolviam bem mais de 70% do SWE-bench Verified. Esse salto veio tanto de modelos melhores quanto de uma estrutura melhor em volta deles: ferramentas para buscar, ler arquivos, rodar testes e iterar.

Em profundidade

O SWE-bench foi lançado em 2023 por pesquisadores de Princeton. Em vez de pedir ao modelo que escreva uma função pequena do zero, ele entrega um relato de bug ou um pedido de funcionalidade reais de um projeto popular de código aberto em Python, junto com o repositório completo como estava quando a issue foi aberta. O modelo precisa produzir uma mudança de código. Essa mudança é verificada rodando os testes que os desenvolvedores reais do projeto escreveram quando corrigiram aquela issue.

O conjunto original tem 2.294 tarefas de 12 repositórios, entre eles Django, scikit-learn, sympy e matplotlib. A versão mais conhecida, o SWE-bench Verified, é um subconjunto de 500 tarefas que a OpenAI e os autores do SWE-bench lançaram em 2024, depois que engenheiros humanos descartaram tarefas ambíguas ou com testes injustos.

Como é uma execução

Uma execução típica de agente: ele lê a issue, explora o repositório com ferramentas de busca e de arquivos, reproduz o bug, edita o código, roda os testes e itera. Quando termina, o patch final é aplicado a uma cópia limpa do repositório, e dois tipos de teste são rodados: os "fail-to-pass", que agora devem passar, e os "pass-to-pass", que não podem quebrar. Os dois precisam dar certo para a tarefa contar.

Variantes

  • SWE-bench Lite: 300 tarefas, escolhidas para serem mais baratas e um pouco mais simples.
  • SWE-bench Verified: as 500 tarefas validadas por humanos, que se tornaram a comparação padrão. Em fevereiro de 2026, a OpenAI deixou de reportá-lo, citando contaminação e testes falhos, e hoje aponta para o SWE-bench Pro.
  • SWE-bench Multimodal: issues que incluem capturas de tela ou bugs visuais, principalmente de projetos JavaScript.
  • Variantes multilíngues e "Pro": esforços mais recentes para cobrir mais linguagens, tarefas mais longas e repositórios com menos chance de estar nos dados de treinamento.

Ressalvas que vale conhecer

  • A estrutura em volta importa: o mesmo modelo pode pontuar de forma muito diferente dependendo do harness de agente, das ferramentas e do número de tentativas, então só compare números quando as configurações forem iguais.
  • Contaminação: os repositórios e as correções são públicos, então os modelos podem tê-los visto no treinamento.
  • Fatia estreita: é principalmente Python, principalmente correção de bugs e principalmente o mesmo conjunto de projetos conhecidos. Uma ótima pontuação não garante ótimos resultados na sua base de código privada.
  • Saturação: conforme as melhores pontuações sobem, as diferenças no topo encolhem e ficam ruidosas, e por isso sucessores mais difíceis continuam aparecendo.

Como usar

Trate o SWE-bench como um sinal forte da capacidade de programar em modo agente, não como resposta final. O melhor teste ainda é um punhado de tarefas reais dos seus próprios repositórios, rodadas com as ferramentas que você vai usar de verdade.

← Todos os termos
ESC