pass@k
Por que isso importa
O pass@k está por trás da maioria dos números de programação que você vê nos anúncios de modelos, e a ideia se espalhou para benchmarks de matemática e raciocínio. Saber lê-lo evita um erro comum: comparar o pass@1 de um modelo com o pass@10 de outro. O segundo número sempre vai parecer melhor, e ele significa outra coisa.
A diferença entre pass@1 e pass@k também é informativa. Um modelo com pass@1 de 40% e pass@100 de 90% muitas vezes "sabe" resolver o problema, mas não faz isso de forma confiável. Essa diferença é exatamente o que técnicas como amostrar muitos candidatos, autoverificação e loops de agente tentam fechar.
Em profundidade
Não dá para avaliar código gerado comparando-o palavra por palavra com uma resposta de referência, porque há inúmeras formas corretas de escrever a mesma função. O que importa é se o código funciona. Por isso, os benchmarks de código executam a saída do modelo contra testes unitários e reportam o pass@k: deixe o modelo gerar k soluções diferentes para um problema e conte o problema como resolvido se qualquer uma delas passar em todos os testes.
pass@1 é a versão rigorosa: uma tentativa, certa ou errada. pass@10 e pass@100 mostram o que o modelo consegue fazer quando recebe muitas tentativas. A métrica foi popularizada pelo artigo do Codex, da OpenAI, em 2021, que apresentou o benchmark HumanEval, com 164 problemas de Python.
Como é calculado
A forma ingênua é sortear exatamente k amostras e conferi-las, mas o resultado é ruidoso. O método padrão sorteia um número maior n de amostras por problema (digamos 200), conta quantas estão corretas (c) e calcula a probabilidade de que um conjunto aleatório de k dentre essas n contenha pelo menos uma correta:
pass@k = 1 − C(n − c, k) / C(n, k)
com a média calculada sobre todos os problemas. As configurações de amostragem importam. Para pass@1, uma temperatura baixa é melhor, porque você quer a resposta mais provável do modelo. Para k grande, uma temperatura mais alta ajuda, porque você quer tentativas diversas.
O porém: alguém precisa escolher
O pass@k pressupõe um oráculo que sabe qual das k tentativas está correta. Em um benchmark, os testes ocultos fazem esse papel. Na vida real, você recebe k soluções candidatas e nenhum gabarito, a menos que tenha seus próprios testes. É por isso que pass@1 é o número honesto para "isso vai funcionar se eu pedir uma vez só?", e por isso os testes são tão valiosos na prática: um agente que consegue rodar testes e tentar de novo converte, na prática, uma capacidade de pass@k em um resultado de pass@1.
Métricas relacionadas
- Taxa de resolução: benchmarks como o SWE-bench reportam a parcela de tarefas resolvidas em uma única execução do agente, o que é essencialmente um pass@1 para um agente inteiro.
- pass^k ("pass hat k"): a chance de todas as k tentativas darem certo. Mede consistência e importa para agentes que precisam fazer o mesmo trabalho corretamente todas as vezes, como bots de atendimento ao cliente. Um modelo pode ter pass@1 alto e pass^8 ruim.
- Votação por maioria / self-consistency: em tarefas com uma única resposta, pegue a resposta mais comum entre k amostras. Não é preciso oráculo.
Ressalvas
- Testes fracos inflam as pontuações. Quando pesquisadores adicionaram muito mais testes ao HumanEval, as pontuações caíram visivelmente, porque algumas soluções "aprovadas" estavam erradas.
- Benchmarks antigos estão saturados e contaminados. Os problemas do HumanEval e do MBPP são curtos, públicos e resolvidos pelos modelos modernos com bem mais de 90%.
- Apenas tarefas pequenas. Passar no teste de uma função autocontida diz pouco sobre trabalhar em uma base de código grande.