Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › pass@k
Treinamento

pass@k

Também conhecido como: pass@1, pass@10, Pass at k
Uma métrica de geração de código que mede a chance de pelo menos uma de k tentativas do modelo passar em todos os testes.

Por que isso importa

O pass@k está por trás da maioria dos números de programação que você vê nos anúncios de modelos, e a ideia se espalhou para benchmarks de matemática e raciocínio. Saber lê-lo evita um erro comum: comparar o pass@1 de um modelo com o pass@10 de outro. O segundo número sempre vai parecer melhor, e ele significa outra coisa.

A diferença entre pass@1 e pass@k também é informativa. Um modelo com pass@1 de 40% e pass@100 de 90% muitas vezes "sabe" resolver o problema, mas não faz isso de forma confiável. Essa diferença é exatamente o que técnicas como amostrar muitos candidatos, autoverificação e loops de agente tentam fechar.

Em profundidade

Não dá para avaliar código gerado comparando-o palavra por palavra com uma resposta de referência, porque há inúmeras formas corretas de escrever a mesma função. O que importa é se o código funciona. Por isso, os benchmarks de código executam a saída do modelo contra testes unitários e reportam o pass@k: deixe o modelo gerar k soluções diferentes para um problema e conte o problema como resolvido se qualquer uma delas passar em todos os testes.

pass@1 é a versão rigorosa: uma tentativa, certa ou errada. pass@10 e pass@100 mostram o que o modelo consegue fazer quando recebe muitas tentativas. A métrica foi popularizada pelo artigo do Codex, da OpenAI, em 2021, que apresentou o benchmark HumanEval, com 164 problemas de Python.

Como é calculado

A forma ingênua é sortear exatamente k amostras e conferi-las, mas o resultado é ruidoso. O método padrão sorteia um número maior n de amostras por problema (digamos 200), conta quantas estão corretas (c) e calcula a probabilidade de que um conjunto aleatório de k dentre essas n contenha pelo menos uma correta:

pass@k = 1 − C(n − c, k) / C(n, k)

com a média calculada sobre todos os problemas. As configurações de amostragem importam. Para pass@1, uma temperatura baixa é melhor, porque você quer a resposta mais provável do modelo. Para k grande, uma temperatura mais alta ajuda, porque você quer tentativas diversas.

O porém: alguém precisa escolher

O pass@k pressupõe um oráculo que sabe qual das k tentativas está correta. Em um benchmark, os testes ocultos fazem esse papel. Na vida real, você recebe k soluções candidatas e nenhum gabarito, a menos que tenha seus próprios testes. É por isso que pass@1 é o número honesto para "isso vai funcionar se eu pedir uma vez só?", e por isso os testes são tão valiosos na prática: um agente que consegue rodar testes e tentar de novo converte, na prática, uma capacidade de pass@k em um resultado de pass@1.

Métricas relacionadas

  • Taxa de resolução: benchmarks como o SWE-bench reportam a parcela de tarefas resolvidas em uma única execução do agente, o que é essencialmente um pass@1 para um agente inteiro.
  • pass^k ("pass hat k"): a chance de todas as k tentativas darem certo. Mede consistência e importa para agentes que precisam fazer o mesmo trabalho corretamente todas as vezes, como bots de atendimento ao cliente. Um modelo pode ter pass@1 alto e pass^8 ruim.
  • Votação por maioria / self-consistency: em tarefas com uma única resposta, pegue a resposta mais comum entre k amostras. Não é preciso oráculo.

Ressalvas

  • Testes fracos inflam as pontuações. Quando pesquisadores adicionaram muito mais testes ao HumanEval, as pontuações caíram visivelmente, porque algumas soluções "aprovadas" estavam erradas.
  • Benchmarks antigos estão saturados e contaminados. Os problemas do HumanEval e do MBPP são curtos, públicos e resolvidos pelos modelos modernos com bem mais de 90%.
  • Apenas tarefas pequenas. Passar no teste de uma função autocontida diz pouco sobre trabalhar em uma base de código grande.
← Todos os termos
ESC