pass@k
Pourquoi c'est important
Le pass@k se cache derrière la plupart des chiffres de programmation que vous voyez dans les annonces de modèles, et l'idée s'est étendue aux benchmarks de mathématiques et de raisonnement. Savoir le lire évite une erreur courante : comparer le pass@1 d'un modèle au pass@10 d'un autre. Le second chiffre paraîtra toujours meilleur, et il ne signifie pas la même chose.
L'écart entre pass@1 et pass@k est lui aussi instructif. Un modèle avec un pass@1 de 40 % et un pass@100 de 90 % « sait » souvent résoudre le problème, mais ne le fait pas de façon fiable. C'est exactement cet écart que cherchent à combler des techniques comme l'échantillonnage de nombreux candidats, l'auto-vérification et les boucles d'agent.
En profondeur
On ne peut pas noter du code généré en le comparant mot à mot à une réponse de référence, car il existe d'innombrables façons correctes d'écrire la même fonction. Ce qui compte, c'est que le code fonctionne. Les benchmarks de code exécutent donc la sortie du modèle sur des tests unitaires et rapportent le pass@k : on laisse le modèle générer k solutions différentes à un problème, et on considère le problème comme résolu si l'une d'elles passe tous les tests.
pass@1 est la version stricte : une seule tentative, juste ou fausse. pass@10 et pass@100 montrent ce dont le modèle est capable quand on lui accorde de nombreux essais. La métrique a été popularisée par l'article Codex d'OpenAI en 2021, qui a introduit le benchmark HumanEval et ses 164 problèmes Python.
Comment on le calcule
La méthode naïve consiste à tirer exactement k échantillons et à les vérifier, mais le résultat est bruité. La méthode standard tire un nombre n plus grand d'échantillons par problème (disons 200), compte combien sont corrects (c), et calcule la probabilité qu'un ensemble aléatoire de k échantillons parmi ces n en contienne au moins un correct :
pass@k = 1 − C(n − c, k) / C(n, k)
en moyenne sur tous les problèmes. Les réglages d'échantillonnage comptent. Pour pass@1, une température basse est préférable, car on veut la réponse la plus probable du modèle. Pour un grand k, une température plus élevée aide, car on veut des tentatives variées.
Le hic : il faut que quelqu'un choisisse
Le pass@k suppose un oracle qui sait laquelle des k tentatives est correcte. Dans un benchmark, les tests cachés jouent ce rôle. Dans la vraie vie, vous obtenez k solutions candidates et aucun corrigé, sauf si vous avez vos propres tests. C'est pourquoi pass@1 est le chiffre honnête pour « est-ce que ça marchera si je demande une seule fois », et pourquoi les tests sont si précieux en pratique : un agent capable de lancer des tests et de réessayer convertit de fait une capacité pass@k en résultat pass@1.
Métriques apparentées
- Taux de résolution : des benchmarks comme SWE-bench rapportent la part des tâches résolues en une seule exécution de l'agent, ce qui revient à un pass@1 pour un agent entier.
- pass^k (« pass hat k ») : la probabilité que toutes les k tentatives réussissent. Il mesure la constance, et compte pour les agents qui doivent accomplir correctement la même tâche à chaque fois, comme les bots de service client. Un modèle peut avoir un pass@1 élevé et un pass^8 médiocre.
- Vote majoritaire / self-consistency : pour les tâches à réponse unique, on prend la réponse la plus fréquente parmi k échantillons. Aucun oracle n'est nécessaire.
Mises en garde
- Des tests faibles gonflent les scores. Quand des chercheurs ont ajouté beaucoup plus de tests à HumanEval, les scores ont nettement baissé, car certaines solutions « réussies » étaient fausses.
- Les anciens benchmarks sont saturés et contaminés. Les problèmes de HumanEval et de MBPP sont courts, publics, et les modèles modernes les résolvent à bien plus de 90 %.
- Petites tâches uniquement. Réussir le test d'une fonction autonome en dit peu sur le travail dans une grande base de code.