Saltar al contenido principal
Zubnet AI › Aprender › Wiki › pass@k
Entrenamiento

pass@k

También conocido como: pass@1, pass@10, Pass at k
Una métrica de generación de código que mide la probabilidad de que al menos uno de k intentos del modelo pase todas las pruebas.

Por qué importa

La métrica pass@k está detrás de la mayoría de las cifras de programación que ves en los anuncios de modelos, y la idea se ha extendido a los benchmarks de matemáticas y razonamiento. Saber leerla evita un error común: comparar el pass@1 de un modelo con el pass@10 de otro. El segundo número siempre se verá mejor, y significa algo distinto.

La brecha entre pass@1 y pass@k también es informativa. Un modelo con un pass@1 del 40 % y un pass@100 del 90 % a menudo «sabe» resolver el problema, pero no lo hace de forma confiable. Esa brecha es justo lo que intentan cerrar técnicas como muestrear muchos candidatos, la autoverificación y los bucles de agente.

En profundidad

No se puede calificar código generado comparándolo palabra por palabra con una respuesta de referencia, porque hay incontables formas correctas de escribir la misma función. Lo que importa es si el código funciona. Por eso los benchmarks de código ejecutan la salida del modelo contra pruebas unitarias e informan pass@k: se deja que el modelo genere k soluciones distintas para un problema, y el problema cuenta como resuelto si alguna de ellas pasa todas las pruebas.

pass@1 es la versión estricta: un intento, bien o mal. pass@10 y pass@100 muestran lo que el modelo puede hacer cuando se le dan muchos intentos. La métrica se popularizó con el artículo de Codex de OpenAI de 2021, que presentó el benchmark HumanEval, con 164 problemas de Python.

Cómo se calcula

La forma ingenua es tomar exactamente k muestras y comprobarlas, pero el resultado es ruidoso. El método estándar toma un número mayor n de muestras por problema (digamos 200), cuenta cuántas son correctas (c) y calcula la probabilidad de que un conjunto aleatorio de k de esas n contenga al menos una correcta:

pass@k = 1 − C(n − c, k) / C(n, k)

promediado sobre todos los problemas. La configuración del muestreo importa. Para pass@1 conviene una temperatura baja, porque quieres la respuesta más probable del modelo. Para un k grande ayuda una temperatura más alta, porque quieres intentos diversos.

La trampa: alguien tiene que elegir

La métrica pass@k supone un oráculo que sabe cuál de los k intentos es correcto. En un benchmark, las pruebas ocultas cumplen ese papel. En la vida real, recibes k soluciones candidatas y ninguna clave de respuestas, a menos que tengas tus propias pruebas. Por eso pass@1 es el número honesto para «¿funcionará esto si lo pido una sola vez?», y por eso las pruebas son tan valiosas en la práctica: un agente que puede ejecutar pruebas y reintentar convierte de hecho una capacidad de pass@k en un resultado de pass@1.

Métricas relacionadas

  • Tasa de resolución: benchmarks como SWE-bench informan la proporción de tareas resueltas en una sola ejecución del agente, lo que en esencia es un pass@1 para un agente completo.
  • pass^k («pass hat k»): la probabilidad de que todos los k intentos tengan éxito. Mide la consistencia e importa para agentes que deben hacer bien el mismo trabajo cada vez, como los bots de atención al cliente. Un modelo puede tener un pass@1 alto y un pass^8 pobre.
  • Votación por mayoría / self-consistency: en tareas con una única respuesta, se toma la respuesta más frecuente entre k muestras. No hace falta ningún oráculo.

Advertencias

  • Las pruebas débiles inflan las puntuaciones. Cuando unos investigadores agregaron muchas más pruebas a HumanEval, las puntuaciones bajaron de forma notable, porque algunas soluciones «aprobadas» eran incorrectas.
  • Los benchmarks antiguos están saturados y contaminados. Los problemas de HumanEval y MBPP son cortos y públicos, y los modelos modernos los resuelven muy por encima del 90 %.
  • Solo tareas pequeñas. Pasar la prueba de una función autocontenida dice poco sobre trabajar en una base de código grande.
← Todos los términos
ESC