Aguja en un pajar
Por qué importa
La prueba le dio a todo el mundo una imagen intuitiva de la confiabilidad con contextos largos, y sus mapas de calor se difundieron ampliamente. Los primeros resultados mostraron que los modelos rendían peor a medida que los documentos se alargaban y que a menudo no encontraban las agujas colocadas en el medio, en línea con las investigaciones sobre el efecto «lost in the middle». Los fabricantes de modelos respondieron rápido, y una gráfica de aguja perfecta se volvió una diapositiva estándar en las presentaciones de lanzamiento.
Hoy la prueba básica está prácticamente resuelta: los modelos líderes recuperan una sola aguja casi a la perfección a lo largo de cientos de miles de tokens. Por eso es importante saber qué demuestra la prueba y qué no.
En profundidad
Cuando en 2023 llegaron los modelos con ventanas de contexto de 100.000 tokens, surgió una pregunta obvia: ¿de verdad pueden usar todo ese texto? La prueba de la aguja en un pajar, popularizada por el desarrollador Greg Kamradt en noviembre de ese año, ofrecía una forma sencilla de comprobarlo. Toma un tramo largo de texto sin relación (el pajar; él usó ensayos de Paul Graham). Inserta una oración fuera de lugar (la aguja), como una afirmación sobre lo mejor que se puede hacer en San Francisco. Luego hazle al modelo una pregunta que solo la aguja responde.
Repite con distintas longitudes de documento y distintas posiciones de la aguja, desde el principio hasta el final, y grafica los resultados como un mapa de calor. Verde significa encontrada; rojo, no encontrada.
Por qué aprobarla demuestra poco
La aguja clásica es fácil de una manera específica: no se parece en nada a lo que la rodea, y la pregunta comparte palabras con ella. Encontrarla se parece más a una búsqueda por palabras clave que a comprender. El trabajo real con contextos largos es más difícil: el pasaje relevante se parece a todo lo que lo rodea, la pregunta está formulada de manera distinta al texto, hay que combinar varios datos o la respuesta depende del documento en su conjunto.
Versiones más difíciles
- Múltiples agujas: se esconden varios datos, y el modelo debe recuperarlos todos o razonar combinándolos.
- Sin coincidencia léxica: benchmarks como NoLiMa redactan la pregunta de modo que no comparta palabras clave con la aguja, lo que obliga al modelo a hacer una inferencia para conectarlas. Las puntuaciones de muchos modelos que obtienen resultados perfectos en la prueba clásica caen con fuerza, incluso con unas pocas decenas de miles de tokens.
- Distractores: oraciones muy parecidas a la aguja pero que dan respuestas incorrectas.
- Razonamiento sobre entradas largas: conjuntos como RULER y BABILong agregan seguimiento de variables, conteo y agregación a lo largo de todo el contexto.
Estas versiones revelan la caída gradual de calidad con la longitud de la entrada que quienes trabajan en esto llaman degradación del contexto (context rot).
Lecciones de las primeras pruebas
Los resultados eran sensibles a la forma del prompt. Después de que un modelo obtuviera una mala puntuación, su fabricante mostró que agregar una sola oración para orientarlo hacia el pasaje más relevante elevaba la exactitud de alrededor del 27 % al 98 % en la evaluación original. La conclusión: el rendimiento con contextos largos depende de cómo preguntas, no solo del modelo.
Haz tu propia prueba
La idea es fácil de adaptar, y ese es su valor duradero. Construye tu pajar con tus propios documentos y haz que la aguja sea realista: una cláusula en un contrato, una línea en un log, una función en una base de código. Haz el tipo de preguntas que hacen tus usuarios. Prueba con las longitudes de contexto que de verdad piensas usar. Eso te dice más sobre tu aplicación que cualquier gráfica publicada, y te ayuda a decidir cuándo pasar documentos completos y cuándo usar recuperación.