Aller au contenu principal
Zubnet AI › Apprendre › Wiki › Aiguille dans une botte de foin
Entraînement

Aiguille dans une botte de foin

Aussi appelé : Needle in a Haystack, NIAH, Test de l'aiguille
Un test de long contexte qui cache un petit fait dans un très long document et vérifie si le modèle sait le retrouver.

Pourquoi c'est important

Le test a donné à tout le monde une image intuitive de la fiabilité en long contexte, et ses cartes de chaleur ont beaucoup circulé. Les premiers résultats ont montré que les modèles faisaient moins bien à mesure que les documents s'allongeaient et manquaient souvent les aiguilles placées au milieu, ce qui rejoignait les travaux sur l'effet « lost in the middle ». Les concepteurs de modèles ont vite réagi, et un graphique d'aiguille parfait est devenu une diapositive standard des présentations de lancement.

Aujourd'hui, le test de base est en grande partie résolu : les modèles de tête retrouvent une aiguille unique presque parfaitement sur des centaines de milliers de tokens. Il est donc important de savoir ce que le test prouve et ce qu'il ne prouve pas.

En profondeur

Quand les modèles dotés de fenêtres de contexte de 100 000 tokens sont arrivés en 2023, une question évidente a suivi : savent-ils vraiment exploiter tout ce texte ? Le test de l'aiguille dans une botte de foin, popularisé par le développeur Greg Kamradt en novembre de cette année-là, offrait un moyen simple de le vérifier. Prenez un long passage de texte sans rapport (la botte de foin ; il a utilisé des essais de Paul Graham). Insérez-y une phrase incongrue (l'aiguille), par exemple une affirmation sur la meilleure chose à faire à San Francisco. Posez ensuite au modèle une question à laquelle seule l'aiguille répond.

Répétez l'opération pour différentes longueurs de document et différentes positions de l'aiguille, du tout début à la toute fin, et tracez les résultats sous forme de carte de chaleur. Vert signifie trouvée, rouge signifie manquée.

Pourquoi le réussir prouve peu de choses

L'aiguille classique est facile d'une manière bien précise : elle ne ressemble en rien à ce qui l'entoure, et la question partage des mots avec elle. La trouver tient plus de la recherche par mots-clés que de la compréhension. Le vrai travail en long contexte est plus difficile : le passage pertinent ressemble à tout ce qui l'entoure, la question est formulée autrement que le texte, plusieurs faits doivent être combinés, ou la réponse dépend du document dans son ensemble.

Versions plus difficiles

  • Aiguilles multiples : plusieurs faits sont cachés, et le modèle doit tous les retrouver ou raisonner en les croisant.
  • Aucun recouvrement lexical : des benchmarks comme NoLiMa rédigent la question de sorte qu'elle ne partage aucun mot-clé avec l'aiguille, ce qui force le modèle à faire une inférence pour les relier. Les scores de nombreux modèles qui réussissent haut la main le test classique chutent fortement, même à quelques dizaines de milliers de tokens.
  • Distracteurs : des phrases qui ressemblent beaucoup à l'aiguille, mais qui donnent de mauvaises réponses.
  • Raisonnement sur de longues entrées : des suites comme RULER et BABILong ajoutent le suivi de variables, le comptage et l'agrégation sur l'ensemble du contexte.

Ces versions révèlent la baisse progressive de qualité avec la longueur de l'entrée que les praticiens appellent la dégradation du contexte (context rot).

Leçons des premiers essais

Les résultats étaient sensibles à la formulation du prompt. Après le mauvais score d'un modèle, son concepteur a montré qu'ajouter une seule phrase pour l'orienter vers le passage le plus pertinent faisait passer l'exactitude d'environ 27 % à 98 % sur l'évaluation d'origine. À retenir : la performance en long contexte dépend de la façon de demander, pas seulement du modèle.

Faire votre propre test

L'idée est facile à adapter, et c'est là sa valeur durable. Construisez votre botte de foin à partir de vos propres documents, et rendez l'aiguille réaliste : une clause dans un contrat, une ligne dans un fichier de logs, une fonction dans une base de code. Posez le genre de questions que posent vos utilisateurs. Testez aux longueurs de contexte que vous comptez réellement utiliser. Cela vous en apprend plus sur votre application que n'importe quel graphique publié, et vous aide à décider quand passer des documents entiers et quand utiliser la récupération.

← Tous les termes
ESC