Dégradation du contexte
Pourquoi c'est important
La dégradation du contexte est la principale raison d'être de l'ingénierie de contexte. Il est tentant de régler chaque problème en mettant plus de choses dans le prompt : tous les documents, toute la base de code, tout l'historique de la conversation. Mais plus de contexte peut dégrader les résultats au lieu de les améliorer, et les rend toujours plus lents et plus chers.
C'est particulièrement important pour les agents. Un agent qui tourne longtemps accumule des sorties d'outils, des contenus de fichiers et ses propres raisonnements passés. Après quelques dizaines d'étapes, le contexte peut être surtout du bruit, et l'agent se met à oublier des instructions, à refaire le même travail ou à perdre de vue son objectif. Une grande part du savoir-faire en matière d'agents consiste à garder ce contexte propre.
En profondeur
Un modèle peut annoncer une fenêtre de contexte d'un million de tokens, cela ne veut pas dire qu'il utilise chaque token aussi bien. Quand l'entrée s'allonge, les modèles ont tendance à rater des détails, à mélanger des faits, à suivre moins fidèlement les premières instructions et à faire plus d'erreurs. Le terme « context rot » s'est répandu en 2025, notamment après un rapport de Chroma, l'éditeur de base de données vectorielle, qui a testé 18 modèles de pointe et constaté que les performances baissaient avec la longueur de l'entrée, même sur des tâches simples.
Ce n'est pas une falaise. C'est une érosion progressive, et elle commence plus tôt qu'on ne le croit.
Pourquoi cela arrive
- L'attention se dilue : chaque token est en concurrence pour l'attention du modèle. Plus il y a de tokens, plus il est difficile pour les passages pertinents de ressortir, surtout quand des distracteurs ressemblent à la réponse.
- Un décalage avec l'entraînement : les modèles voient beaucoup moins d'exemples très longs que d'exemples courts pendant l'entraînement, donc leurs compétences en contexte long sont moins exercées.
- Des effets de position : les travaux sur l'effet « lost in the middle » ont montré que les modèles retrouvent souvent mieux l'information au début et à la fin du contexte qu'au milieu.
Pourquoi les benchmarks le cachent
Le test classique de l'aiguille dans une botte de foin cache une phrase incongrue dans un long document et demande au modèle de la retrouver. Beaucoup de modèles y obtiennent un score presque parfait, ce qui a donné l'impression que le contexte long était un problème réglé. Mais les vraies tâches sont plus dures : l'« aiguille » ressemble au texte qui l'entoure, le modèle doit combiner plusieurs faits, ou raisonner sur toute l'entrée. Les tests construits ainsi montrent des baisses bien plus marquées.
Comment la combattre
- Récupérer plutôt que déverser : utilisez le RAG ou des outils de recherche pour n'apporter que les parties pertinentes au lieu de tout.
- Compacter et résumer : demandez aux agents de résumer régulièrement leur avancement et d'écarter les sorties d'outils brutes dont ils n'ont plus besoin.
- Placer les instructions clés là où elles sont vues : les règles importantes vers le début (dans le prompt système) et la question précise vers la fin.
- Utiliser des sous-agents : confiez une sous-tâche à un agent neuf, au contexte propre, et ne rapportez que son résultat.
- Garder des sorties d'outils légères : renvoyez les 20 lignes utiles, pas un journal de 5 000 lignes.
- Utiliser une mémoire externe : écrivez des notes dans des fichiers et relisez-les au besoin, plutôt que de tout garder en contexte.
Une règle simple
Traitez la fenêtre de contexte comme une mémoire de travail, pas comme un espace de stockage. Le maximum annoncé est ce que l'on peut y faire tenir, pas la quantité qui fonctionne le mieux. Pour les tâches où la précision est critique, testez votre modèle aux tailles de contexte que vous utiliserez vraiment.