跳到主要内容
Zubnet AI › 学习 › Wiki › 上下文腐化
使用AI

上下文腐化

别名:Context Rot、长上下文退化
随着上下文窗口被填满,模型的准确性和可靠性下降,而且远在达到官方上限之前就会出现。

为什么重要

上下文腐化是上下文工程存在的主要原因。人们很容易想靠往提示里塞更多东西来解决一切问题:所有文档、整个代码库、全部聊天记录。但更多的上下文可能让结果变差而不是变好,而且一定会更慢、更贵。

这对智能体尤其重要。长时间运行的智能体会不断积累工具输出、文件内容和自己过去的推理。几十步之后,上下文里可能大部分都是噪声,智能体开始忘记指令、重复劳动,或者弄丢自己的目标。构建智能体的功夫,很大一部分就花在保持上下文干净上。

深度解析

一个模型可能宣称有一百万 token 的上下文窗口,但这不代表它对每个 token 都用得一样好。输入越长,模型越容易漏掉细节、混淆事实、不再严格遵循早先的指令,犯的错也越多。“上下文腐化”(context rot)这个说法在 2025 年流行开来,尤其是在向量数据库公司 Chroma 发布一份报告之后:报告测试了 18 个主流模型,发现即使在简单任务上,性能也会随输入长度增加而下降。

它不是一道陡峭的悬崖,而是逐渐衰减,而且开始得比大多数人以为的要早。

为什么会发生

  • 注意力被摊薄:每个 token 都在争夺模型的注意力。token 越多,相关的那些就越难凸显出来,干扰内容和答案看起来相似时尤其如此。
  • 训练不匹配:模型在训练中见到的超长样本远少于短样本,所以长上下文的本领练得不够。
  • 位置效应:关于“迷失在中间”(lost in the middle)现象的研究表明,模型对上下文开头和结尾的信息往往比对中间的记得更清楚。

为什么基准测试看不出来

经典的大海捞针(needle in a haystack)测试把一句不相干的话藏进长文档,让模型把它找出来。许多模型几乎拿满分,这让长上下文看起来像是已经解决了。但真实任务更难:“针”和周围的文本很像,模型必须把几条事实结合起来,或者必须对整个输入进行推理。按这种方式设计的测试,显示出的下滑要陡得多。

如何应对

  • 检索,别倾倒:用 RAG 或搜索工具只取相关的部分,而不是把所有东西都放进去。
  • 压缩和总结:让智能体定期总结进展,丢掉不再需要的原始工具输出。
  • 把关键指令放在看得见的地方:重要规则放在靠前的位置(系统提示里),具体问题放在靠后的位置。
  • 使用子智能体:把子任务交给一个上下文干净的新智能体,只带回它的结果。
  • 保持工具输出精简:返回有用的 20 行,而不是 5,000 行的日志。
  • 使用外部记忆:把笔记写进文件,需要时再读,而不是把一切都留在上下文里。

一条经验法则

把上下文窗口当作工作记忆,而不是仓库。宣传的上限是你最多能放进去的量,不是效果最好的量。对准确性要求高的任务,要在你实际会用的上下文大小下测试模型。

← 所有术语
ESC