隨著上下文視窗被填滿,模型的準確性和可靠性下降,而且遠在達到官方上限之前就會出現。
為什麼重要
上下文腐化是上下文工程存在的主要原因。人們很容易想靠往提示裡塞更多東西來解決一切問題:所有文件、整個程式碼庫、全部聊天記錄。但更多的上下文可能讓結果變差而不是變好,而且一定會更慢、更貴。
這對代理尤其重要。長時間執行的代理會不斷累積工具輸出、檔案內容和自己過去的推理。幾十步之後,上下文裡可能大部分都是雜訊,代理開始忘記指令、重複勞動,或者弄丟自己的目標。建構代理的功夫,很大一部分就花在保持上下文乾淨上。
深度解析
一個模型可能宣稱有一百萬 token 的上下文視窗,但這不代表它對每個 token 都用得一樣好。輸入越長,模型越容易漏掉細節、混淆事實、不再嚴格遵循早先的指令,犯的錯也越多。「上下文腐化」(context rot)這個說法在 2025 年流行開來,尤其是在向量資料庫公司 Chroma 發布一份報告之後:報告測試了 18 個主流模型,發現即使在簡單任務上,效能也會隨輸入長度增加而下降。
它不是一道陡峭的懸崖,而是逐漸衰減,而且開始得比大多數人以為的要早。
為什麼會發生
- 注意力被攤薄:每個 token 都在爭奪模型的注意力。token 越多,相關的那些就越難凸顯出來,干擾內容和答案看起來相似時尤其如此。
- 訓練不匹配:模型在訓練中見到的超長樣本遠少於短樣本,所以長上下文的本領練得不夠。
- 位置效應:關於「迷失在中間」(lost in the middle)現象的研究表明,模型對上下文開頭和結尾的資訊往往比對中間的記得更清楚。
為什麼基準測試看不出來
經典的大海撈針(needle in a haystack)測試把一句不相干的話藏進長文件,讓模型把它找出來。許多模型幾乎拿滿分,這讓長上下文看起來像是已經解決了。但真實任務更難:「針」和周圍的文字很像,模型必須把幾條事實結合起來,或者必須對整個輸入進行推理。按這種方式設計的測試,顯示出的下滑要陡得多。
如何應對
- 檢索,別傾倒:用 RAG 或搜尋工具只取相關的部分,而不是把所有東西都放進去。
- 壓縮和總結:讓代理定期總結進展,丟掉不再需要的原始工具輸出。
- 把關鍵指令放在看得見的地方:重要規則放在靠前的位置(系統提示裡),具體問題放在靠後的位置。
- 使用子代理:把子任務交給一個上下文乾淨的新代理,只帶回它的結果。
- 保持工具輸出精簡:回傳有用的 20 行,而不是 5,000 行的日誌。
- 使用外部記憶:把筆記寫進檔案,需要時再讀,而不是把一切都留在上下文裡。
一條經驗法則
把上下文視窗當作工作記憶,而不是儲存空間。宣傳的上限是你最多能放進去的量,不是效果最好的量。對準確性要求高的任務,要在你實際會用的上下文大小下測試模型。