为什么重要
这个测试让每个人对长上下文的可靠性有了直观的印象,它的热力图也广为流传。最初的结果显示,文档越长,模型表现越差,而且经常漏掉放在中间的针,这与“lost in the middle”(迷失在中间)效应的研究相呼应。模型厂商反应很快,一张完美的捞针图成了发布会上的标配幻灯片。
如今,基础版测试基本已被攻克:领先的模型在几十万 token 的范围内几乎能完美找回单根针。因此,弄清这个测试能证明什么、不能证明什么就很重要。
深度解析
2023 年,拥有 10 万 token 上下文窗口的模型问世,一个显而易见的问题随之而来:它们真的能用上这么多文本吗?开发者 Greg Kamradt 在那年 11 月带火的大海捞针测试,提供了一个简单的检验办法。取一长段无关的文本作为“大海”(他用的是 Paul Graham 的文章)。插入一句格格不入的话作为“针”,比如一句关于在旧金山最值得做什么的陈述。然后向模型提一个只有这根针才能回答的问题。
针对不同的文档长度和不同的插入位置(从最开头到最末尾)重复测试,再把结果画成热力图。绿色表示找到了,红色表示漏掉了。
为什么通过它说明不了多少
经典的针有一种特定的容易:它和周围的内容毫不相像,而问题又和它有共同的词。找到它更接近关键词搜索,而不是理解。真实的长上下文工作更难:相关段落和周围的一切都很像,问题的措辞与原文不同,需要把几条事实组合起来,或者答案取决于整篇文档。
更难的版本
- 多针:藏入多条事实,模型必须把它们全部找回,或者跨这些事实进行推理。
- 没有词汇重叠:NoLiMa 等基准在编写问题时让它与针没有任何共同的关键词,迫使模型通过推断把两者联系起来。许多在经典测试中拿满分的模型,分数大幅下滑,即使只有几万 token。
- 干扰项:与针很相似、但会给出错误答案的句子。
- 对长输入的推理:RULER、BABILong 等测试套件加入了变量追踪、计数以及跨整个上下文的汇总。
这些版本揭示了质量随输入长度逐渐下降的现象,从业者把它叫作上下文腐化(context rot)。
最初几轮测试的教训
结果对提示方式很敏感。一个模型得分不佳之后,它的开发方展示了:只要加一句话,引导它关注最相关的段落,在原始评估中,准确率就从约 27% 升到了 98%。结论是:长上下文的表现取决于你怎么问,而不只取决于模型。
自己动手测
这个思路很容易改造,这正是它持久的价值所在。用你自己的文档搭建“大海”,并让针贴近现实:合同里的一个条款、日志里的一行、代码库里的一个函数。问你的用户会问的那类问题。在你真正打算使用的上下文长度上测试。这比任何公开发布的图表都更能说明你的应用的情况,也能帮你决定什么时候传入整篇文档、什么时候使用检索。