為什麼重要
這個測試讓每個人對長上下文的可靠性有了直觀的印象,它的熱力圖也廣為流傳。最初的結果顯示,文件越長,模型表現越差,而且經常漏掉放在中間的針,這與「lost in the middle」(迷失在中間)效應的研究相呼應。模型廠商反應很快,一張完美的撈針圖成了發布會上的標配投影片。
如今,基礎版測試基本已被攻克:領先的模型在幾十萬 token 的範圍內幾乎能完美找回單根針。因此,弄清這個測試能證明什麼、不能證明什麼就很重要。
深度解析
2023 年,擁有 10 萬 token 上下文視窗的模型問世,一個顯而易見的問題隨之而來:它們真的能用上這麼多文字嗎?開發者 Greg Kamradt 在那年 11 月帶起風潮的大海撈針測試,提供了一個簡單的檢驗辦法。取一長段無關的文字作為「大海」(他用的是 Paul Graham 的文章)。插入一句格格不入的話作為「針」,比如一句關於在舊金山最值得做什麼的陳述。然後向模型提一個只有這根針才能回答的問題。
針對不同的文件長度和不同的插入位置(從最開頭到最末尾)重複測試,再把結果畫成熱力圖。綠色表示找到了,紅色表示漏掉了。
為什麼通過它說明不了多少
經典的針有一種特定的容易:它和周圍的內容毫不相像,而問題又和它有共同的詞。找到它更接近關鍵字搜尋,而不是理解。真實的長上下文工作更難:相關段落和周圍的一切都很像,問題的措辭與原文不同,需要把幾條事實組合起來,或者答案取決於整篇文件。
更難的版本
- 多針:藏入多條事實,模型必須把它們全部找回,或者跨這些事實進行推理。
- 沒有詞彙重疊:NoLiMa 等基準在編寫問題時讓它與針沒有任何共同的關鍵字,迫使模型透過推斷把兩者聯繫起來。許多在經典測試中拿滿分的模型,分數大幅下滑,即使只有幾萬 token。
- 干擾項:與針很相似、但會給出錯誤答案的句子。
- 對長輸入的推理:RULER、BABILong 等測試套件加入了變數追蹤、計數以及跨整個上下文的彙總。
這些版本揭示了品質隨輸入長度逐漸下降的現象,從業者把它叫作上下文腐化(context rot)。
最初幾輪測試的教訓
結果對提示方式很敏感。一個模型得分不佳之後,它的開發方展示了:只要加一句話,引導它關注最相關的段落,在原始評估中,準確率就從約 27% 升到了 98%。結論是:長上下文的表現取決於你怎麼問,而不只取決於模型。
自己動手測
這個思路很容易改造,這正是它持久的價值所在。用你自己的文件搭建「大海」,並讓針貼近現實:合約裡的一個條款、日誌裡的一行、程式碼庫裡的一個函式。問你的使用者會問的那類問題。在你真正打算使用的上下文長度上測試。這比任何公開發布的圖表都更能說明你的應用程式的情況,也能幫你決定什麼時候傳入整篇文件、什麼時候使用檢索。