在做嵌入之前把文件切成較小的片段,讓 RAG 系統能只找出並回傳相關的部分。
為什麼重要
糟糕的分塊會悄悄毀掉 RAG。塊太小,會丟失上下文:一個寫著「必須停用此設定」的塊,如果設定的名字在上一個塊裡,就毫無用處。塊太大,嵌入變得含糊,檢索不夠精確,上下文視窗的空間也浪費在不相關的文字上。把表格或程式碼塊攔腰切開,兩半可能都失去意義。
RAG 系統答錯時,很多團隊的反應是換一個更大的模型。真正該修的地方往往在上游,在文件是怎麼切的。
深度解析
檢索增強生成(RAG)系統沒法把一本 200 頁的手冊有效地嵌入成一個向量。整本書只用一個嵌入,所有內容都會糊成一團,而且就算找到了它,也沒法整齊地放進模型的上下文。所以在建立索引之前,文件會被切成塊(chunk),每塊通常有幾百個 token。每個塊有自己的嵌入,提問時系統檢索出與查詢最相關的少數幾個塊。
怎麼切,是搭建 RAG 時最重要、也最被低估的決定之一。
常見策略
- 固定大小:每 N 個 token 或字元切一刀。簡單、可預測,但看不見文件結構。
- 遞迴式:先嘗試在大的邊界處切(先是章節,然後段落,然後句子),只有某一片仍然太長時才退到更小的邊界。對大多數文字來說是合理的預設選擇。
- 結構感知:利用文件自身的結構,比如 Markdown 標題、HTML 標籤、PDF 版面、程式碼裡的函式或表格裡的列。
- 語意式:對句子做嵌入,在話題轉換的地方開始新的一塊。成本更高,但能得到更乾淨的單元。
重疊
大多數方案會在相鄰的塊之間加一段重疊,通常是 10% 到 20%,這樣邊界附近的句子會同時出現在兩個塊裡。這降低了關鍵資訊被切在兩個塊之間而丟失的可能。
給塊補上上下文
從文件裡抽出來的塊往往缺少周圍的語境。有效的補救辦法包括:
- 在前面加中繼資料:給每個塊加上文件標題和章節標題。
- 上下文檢索(contextual retrieval):用 LLM 為每個塊寫一小段說明,解釋它在文件中的位置,然後把說明和塊一起做嵌入。Anthropic 在 2024 年報告稱,這讓檢索失敗減少了大約一半,再配合重排序還能進一步減少。
- 由小到大的檢索:在小而精確的塊上搜尋,但回傳給模型的是更大的上級章節。
實用的起點
從遞迴切分開始,每塊約 300 到 800 個 token,帶一些重疊,給每個塊加上標題,再用有已知答案的真實問題建一個小測試集。然後每次只改一樣東西,測量檢索品質。合適的大小取決於你的文件和你的問題:簡短的事實查詢適合小塊,需要解釋的問題適合大塊。