在做嵌入之前把文档切成较小的片段,让 RAG 系统能只找出并返回相关的部分。
为什么重要
糟糕的分块会悄悄毁掉 RAG。块太小,会丢失上下文:一个写着“必须禁用此设置”的块,如果设置的名字在上一个块里,就毫无用处。块太大,嵌入变得含糊,检索不够精确,上下文窗口的空间也浪费在不相关的文字上。把表格或代码块拦腰切开,两半可能都失去意义。
RAG 系统答错时,很多团队的反应是换一个更大的模型。真正该修的地方往往在上游,在文档是怎么切的。
深度解析
检索增强生成(RAG)系统没法把一本 200 页的手册有效地嵌入成一个向量。整本书只用一个嵌入,所有内容都会糊成一团,而且就算找到了它,也没法整齐地放进模型的上下文。所以在建立索引之前,文档会被切成块(chunk),每块通常有几百个 token。每个块有自己的嵌入,提问时系统检索出与查询最相关的少数几个块。
怎么切,是搭建 RAG 时最重要、也最被低估的决定之一。
常见策略
- 固定大小:每 N 个 token 或字符切一刀。简单、可预测,但看不见文档结构。
- 递归式:先尝试在大的边界处切(先是章节,然后段落,然后句子),只有某一片仍然太长时才退到更小的边界。对大多数文本来说是合理的默认选择。
- 结构感知:利用文档自身的结构,比如 Markdown 标题、HTML 标签、PDF 版面、代码里的函数或表格里的行。
- 语义式:对句子做嵌入,在话题转换的地方开始新的一块。成本更高,但能得到更干净的单元。
重叠
大多数方案会在相邻的块之间加一段重叠,通常是 10% 到 20%,这样边界附近的句子会同时出现在两个块里。这降低了关键信息被切在两个块之间而丢失的可能。
给块补上上下文
从文档里抽出来的块往往缺少周围的语境。有效的补救办法包括:
- 在前面加元数据:给每个块加上文档标题和章节标题。
- 上下文检索(contextual retrieval):用 LLM 为每个块写一小段说明,解释它在文档中的位置,然后把说明和块一起做嵌入。Anthropic 在 2024 年报告称,这让检索失败减少了大约一半,再配合重排序还能进一步减少。
- 由小到大的检索:在小而精确的块上搜索,但返回给模型的是更大的上级章节。
实用的起点
从递归切分开始,每块约 300 到 800 个 token,带一些重叠,给每个块加上标题,再用有已知答案的真实问题建一个小测试集。然后每次只改一样东西,测量检索质量。合适的大小取决于你的文档和你的问题:简短的事实查询适合小块,需要解释的问题适合大块。