跳到主要内容
Zubnet AI › 学习 › Wiki › 分块
使用AI

分块

别名:Chunking、文本分块、文档切分
在做嵌入之前把文档切成较小的片段,让 RAG 系统能只找出并返回相关的部分。

为什么重要

糟糕的分块会悄悄毁掉 RAG。块太小,会丢失上下文:一个写着“必须禁用此设置”的块,如果设置的名字在上一个块里,就毫无用处。块太大,嵌入变得含糊,检索不够精确,上下文窗口的空间也浪费在不相关的文字上。把表格或代码块拦腰切开,两半可能都失去意义。

RAG 系统答错时,很多团队的反应是换一个更大的模型。真正该修的地方往往在上游,在文档是怎么切的。

深度解析

检索增强生成(RAG)系统没法把一本 200 页的手册有效地嵌入成一个向量。整本书只用一个嵌入,所有内容都会糊成一团,而且就算找到了它,也没法整齐地放进模型的上下文。所以在建立索引之前,文档会被切成块(chunk),每块通常有几百个 token。每个块有自己的嵌入,提问时系统检索出与查询最相关的少数几个块。

怎么切,是搭建 RAG 时最重要、也最被低估的决定之一。

常见策略

  • 固定大小:每 N 个 token 或字符切一刀。简单、可预测,但看不见文档结构。
  • 递归式:先尝试在大的边界处切(先是章节,然后段落,然后句子),只有某一片仍然太长时才退到更小的边界。对大多数文本来说是合理的默认选择。
  • 结构感知:利用文档自身的结构,比如 Markdown 标题、HTML 标签、PDF 版面、代码里的函数或表格里的行。
  • 语义式:对句子做嵌入,在话题转换的地方开始新的一块。成本更高,但能得到更干净的单元。

重叠

大多数方案会在相邻的块之间加一段重叠,通常是 10% 到 20%,这样边界附近的句子会同时出现在两个块里。这降低了关键信息被切在两个块之间而丢失的可能。

给块补上上下文

从文档里抽出来的块往往缺少周围的语境。有效的补救办法包括:

  • 在前面加元数据:给每个块加上文档标题和章节标题。
  • 上下文检索(contextual retrieval):用 LLM 为每个块写一小段说明,解释它在文档中的位置,然后把说明和块一起做嵌入。Anthropic 在 2024 年报告称,这让检索失败减少了大约一半,再配合重排序还能进一步减少。
  • 由小到大的检索:在小而精确的块上搜索,但返回给模型的是更大的上级章节。

实用的起点

从递归切分开始,每块约 300 到 800 个 token,带一些重叠,给每个块加上标题,再用有已知答案的真实问题建一个小测试集。然后每次只改一样东西,测量检索质量。合适的大小取决于你的文档和你的问题:简短的事实查询适合小块,需要解释的问题适合大块。

← 所有术语
ESC