跳到主要内容
Zubnet AI › 学习 › Wiki › 混合搜索
使用AI

混合搜索

别名:Hybrid Search、BM25、关键词 + 向量搜索
把传统的关键词搜索和向量(语义)搜索结合起来,让结果既匹配确切的词,也匹配整体的含义。

为什么重要

许多 RAG 教程默认使用的纯向量搜索,在精确匹配上很吃力:产品编号、错误信息、函数名、人名、缩写和罕见的行话。搜“error E-4012”,嵌入模型可能返回关于其他错误的文档,因为它们“语义相似”。关键词搜索能准确命中这类查询,却会漏掉同义词和换一种说法的表达:搜“怎么取消我的套餐”,可能找不到标题是“终止订阅”的页面。

给只用向量的 RAG 系统加上关键词搜索,是成本最低、最可靠的质量提升之一。大多数向量数据库和搜索引擎(Elasticsearch、OpenSearch、Weaviate、Qdrant、带全文搜索的 pgvector 等)都支持它。

深度解析

搜索文本主要有两种方式。关键词搜索(也叫词法搜索或稀疏搜索)查找包含查询中那些词的文档,几十年来 BM25 一直是标准的打分方法。向量搜索(语义搜索或稠密搜索)把查询和文档都做成嵌入,找出含义最接近的那些,即使它们没有一个词相同。

两者各自在对方擅长的地方失手。混合搜索两种都跑,再把结果合并。

BM25 的原理,简单说

一篇文档里查询词出现得越多、这些词在整个文档集合里越罕见,BM25 给它的分数就越高;文档特别长时分数会降低,因为在长文档里词的匹配没那么有意义。它不需要训练,也不需要 GPU,在包含具体术语的查询上很难被超越。

合并两份结果列表

两种搜索给出的分数尺度不同,不能直接相加。常见做法:

  • 倒数排名融合(RRF):忽略原始分数,按排名位置来合并。一篇文档的融合分数是它在两份列表中 1 / (k + 排名) 的和,k 通常取 60。简单、稳健,是最常见的默认选择。
  • 加权分数融合:把两种分数归一化,再按权重混合(比如向量 70%,关键词 30%)。可调性更强,但归一化要做得仔细。

再加一个重排序器

典型的高质量流程是:关键词搜索和向量搜索各取(比如)50 个候选;用 RRF 合并;然后由一个重排序模型把查询和每个候选放在一起阅读并重新排序,留下前 5 到 10 个交给 LLM。混合搜索尽量保证正确的块出现在候选里,重排序器则确保它排到最前面。

学习型稀疏搜索

介于两个世界之间的是 SPLADE 这类学习型稀疏模型,它们用神经网络来判断对每篇文档来说哪些词重要(包括文中没有出现的相关词)。它们保留了关键词搜索精确匹配的长处,同时增加了一些对含义的理解。

什么时候用

如果你的用户会搜人名、编号、技术术语,或者任何他们会加引号的东西,就用混合搜索。用真实查询来衡量:对某些纯对话式的数据,只用向量搜索就够了,但混合搜索很少会带来坏处。

← 所有术语
ESC