為什麼重要
許多 RAG 教學預設使用的純向量搜尋,在精確匹配上很吃力:產品編號、錯誤訊息、函式名、人名、縮寫和罕見的行話。搜「error E-4012」,嵌入模型可能回傳關於其他錯誤的文件,因為它們「語意相似」。關鍵字搜尋能準確命中這類查詢,卻會漏掉同義詞和換一種說法的表達:搜「怎麼取消我的方案」,可能找不到標題是「終止訂閱」的頁面。
給只用向量的 RAG 系統加上關鍵字搜尋,是成本最低、最可靠的品質提升之一。大多數向量資料庫和搜尋引擎(Elasticsearch、OpenSearch、Weaviate、Qdrant、帶全文搜尋的 pgvector 等)都支援它。
深度解析
搜尋文字主要有兩種方式。關鍵字搜尋(也叫詞法搜尋或稀疏搜尋)尋找包含查詢中那些詞的文件,幾十年來 BM25 一直是標準的評分方法。向量搜尋(語意搜尋或稠密搜尋)把查詢和文件都做成嵌入,找出含義最接近的那些,即使它們沒有一個詞相同。
兩者各自在對方擅長的地方失手。混合搜尋兩種都跑,再把結果合併。
BM25 的原理,簡單說
一篇文件裡查詢詞出現得越多、這些詞在整個文件集合裡越罕見,BM25 給它的分數就越高;文件特別長時分數會降低,因為在長文件裡詞的匹配沒那麼有意義。它不需要訓練,也不需要 GPU,在包含具體術語的查詢上很難被超越。
合併兩份結果列表
兩種搜尋給出的分數尺度不同,不能直接相加。常見做法:
- 倒數排名融合(RRF):忽略原始分數,按排名位置來合併。一篇文件的融合分數是它在兩份列表中 1 / (k + 排名) 的和,k 通常取 60。簡單、穩健,是最常見的預設選擇。
- 加權分數融合:把兩種分數正規化,再按權重混合(比如向量 70%,關鍵字 30%)。可調性更強,但正規化要做得仔細。
再加一個重排序器
典型的高品質流程是:關鍵字搜尋和向量搜尋各取(比如)50 個候選;用 RRF 合併;然後由一個重排序模型把查詢和每個候選放在一起閱讀並重新排序,留下前 5 到 10 個交給 LLM。混合搜尋儘量保證正確的塊出現在候選裡,重排序器則確保它排到最前面。
學習型稀疏搜尋
介於兩個世界之間的是 SPLADE 這類學習型稀疏模型,它們用神經網路來判斷對每篇文件來說哪些詞重要(包括文中沒有出現的相關詞)。它們保留了關鍵字搜尋精確匹配的長處,同時增加了一些對含義的理解。
什麼時候用
如果你的使用者會搜人名、編號、技術術語,或者任何他們會加引號的東西,就用混合搜尋。用真實查詢來衡量:對某些純對話式的資料,只用向量搜尋就夠了,但混合搜尋很少會帶來壞處。