傳統檢索（BM25、TF-IDF）將查詢關鍵字與文件關鍵字進行匹配，根據頻率和重要性加權。它快速、可解釋，且擅長精確匹配。語意檢索將查詢和文件編碼為嵌入，並在向量空間中找到最近鄰。它處理釋義和概念相似性，但可能遺漏精確的關鍵字匹配。混合檢索結合兩者，通常使用倒數排名融合來合併結果。
對於 RAG，文件必須在嵌入之前被分割成塊。塊大小是一個關鍵的設計決策：太小會失去上下文，太大會用雜訊稀釋相關資訊。常見策略包括固定大小的塊加重疊、句子級分割、段落級分割，以及尊重文件結構（標題、章節）的遞迴分割。最佳方法取決於你的文件和查詢。
一個常見的模式：使用快速檢索檢索一組廣泛的候選項（例如 50 個），然後使用更準確（但更慢）的模型對其重新排名。交叉編碼器重排器（如 Cohere Rerank 或 BGE-Reranker）一起處理查詢-文件配對，產生比嵌入相似度更準確的相關性分數。這個兩階段管線平衡了速度（快速初始檢索）和準確性（對頂級候選項的精確重新排名）。