扎根是對抗幻覺的主要防禦措施。無依據的模型會自信地編造事實。有依據的模型會指引你到可驗證的真实來源。
接地是指將模型的輸出與可驗證的外部資訊綁定,其存在是因為語言模型有一個根本性的架構限制:它們不知道自己知道什麼。模型的訓練資料是以統計模式的形式烘焙到其權重中,而不是作為可檢索的事實資料庫。它無法查詢某個特定主張是否在其訓練集中,或檢查日期是否與可靠來源一致。接地透過在推論時讓模型接觸權威資料來彌補這個缺陷,使其能根據提供的證據來回答問題,而非依賴模式匹配的回憶。
目前最常見的接地技術是檢索增強生成(RAG)。基本模式相當直接:將用戶的問題用來搜尋知識庫(通常是包含嵌入式文件片段的向量資料庫),取得最相關的段落,並與問題一併納入模型的上下文中。模型隨後根據這些檢索到的段落生成答案。Google 的 Vertex AI、Amazon Bedrock 和大多數企業 AI 平台都提供 RAG 管線作為管理服務。關鍵洞察是您正在將模型的任務從「從訓練資料中回憶事實」轉換為「從提供的文件中合成答案」—這是一個模型更可靠執行的任務。
網頁搜尋接地採用不同的方法。與搜尋私人知識庫不同,模型會查詢實時網頁並將結果納入其回應中。Perplexity 就是基於這個概念建立其整個產品。Google 的 Gemini 模型可以直接存取 Google 搜尋。ChatGPT 的瀏覽功能也執行類似的工作。與 RAG 相比的優勢在於新鮮度 — 網頁搜尋接地可以回答關於昨天發生事件的問題,而 RAG 系統的新鮮度僅取決於其最後一次索引更新。缺點是網頁本身包含錯誤資訊,因此您是在用一種錯誤來源交換另一種錯誤來源。
引用要求是一種較輕量的接地形式,它在提示層級運作。當您在提示中告訴模型「僅根據提供的文件提出主張,並在文中引用來源」時,您並未賦予它新功能 — 您只是限制其行為,使其更接近可驗證的內容。這種方法在實務中驚人地有效,特別是在 Claude 或 GPT-4 等能力強大的模型上。模型通常會拒絕回答或明確標記不確定性,而不是虛構引用,因為生成結構上正確但內容錯誤的假引用,比直接說「我沒有這資訊」更困難。話雖如此,引用接地並非萬能。模型仍可能產生看似合理但引用錯誤段落或誤解來源實際內容的虛構引用。
接地的一個實務陷阱是過度依賴檢索品質。如果您的 RAG 管線檢索到不相關的片段 — 因為嵌入未能捕捉查詢意圖,或分段策略將關鍵段落分割成兩個片段 — 模型將根據錯誤資料產生答案,並帶有引用來源的自信錯誤回應。接地並不會消除幻覺,而是改變了失敗模式。模型不再從無中捏造事實,而是可能誤解或過度推論真實來源。良好的接地需要良好的檢索品質,這意味著要投資於嵌入品質、分段大小、重新排序和評估 — 而不是僅將向量資料庫插入管線中就認為完成。