知識圖譜以（主詞、謂詞、受詞）三元組儲存知識：（阿爾伯特·愛因斯坦、出生於、烏爾姆）、（烏爾姆、位於、德國）。這些三元組形成一個圖，實體是節點，關係是邊。你可以遍歷圖來回答多跳問題：「發展廣義相對論的人的出生地在哪裡？」沿著愛因斯坦 → 出生於 → 烏爾姆 → 位於 → 德國。
知識圖譜與 LLM 的整合有多種形式：使用知識圖譜作為 RAG 的來源（為查詢檢索相關子圖）、使用 LLM 填充知識圖譜（從文字中提取實體和關係），以及使用知識圖譜驗證 LLM 輸出（根據圖檢查所述事實）。GraphRAG（Microsoft）使用 LLM 從文件建構知識圖譜，然後查詢該圖以獲得比純向量搜尋更結構化的檢索。
建構知識圖譜需要：實體提取（識別文字中的人物、地點、概念）、關係提取（識別實體之間的關係）、實體解析（識別「紐約市」、「NYC」和「大蘋果」是同一個實體），以及模式設計（定義存在哪些類型的實體和關係）。LLM 使每一個步驟都更便宜、更準確，使得以前負擔不起人工成本的組織也能進行知識圖譜的建構。