前Tesla AI總監、OpenAI研究員Andrej Karpathy正在挑戰當今主導個人AI助手的RAG正統觀念。他沒有採用標準的retrieve-augment-generate方法來分塊文件和搜索向量資料庫，而是認為LLM應該為較小規模的個人知識庫內部管理索引和摘要。

這挑戰了AI工具領域的主流智慧，RAG已成為連接LLM與個人資料的預設解決方案。從Notion到Obsidian的每個AI助手都遵循相同的劇本：嵌入你的文件，儲存向量，檢索相關片段，餵給LLM。Karpathy的方法表明，當你不處理企業級資料量時，這種管道引入了不必要的複雜性和潛在的故障點。

令人震驚的是，伴隨這一轉變的技術細節如此之少。原始報告缺乏關於實作、效能比較或他的LLM原生方法實際應用的具體例子的細節。在沒有看到與傳統RAG系統的實際基準測試或了解他工作範圍內的上下文視窗限制的情況下，很難評估這是否代表真正的創新或只是對不同架構的偏好。

對於構建個人AI工具的開發者來說，這很重要，因為它質疑了關於資訊檢索的基本假設。如果Karpathy是對的，我們可能在過度工程化那些用更簡單、以LLM為中心的設計可能效果更好的解決方案。但在沒有實作細節或效能資料的情況下，放棄經過驗證的RAG架構還為時過早。真正的測試將是看到能夠展示相比傳統方法具有更優召回率和準確性的工作系統。