模型持續從新資料中學習而不忘記之前所學的能力。目前的 LLM 訓練一次後就凍結 — 更新它們需要昂貴的重新訓練。持續學習將允許模型從每次互動中學習、保持最新資訊，並隨時間適應個別使用者，就像人類自然學習的方式。
持續學習是 AI 尚未解決的重大問題之一。目前的模型有知識截止日期，無法從更正中學習，並將每次對話視為一張白紙。解決持續學習將消除昂貴的重新訓練週期的需要，實現真正適應每個使用者的個人化 AI，並使模型能持續保持最新狀態。
根本障礙是災難性遺忘：在新資料上訓練會覆蓋編碼舊知識的權重。人類沒有這個問題（學法語不會讓你忘記英語），因為生物神經網路使用不同的記憶鞏固機制。人工神經網路將所有知識儲存在共享的權重中，使得任何更新都可能破壞現有的能力。
有幾種策略部分解決了持續學習：重播方法（在訓練期間混合新舊資料）、正則化方法（懲罰對舊任務重要的權重變化，如 EWC）、架構方法（為不同任務分配不同參數）和檢索增強方法（將知識外部儲存在資料庫中而非權重中）。沒有一種方法完全解決問題，但每種都能實現一定程度的增量學習。
在實踐中，RAG（檢索增強生成）作為真正持續學習的務實替代方案。不是用新資訊更新模型的權重，而是更新模型在推論時查詢的外部知識庫。這完全繞過了災難性遺忘，但有局限性：模型的推理能力不會改善，只有其資訊存取會改善。真正的持續學習會同時改善知識和能力。