根本障碍是灾难性遗忘：在新数据上训练会覆盖编码旧知识的权重。人类没有这个问题（学法语不会让你忘记英语），因为生物神经网络使用不同的记忆巩固机制。人工神经网络将所有知识存储在共享权重中，使任何更新都可能干扰现有能力。
几种策略部分解决了持续学习问题：重放方法（在训练时将旧数据与新数据混合）、正则化方法（惩罚对旧任务重要的权重的改变，如EWC）、架构方法（将不同的参数分配给不同的任务）、以及检索增强方法（将知识存储在外部数据库而非权重中）。没有一种方法完全解决了这个问题，但每种都实现了一定程度的增量学习。
在实践中，RAG（检索增强生成）充当真正持续学习的务实替代。与其用新信息更新模型的权重，不如更新模型在推理时查询的外部知识库。这完全绕过了灾难性遗忘，但有局限性：模型的推理能力不会提升，只是它对信息的访问能力提升了。真正的持续学习将同时改善知识和能力。