当AI模型生成的信息听起来自信且合理，但实际上是错误的或完全虚构时。模型并不是在“撒谎”—它只是通过模式匹配生成流畅的文本，而没有对真理的概念。虚假的引用、编造的统计数据和不存在的API方法是常见的例子。
幻觉不是下一个版本中将被修复的漏洞——它是语言模型工作方式的结构性结果。模型通过预测给定之前所有内容的最可能下一个token来生成文本。它没有内部事实数据库，无法将声明与现实进行核对，也没有真假的概念。当它生成听起来合理但错误的陈述时，它正在做它被训练去做的事：生成流畅且上下文合适的文本。问题是“上下文合适”和“事实正确”并不是一回事，而模型没有区分它们的机制。
最危险的幻觉是那些微妙的。一个虚构完全虚构人物的模型很容易被发现。一个将真实引语错误归因于某人、引用真实论文但年份错误、或生成看似合理但并不存在的API端点的模型——这些更难察觉。开发人员已经通过惨痛教训认识到这一点。有知名案例显示，律师提交了由AI生成的法律简报，其中包含格式完美但从未存在的案例引用。代码幻觉同样常见：模型可能会建议导入三个版本前已更名的库函数，或引用一个几乎但不完全匹配真实方法签名的方法。
多个因素会使幻觉更或更少可能发生。更高的温度设置会增加随机性，这可能在事实性问题上提高幻觉率。询问训练数据中出现频率较低的冷门话题，比询问广泛覆盖的主题更容易产生幻觉。更长、更复杂的输出有更多出错的机会。当模型在压力下必须生成答案时，尤其容易产生幻觉——如果你提问而模型不知道答案，其训练偏差会使其倾向于生成自信的回应，而不是说“我不确定”。这就是为什么明确允许模型说出“我不知道”会显著降低幻觉率。
行业已开发出分层防御策略。Grounding和RAG为模型提供外部来源供其参考，而不是依赖参数记忆。较低的温度设置可减少事实性任务的随机性。系统提示可以指示模型引用来源并标记不确定性。生成后检查——将输出通过第二个模型或事实核查流程运行——可在到达用户前捕捉一些错误。Anthropic、OpenAI和Google都已大力投资训练模型，使其对自身不确定性有更好校准，因此它们更可能采取谨慎或拒绝回应，而不是编造内容。但这些防御措施都不是完美的，将任何AI输出视为事实而无需验证，对于任何重要事项仍存在风险。
需要澄清的一个误解是：模型代际之间幻觉率已显著改善，有些人据此推断该问题将很快“被解决”。这很可能不会，至少不是完全，因为架构本身没有事实验证机制。正在改善的是校准——现代模型幻觉频率更低且更擅长表达不确定性。但“频率更低”不等于“从不发生”，在医疗、法律或金融等高风险领域，即使事实性声明有1%的幻觉率，在没有人工验证的情况下也是不可接受的。实际启示是：设计系统时应假设模型偶尔会出错，并在工作流程中构建验证机制，而不是寄希望于下一次模型更新使其变得不必要。