为什么重要
Grokking 挑战了一条标准建议:当训练表现已经完美而验证表现停滞不前时,就应该停止训练。在这些实验里,提前停止会错过真正的解。
它还给研究者提供了一个干净的实验场,用来研究一个深层问题:网络什么时候是在死记硬背,什么时候是在学习背后的规律?这个问题正是“大模型是否真的能泛化”的核心,grokking 也成了可解释性领域被研究得最多的例子之一。
深度解析
2022 年,OpenAI 的研究者报告了一件怪事。他们在模加法这类简单的数学任务上训练小型 Transformer,只给网络看完整答案表的一部分。网络很快在见过的样本上达到了 100% 的准确率,而在其余样本上的表现不比瞎猜好:典型的过拟合。但当训练继续进行很久,有时长达一千倍的时间,网络在没见过的样本上的准确率突然跃升到接近 100%。
网络不再死记硬背,开始真正理解。作者把这种现象叫作 grokking,这个词出自 Robert Heinlein 的小说《异乡异客》(Stranger in a Strange Land),意思是把一件事理解得如此透彻,以至于它成了你的一部分。它和 xAI 的 Grok 模型没有关系,后者只是借用了同一个词。
内部发生了什么
2023 年,Neel Nanda 及其同事对一个在模加法上发生了 grokking 的网络做了逆向工程。它发现了一种基于三角函数的算法:把数字表示成绕圆的旋转,再用三角恒等式把它们组合起来。这项工作描述了三个阶段:
- 记忆:网络把训练样本当作查找表存下来。
- 电路形成:通用算法在记忆解的旁边慢慢成形,测试准确率看不出任何变化。
- 清理:记忆解被移除,测试准确率突然跃升。
所以,“突然”的理解在底层其实是渐进的。曲线之所以显得陡峭,只是因为在通用电路接管之前,测试指标反映不出任何进展。
为什么通用解会胜出
主流的解释与正则化有关。死记硬背需要又大又复杂的权重,而通用算法更紧凑。权重衰减(weight decay)持续惩罚大权重,所以时间一长,它会偏向更高效的解。没有权重衰减,grokking 往往慢得多,或者根本不会发生。训练数据越多,它发生得越快;数据足够多时,这种延迟就消失了。
它能推广到多远
Grokking 在小型算法数据集上最明显。在特殊条件下,图像和文本任务上也出现过类似的延迟泛化,但大语言模型看不出有这种行为,因为它们很少把同一个样本看两遍,也就没法先死记硬背。相关的现象还有双重下降(double descent):随着模型或训练时间增长,测试误差先上升后又下降。
给实践者的启示
- 不要指望现实中的模型会 grokking,就无休止地训练下去。在小数据集上做普通微调时,训练损失和验证损失之间的差距不断拉大,仍然只是过拟合。
- 指标持平可能掩盖了进展。损失曲线和准确率数字反映不出权重里发生的一切。
- 正则化不只是防止过拟合,它还能改变网络找到的是哪一个解。