RoPE
为什么重要
RoPE 是几乎所有现代开放 LLM 的默认位置方案,包括 Llama、Mistral、Qwen、Gemma 和 DeepSeek。如果你在模型配置里看到 rope_theta 或“rope scaling”,指的就是它。
它胜出的原因是:提供相对位置信息,比绝对位置泛化得更好;不增加任何需要学习的参数;计算开销小。后来人们还发现它在训练后可以调整,这使它成了大多数扩展模型上下文窗口技巧的基础。
深度解析
注意力本身没有顺序的概念。对一个不加任何处理的 Transformer 来说,“狗咬人”和“人咬狗”是同一袋 token。位置编码通过注入位置信息来解决这个问题。最初的 Transformer 是给每个 token 的嵌入加上一个位置向量。RoPE 由苏剑林及其同事在 2021 年提出,做法不同:在每个注意力层内部,它把每个查询向量和键向量旋转一个与 token 位置成正比的角度。
由于旋转叠加的方式,两个 token 之间的注意力分数最终取决于它们之间的距离,而不是各自的绝对位置。
旋转是怎么做的
RoPE 把每个查询向量和键向量拆成一对一对的维度,把每一对看作二维平面上的一个点。对位置为 m 的 token,每一对都旋转 m 乘以一个固定频率的角度。不同的维度对使用不同的频率,从转得快的(对邻近 token 敏感)到转得很慢的(对远距离敏感),很像钟表的指针。
当位置 m 的查询与位置 n 的键相比较时,两者的旋转会部分抵消,留下的结果只取决于 m − n。嵌入本身没有被加上任何东西,位置信号完全体现在查询和键如何对齐上。
扩展上下文
一个在 4K token 上训练的模型,从没见过位置 50,000 处出现的旋转角度。有几种方法会重新缩放 RoPE,让靠后的位置看起来不陌生:
- 位置插值:把位置压缩,让更长的序列落在训练过的范围内,然后做短暂的微调。
- NTK-aware 缩放和 YaRN:对不同频率做不同幅度的调整,能更好地保留局部细节。
- 更大的 base:许多较新的模型干脆在训练时用大得多的
rope_theta(比如 500,000 而不是 10,000),从一开始就支持长上下文。
其他方案
- 可学习的绝对位置:GPT-2 和 BERT 使用。简单,但长度被训练时的上限卡住。
- 正弦位置编码:最初 Transformer 采用的方案。
- ALiBi:不旋转向量,而是给注意力分数加上一个基于距离的惩罚。
- 相对位置偏置:T5 使用。
实用提示
RoPE 会和缓存相互影响:因为位置是施加在键上的,像 MLA 这样压缩或复用键的技术就需要特殊处理。另外,当模型的质量在超过某个上下文长度后突然崩溃时,RoPE 缩放设置不匹配是常见原因,值得首先排查。