跳到主要內容
Zubnet AI › 學習 › Wiki › RoPE
基礎

RoPE

別名:Rotary Position Embedding、Rotary Positional Encoding、旋轉位置編碼
現代 LLM 編碼詞序的標準方式,按每個 token 的位置把查詢向量和鍵向量旋轉一個相應的角度。

為什麼重要

RoPE 是幾乎所有現代開放 LLM 的預設位置方案,包括 Llama、Mistral、Qwen、Gemma 和 DeepSeek。如果你在模型設定裡看到 rope_theta 或「rope scaling」,指的就是它。

它勝出的原因是:提供相對位置資訊,比絕對位置泛化得更好;不增加任何需要學習的參數;計算開銷小。後來人們還發現它在訓練後可以調整,這使它成了大多數擴展模型上下文視窗技巧的基礎。

深度解析

注意力本身沒有順序的概念。對一個不加任何處理的 Transformer 來說,「狗咬人」和「人咬狗」是同一袋 token。位置編碼透過注入位置資訊來解決這個問題。最初的 Transformer 是給每個 token 的嵌入加上一個位置向量。RoPE 由蘇劍林及其同事在 2021 年提出,做法不同:在每個注意力層內部,它把每個查詢向量和鍵向量旋轉一個與 token 位置成正比的角度。

由於旋轉疊加的方式,兩個 token 之間的注意力分數最終取決於它們之間的距離,而不是各自的絕對位置。

旋轉是怎麼做的

RoPE 把每個查詢向量和鍵向量拆成一對一對的維度,把每一對看作二維平面上的一個點。對位置為 m 的 token,每一對都旋轉 m 乘以一個固定頻率的角度。不同的維度對使用不同的頻率,從轉得快的(對鄰近 token 敏感)到轉得很慢的(對遠距離敏感),很像鐘錶的指針。

當位置 m 的查詢與位置 n 的鍵相比較時,兩者的旋轉會部分抵消,留下的結果只取決於 m − n。嵌入本身沒有被加上任何東西,位置訊號完全體現在查詢和鍵如何對齊上。

擴展上下文

一個在 4K token 上訓練的模型,從沒見過位置 50,000 處出現的旋轉角度。有幾種方法會重新縮放 RoPE,讓靠後的位置看起來不陌生:

  • 位置插值:把位置壓縮,讓更長的序列落在訓練過的範圍內,然後做短暫的微調。
  • NTK-aware 縮放和 YaRN:對不同頻率做不同幅度的調整,能更好地保留局部細節。
  • 更大的 base:許多較新的模型乾脆在訓練時用大得多的 rope_theta(比如 500,000 而不是 10,000),從一開始就支援長上下文。

其他方案

  • 可學習的絕對位置:GPT-2 和 BERT 使用。簡單,但長度被訓練時的上限卡住。
  • 正弦位置編碼:最初 Transformer 採用的方案。
  • ALiBi:不旋轉向量,而是給注意力分數加上一個基於距離的懲罰。
  • 相對位置偏置:T5 使用。

實用提示

RoPE 會和快取相互影響:因為位置是施加在鍵上的,像 MLA 這樣壓縮或重複使用鍵的技術就需要特殊處理。另外,當模型的品質在超過某個上下文長度後突然崩潰時,RoPE 縮放設定不匹配是常見原因,值得首先排查。

← 所有術語
ESC