Aller au contenu principal
Zubnet AI › Apprendre › Wiki › RoPE
Fondamentaux

RoPE

Aussi appelé : Rotary Position Embedding, Rotary Positional Encoding, Encodage positionnel rotatif
La façon standard dont les LLM modernes encodent l'ordre des mots, en faisant tourner les vecteurs de requête et de clé d'un angle qui dépend de la position de chaque token.

Pourquoi c'est important

RoPE est le schéma positionnel par défaut de presque tous les LLM ouverts modernes, dont Llama, Mistral, Qwen, Gemma et DeepSeek. Si vous lisez la configuration d'un modèle et voyez rope_theta ou « rope scaling », c'est de cela qu'il s'agit.

Il s'est imposé parce qu'il fournit une information de position relative, qui généralise mieux que les positions absolues, qu'il n'ajoute aucun paramètre appris et qu'il est peu coûteux à calculer. Il s'est aussi révélé ajustable après l'entraînement, ce qui en a fait la base de la plupart des astuces pour étendre la fenêtre de contexte d'un modèle.

En profondeur

L'attention seule n'a aucune notion d'ordre. Pour un transformer nu, « le chien mord l'homme » et « l'homme mord le chien » sont le même sac de tokens. L'encodage positionnel corrige cela en injectant une information de position. Le transformer d'origine ajoutait un vecteur de position à l'embedding de chaque token. RoPE, proposé par Jianlin Su et ses collègues en 2021, fait autre chose : dans chaque couche d'attention, il fait tourner chaque vecteur de requête et de clé d'un angle proportionnel à la position du token.

Du fait de la manière dont les rotations se composent, le score d'attention entre deux tokens finit par dépendre de la distance qui les sépare, et non de leurs positions absolues.

Comment fonctionne la rotation

RoPE découpe chaque vecteur de requête et de clé en paires de dimensions et traite chaque paire comme un point sur un plan 2D. Pour un token à la position m, chaque paire est tournée de m fois une fréquence fixe. Les paires utilisent des fréquences différentes, de très rapides (sensibles aux tokens voisins) à très lentes (sensibles aux longues distances), un peu comme les aiguilles d'une horloge.

Quand une requête à la position m est comparée à une clé à la position n, les rotations s'annulent en partie, et il reste un résultat qui ne dépend que de m − n. Rien n'est ajouté aux embeddings eux-mêmes ; le signal de position réside uniquement dans la façon dont requêtes et clés s'alignent.

Étendre le contexte

Un modèle entraîné sur 4K tokens n'a jamais vu les angles de rotation qui apparaissent à la position 50 000. Plusieurs méthodes remettent RoPE à l'échelle pour que les positions lointaines paraissent familières :

  • Interpolation de position : comprimer les positions pour qu'une séquence plus longue rentre dans la plage vue à l'entraînement, puis faire un bref fine-tuning.
  • Mise à l'échelle NTK-aware et YaRN : ajuster les différentes fréquences de quantités différentes, ce qui préserve mieux les détails locaux fins.
  • Base plus grande : beaucoup de modèles récents s'entraînent simplement avec un rope_theta bien plus grand (par exemple 500 000 au lieu de 10 000) pour que les longs contextes soient pris en charge dès le départ.

Alternatives

  • Positions absolues apprises : utilisées par GPT-2 et BERT. Simples, mais plafonnées à la longueur vue à l'entraînement.
  • Sinusoïdal : le schéma du transformer d'origine.
  • ALiBi : ajoute aux scores d'attention une pénalité fondée sur la distance au lieu de faire tourner des vecteurs.
  • Biais de position relative : utilisé dans T5.

Notes pratiques

RoPE interagit avec la mise en cache : comme la position est appliquée aux clés, les techniques qui compressent ou réutilisent les clés, comme MLA, demandent un traitement particulier. Et quand la qualité d'un modèle s'effondre au-delà d'une certaine longueur de contexte, des réglages de mise à l'échelle de RoPE incohérents sont une cause fréquente, à vérifier en premier.

← Tous les termes
ESC