Saltar al contenido principal
Zubnet AI › Aprender › Wiki › RoPE
Fundamentos

RoPE

También conocido como: Rotary Position Embedding, Rotary Positional Encoding, Codificación posicional rotatoria
La forma estándar en que los LLM modernos codifican el orden de las palabras, rotando los vectores de consulta y de clave un ángulo que depende de la posición de cada token.

Por qué importa

RoPE es el esquema posicional por defecto en casi todos los LLM abiertos modernos, incluidos Llama, Mistral, Qwen, Gemma y DeepSeek. Si lees la configuración de un modelo y ves rope_theta o «rope scaling», se refiere a esto.

Ganó porque aporta información de posición relativa, que generaliza mejor que las posiciones absolutas, no añade parámetros aprendidos y es barato de calcular. Además resultó ser ajustable después del entrenamiento, lo que lo convirtió en la base de la mayoría de los trucos para estirar la ventana de contexto de un modelo.

En profundidad

La atención por sí sola no tiene sentido del orden. Para un transformer desnudo, «el perro muerde al hombre» y «el hombre muerde al perro» son la misma bolsa de tokens. La codificación posicional lo arregla inyectando información de posición. El transformer original sumaba un vector de posición al embedding de cada token. RoPE, propuesto por Jianlin Su y sus colegas en 2021, hace algo distinto: dentro de cada capa de atención, rota cada vector de consulta y de clave un ángulo proporcional a la posición del token.

Por la forma en que se combinan las rotaciones, la puntuación de atención entre dos tokens acaba dependiendo de la distancia entre ellos, no de sus posiciones absolutas.

Cómo funciona la rotación

RoPE divide cada vector de consulta y de clave en pares de dimensiones y trata cada par como un punto en un plano 2D. Para un token en la posición m, cada par se rota m veces una frecuencia fija. Los distintos pares usan frecuencias distintas, desde las que giran rápido (sensibles a los tokens cercanos) hasta las muy lentas (sensibles a la distancia de largo alcance), de forma parecida a las agujas de un reloj.

Cuando una consulta en la posición m se compara con una clave en la posición n, las rotaciones se cancelan en parte y queda un resultado que depende solo de m − n. No se suma nada a los embeddings en sí; la señal de posición vive únicamente en cómo se alinean consultas y claves.

Extender el contexto

Un modelo entrenado con 4K tokens nunca ha visto los ángulos de rotación que aparecen en la posición 50.000. Varios métodos reescalan RoPE para que las posiciones lejanas resulten familiares:

  • Interpolación de posiciones: comprimir las posiciones para que una secuencia más larga caiga dentro del rango entrenado, y luego hacer un breve fine-tuning.
  • Escalado NTK-aware y YaRN: ajustan cada frecuencia en una cantidad distinta, lo que conserva mejor el detalle local fino.
  • Base más grande: muchos modelos recientes simplemente se entrenan con un rope_theta mucho mayor (por ejemplo 500.000 en lugar de 10.000) para admitir contextos largos desde el principio.

Alternativas

  • Posiciones absolutas aprendidas: las usan GPT-2 y BERT. Simples, pero limitadas a la longitud entrenada.
  • Sinusoidal: el esquema del transformer original.
  • ALiBi: añade a las puntuaciones de atención una penalización basada en la distancia en lugar de rotar vectores.
  • Sesgo de posición relativa: se usa en T5.

Notas prácticas

RoPE interactúa con la caché: como la posición se aplica a las claves, las técnicas que comprimen o reutilizan claves, como MLA, necesitan un tratamiento especial. Y cuando la calidad de un modelo se desploma más allá de cierta longitud de contexto, una configuración de escalado de RoPE que no coincide es una causa habitual que conviene revisar primero.

← Todos los términos
ESC