RoPE
Por que isso importa
O RoPE é o esquema posicional padrão em quase todos os LLMs abertos modernos, incluindo Llama, Mistral, Qwen, Gemma e DeepSeek. Se você ler a configuração de um modelo e vir rope_theta ou "rope scaling", é disso que se trata.
Ele venceu porque fornece informação de posição relativa, que generaliza melhor do que posições absolutas, não adiciona parâmetros aprendidos e é barato de calcular. Também se mostrou ajustável depois do treinamento, o que fez dele a base da maioria dos truques para esticar a janela de contexto de um modelo.
Em profundidade
A atenção, sozinha, não tem noção de ordem. Para um transformer puro, "cachorro morde homem" e "homem morde cachorro" são o mesmo saco de tokens. A codificação posicional resolve isso injetando informação de posição. O transformer original somava um vetor de posição ao embedding de cada token. O RoPE, proposto por Jianlin Su e colegas em 2021, faz algo diferente: dentro de cada camada de atenção, ele rotaciona cada vetor de consulta e de chave por um ângulo proporcional à posição do token.
Por causa do modo como as rotações se combinam, a pontuação de atenção entre dois tokens acaba dependendo da distância entre eles, e não das posições absolutas.
Como a rotação funciona
O RoPE divide cada vetor de consulta e de chave em pares de dimensões e trata cada par como um ponto em um plano 2D. Para um token na posição m, cada par é rotacionado por m vezes uma frequência fixa. Pares diferentes usam frequências diferentes, das que giram rápido (sensíveis a tokens próximos) às muito lentas (sensíveis a distâncias longas), um pouco como os ponteiros de um relógio.
Quando uma consulta na posição m é comparada com uma chave na posição n, as rotações se cancelam em parte, deixando um resultado que depende apenas de m − n. Nada é somado aos embeddings em si; o sinal de posição vive apenas na forma como consultas e chaves se alinham.
Estendendo o contexto
Um modelo treinado com 4K tokens nunca viu os ângulos de rotação que ocorrem na posição 50.000. Vários métodos reescalam o RoPE para que posições distantes pareçam familiares:
- Interpolação de posição: comprimir as posições para que uma sequência mais longa caiba na faixa treinada e depois fazer um fine-tuning breve.
- Escalonamento NTK-aware e YaRN: ajustam frequências diferentes em quantidades diferentes, o que preserva melhor os detalhes locais finos.
- Base maior: muitos modelos mais novos simplesmente treinam com um
rope_thetamuito maior (por exemplo, 500.000 em vez de 10.000) para que contextos longos sejam suportados desde o início.
Alternativas
- Posições absolutas aprendidas: usadas pelo GPT-2 e pelo BERT. Simples, mas limitadas ao comprimento treinado.
- Senoidal: o esquema do transformer original.
- ALiBi: adiciona às pontuações de atenção uma penalidade baseada na distância, em vez de rotacionar vetores.
- Viés de posição relativa: usado no T5.
Notas práticas
O RoPE interage com o cache: como a posição é aplicada às chaves, técnicas que comprimem ou reutilizam chaves, como a MLA, exigem tratamento especial. E quando a qualidade de um modelo desaba além de certo comprimento de contexto, configurações de escalonamento do RoPE incompatíveis são uma causa comum, que vale conferir primeiro.