Pesquisadores de Northwestern, Tilde Research e University of Washington publicaram Parallax (arxiv 2605.29157, código em github.com/Yifei-Zuo/Parallax), um mecanismo de atenção que faz o oposto arquitetural do que a maioria do trabalho de atenção linear faz. Em vez de substituir softmax para obter complexidade sub-quadrática, Parallax mantém softmax exatamente e adiciona um ramo de correção de covariância aprendida em cima. A motivação é qualidade não velocidade: a teoria subjacente (Local Linear Attention, derivada de estatísticas não-paramétricas em um framework de regressão test-time) upgrade a estimativa local constante de softmax para uma estimativa local linear, com tradeoffs viés-variância demonstravelmente melhores para memória associativa. A escala 1.7B com o otimizador Muon, Parallax supera a baseline Transformer por 1,02 pontos em precisão downstream (62,45 vs 61,43), e supera Mamba, Gated DeltaNet, MesaNet e Kimi DeltaAttention em MAD-Benchmark com 0,716 de precisão média.
O mecanismo é aditivo. A saída iguala a atenção softmax menos um termo de covariância projetado: a covariância KV se multiplica por uma probe aprendida ρᵢ = WR·xᵢ, onde WR é uma matriz de projeção aprendível que probe a covariância KV diretamente do input da camada. A propriedade de design crucial: configurar WR = 0 recupera softmax padrão exatamente. Isso significa que você pode converter um checkpoint Transformer pré-treinado adicionando WR e fazendo fine-tuning, sem começar do zero. História de compute: Parallax dobra a intensidade aritmética reutilizando o mesmo fluxo KV para ambos os ramos, e em um kernel decode NVIDIA H200 iguala ou supera FlashAttention 2 e 3 (speedup 1,54x compute-matched, 1,14x I/O-matched, através de batches 1 a 2048 e contextos 128 a 32768). Caveat crítico: os ganhos dependem do otimizador. Sob Muon, a arquitetura tem vantagem substancial. Sob AdamW, a vantagem encolhe acentuadamente ou desaparece, uma dependência codesign arquitetura-otimizador incomum que limita onde você pode aplicar este drop-in. Importante: isto NÃO é atenção de complexidade linear. O cache KV ainda é requerido para decodificação; a estrutura é softmax-attention-shaped, não Mamba-shaped.
Dois fios a pausar. Primeiro, a inversão narrativa é interessante em si. A história dominante de atenção linear por anos tem sido "substituir softmax para escapar de complexidade quadrática," e Performer, Linformer, Hyena, Mamba, mais o MSA do MiniMax M3 vivem todos nesse frame. Parallax diz: softmax era a estimativa local constante de uma coisa mais geral, e a coisa mais geral é a estimativa local linear, que é teoricamente melhor. O fix não é substituir softmax, é estendê-lo. Esse reframing importa para builders pensando em design de atenção: há uma camada de teoria embaixo da paisagem empírica que sugere que softmax não é um teto, é um ponto de partida. Segundo, o finding codesign otimizador-arquitetura é honesto e raro. A maioria dos papers não publica "nossos ganhos evaporam sob AdamW." Tilde Research e colaboradores flageando isso significa que trabalho futuro da família LLA terá que trackear qual regime de otimizador habita, e Muon acaba de ganhar uma razão concreta para ser estudado ao lado das inovações arquiteturais que enable.
Segunda-feira pela manhã, se você treina modelos de linguagem from scratch a escala 1 a 2B e tem Muon disponível: Parallax vale o tratamento como baseline drop-in contra softmax vanilla, dado o código aberto em github.com/Yifei-Zuo/Parallax e a retrocompat WR=0 para conversão de checkpoint pré-treinado. O kernel decode H200 iguala FlashAttention 2 e 3, então o custo inference-side não é barreira. Se você está stuck em AdamW por razões de compat, os ganhos podem não se materializar; verifique em seu próprio run de treinamento antes de se comprometer. Se você constrói desde primitivas e se importa com design de atenção como primeiro princípio, a teoria LLA (regressão test-time, estimativa local linear) é o paper a ler; a implementação Parallax é uma parametrização, não a única possível. E se você faz frontier-scale work, os números 1.7B são encorajadores mas o codesign arquitetura-otimizador precisa de verificação a sua escala antes de apostar sua infra.