Investigadores de Northwestern, Tilde Research y University of Washington publicaron Parallax (arxiv 2605.29157, código en github.com/Yifei-Zuo/Parallax), un mecanismo de atención que hace lo opuesto arquitectural a lo que la mayoría del trabajo de atención lineal hace. En vez de reemplazar softmax para obtener complejidad sub-cuadrática, Parallax mantiene softmax exactamente y añade una rama de corrección de covarianza aprendida encima. La motivación es calidad no velocidad: la teoría subyacente (Local Linear Attention, derivada de estadísticas no-paramétricas en un framework de regresión test-time) upgrade la estimación local constante de softmax a una estimación local lineal, con tradeoffs bias-varianza demostrablemente mejores para memoria asociativa. A escala 1.7B con el optimizador Muon, Parallax supera la baseline Transformer por 1,02 puntos en precisión downstream (62,45 vs 61,43), y supera Mamba, Gated DeltaNet, MesaNet y Kimi DeltaAttention en MAD-Benchmark con 0,716 de precisión promedio.
El mecanismo es aditivo. La salida iguala la atención softmax menos un término de covarianza proyectado: la covarianza KV se multiplica por una probe aprendida ρᵢ = WR·xᵢ, donde WR es una matriz de proyección aprendible que probe la covarianza KV directamente desde el input de la capa. La propiedad de diseño crucial: poner WR = 0 recupera softmax estándar exactamente. Eso significa que puedes convertir un checkpoint Transformer pre-entrenado añadiendo WR y haciendo fine-tuning, sin empezar desde cero. Historia de cómputo: Parallax dobla la intensidad aritmética reutilizando el mismo flujo KV para ambas ramas, y en un kernel decode NVIDIA H200 iguala o supera FlashAttention 2 y 3 (speedup 1,54x compute-matched, 1,14x I/O-matched, a través de batches 1 a 2048 y contextos 128 a 32768). Caveat crítico: las ganancias dependen del optimizador. Bajo Muon, la arquitectura tiene ventaja sustancial. Bajo AdamW, la ventaja se encoge marcadamente o desaparece, una dependencia codiseño arquitectura-optimizador inusual que limita dónde puedes aplicar este drop-in. Importante: esto NO es atención de complejidad lineal. El caché KV sigue siendo requerido para decodificación; la estructura es softmax-attention-shaped, no Mamba-shaped.
Dos hilos a pausar. Primero, la inversión narrativa es interesante en sí misma. La historia dominante de atención lineal por años ha sido "reemplazar softmax para escapar de complejidad cuadrática," y Performer, Linformer, Hyena, Mamba, más el MSA de MiniMax M3 viven todos en ese frame. Parallax dice: softmax era la estimación local constante de una cosa más general, y la cosa más general es la estimación local lineal, que es teóricamente mejor. El fix no es reemplazar softmax, es extenderlo. Ese reframing importa para builders pensando en diseño de atención: hay una capa de teoría debajo del paisaje empírico que sugiere que softmax no es un techo, es un punto de partida. Segundo, el finding codiseño optimizador-arquitectura es honesto y raro. La mayoría de los papers no publican "nuestras ganancias se evaporan bajo AdamW." Tilde Research y colaboradores flageándolo significa que el trabajo futuro de la familia LLA tendrá que trackear qué régimen de optimizador habita, y Muon acaba de ganar una razón concreta para ser estudiado junto a las innovaciones arquitecturales que enable.
Lunes por la mañana, si entrenas modelos de lenguaje from scratch a escala 1 a 2B y tienes Muon disponible: Parallax vale el tratamiento como baseline drop-in contra softmax vanilla, dado el código abierto en github.com/Yifei-Zuo/Parallax y la retrocompat WR=0 para conversión de checkpoint pre-entrenado. El kernel decode H200 iguala FlashAttention 2 y 3, así que el costo inference-side no es barrera. Si estás stuck en AdamW por razones de compat, las ganancias pueden no materializarse; verifica en tu propio run de entrenamiento antes de comprometerte. Si construyes desde primitivas y te importa el diseño de atención como primer principio, la teoría LLA (regresión test-time, estimación local lineal) es el paper a leer; la implementación Parallax es una parametrización, no la única posible. Y si haces frontier-scale work, los números 1.7B son alentadores pero el codiseño arquitectura-optimizador necesita verificación a tu escala antes de apostar tu infra.